Resumo Técnico: Raciocínio Baseado em Few-Shot Chain-of-Thought para QA Médica de Código Aberto

Definição do Problema

O artigo aborda as limitações das aplicações atuais de Grandes Modelos de Linguagem (LLMs) na área da saúde, especificamente no que diz respeito ao questionamento e resposta (QA) médica. Embora os LLMs mostrem promessa na interpretação de consultas de pacientes, os benchmarks existentes, como o conjunto de dados USMLE-MedQA, são formatados como Questões de Múltipla Escolha (MCQs). Este formato não reflete os cenários clínicos do mundo real, onde os clínicos devem gerar diagnósticos sem opções predefinidas. Além disso, os métodos de prompting padrão frequentemente dependem de um raciocínio "eliminativo" (avaliando as opções fornecidas) em vez do raciocínio prospectivo e incremental usado na prática clínica real. Há uma necessidade crítica de conjuntos de dados e estratégias de prompting que mimetizem a tomada de decisão clínica de código aberto e garantam a verificabilidade das respostas.

Metodologia

1. Construção do Conjunto de Dados: MEDQA-OPEN

Os autores propõem uma versão modificada do MEDQA-MCQ, denominada MEDQA-OPEN. Este conjunto de dados transforma as MCQs padrão em questões de código aberto ao:

• Remover as opções de múltipla escolha.
• Refrasear as perguntas para serem de código aberto.
• Incluir respostas fundamentadas e aprovadas por clínicos.
  Adicionalmente, foi criado o conjunto de dados CLINICIANCASES, contendo 25 pares de perguntas e respostas médicas complexas, extraídos de profissionais médicos praticantes.

2. Estratégias de Prompting

O estudo avalia e compara duas metodologias distintas de prompting:

• MCQ-ELIMINATIVE / ELIMINATIVE: Adaptada de Liévin et al. (2022), esta estratégia emprega uma abordagem de Chain-of-Thought (CoT) onde o modelo itera através das opções disponíveis (em MCQs) ou considera potenciais respostas, raciocinando explicitamente para aceitar ou rejeitar estas com base no contexto clínico.
• CLINICR (Raciocínio Clínico): Um novo prompt de 5-shot CoT projetado para mimetizar o raciocínio prospectivo e incremental de um clínico. Em vez de avaliar opções, o modelo:
  1. Copia o histórico pertinente do paciente.
  2. Forma uma estrutura mental para diagnósticos diferenciais.
  3. Adiciona ou deleta incrementalmente potenciais diagnósticos à medida que novas informações contextuais (sinais, resultados de testes) são processadas.
  4. Alcança um diagnóstico final sem depender de uma lista predefinida de opções.

3. Abordagem Forward-Backward & Verificação

Para lidar com a incerteza inerente à geração de código aberto, os autores propõem um framework Forward-Backward:

• Passo Forward (Para frente): O prompt CLINICR é usado para amostrar múltiplas respostas potenciais (diagnósticos diferenciais).
• Passo Backward (Para trás): As opções geradas são estreitadas até um único diagnóstico final. Isto é alcançado via dois métodos:
  • MCQ-ELIMINATIVE: Tratando as opções amostradas como um novo conjunto de MCQ e usando o prompt eliminativo para selecionar o melhor ajuste.
  • Verificador (Modelo de Recompensa): Um modelo de recompensa treinado (baseado em Llama-2-7B e Llama-2-70B) prevê a probabilidade de uma opção ser correta dado o questionamento e o raciocínio. A opção com a maior recompensa escalar é selecionada.

4. Treinamento do Verificador

Um verificador foi treinado no conjunto de dados MEDQA-MCQ para distinguir entre tripletos Pergunta-Raciocínio-Resposta corretos e incorretos. Os dados de treinamento incluíram:

• Tripletos corretos (rótulo 1) e incorretos (rótulo 0).
• Dados aumentados onde o raciocínio CoT foi gerado para respostas candidatas.
• O ajuste fino (fine-tuning) foi realizado utilizando Low-Ranked Adaptation (LoRA) nos modelos Llama-2 com uma perda de modelagem de recompensa.

Principais Resultados

Desempenho em MCQ vs. Código Aberto

• Configuração MCQ (MEDQA-MCQ): No conjunto de dados MCQ padrão, o prompt MCQ-ELIMINATIVE superou ligeiramente ou igualou o MCQ-CLINICR (ex: 52% vs. 50% de precisão no Llama-2-70B). Isto sugere que, quando as opções são fornecidas, a estratégia eliminativa é suficiente, e a complexidade adicional do raciocínio incremental não oferece vantagem significativa.
• Configuração de Código Aberto (MEDQA-OPEN & CLINICIANCASES): A estratégia CLINICR superou significativamente a estratégia ELIMINATIVE, particularmente no modelo menor Llama-2-7B.
  • No MEDQA-OPEN, o CLINICR alcançou 83% (7B) e 87% (70B) de concordância com especialistas, comparado a 56% (7B) e 84% (70B) para o ELIMINATIVE.
  • A abordagem ELIMINATIVE teve dificuldades na ausência de opções, falhando frequentemente em extrair a informação necessária de forma eficaz dos parâmetros do modelo.

Impacto da Verificação

A abordagem Forward-Backward utilizando o Verificador yielded o maior desempenho em cenários de baixos recursos (Llama-2-7B):

• No MEDQA-OPEN, o método CLINICR-Verifier alcançou 87% de concordância com especialistas, com apenas 7% de discordância.
• Esta abordagem superou consistentemente o método ELIMINATIVE, que apresentou altas taxas de discordância (30%) no modelo 7B.
• No modelo 70B, todos os métodos tiveram bom desempenho, indicando que modelos maiores podem extrair informação eficazmente mesmo com prompts menos sofisticados, embora o verificador ainda tenha fornecido uma seleção robusta.

Significância e Alegações

O artigo alega que o prompting incremental baseado em raciocínio (CLINICR) é superior ao raciocínio eliminativo para QA médica de código aberto porque espelha o processo cognitivo real dos clínicos: formar diagnósticos diferenciais e refiná-los com base em evidências, em vez de selecionar a partir de uma lista restrita.

As principais contribuições incluem:

1. MEDQA-OPEN: Um novo conjunto de dados para avaliar o raciocínio médico de código aberto.
2. CLINICR: Uma estratégia de prompting que demonstra um desempenho significativamente melhor ao mimetizar cenários clínicos reais em comparação com prompts CoT de estado da arte desenhados para MCQs.
3. Mecanismo de Verificação: A introdução de um verificador de modelo de recompensa como uma alternativa viável à eliminação manual de opções, melhorando a confiabilidade dos outputs de LLMs em contextos médicos.

Os autores enfatizam que, embora os LLMs possam processar linguagem natural, a precisão e a verificabilidade são primordiais na saúde. O trabalho sugere que, para implantar LLMs de forma eficaz em sistemas de suporte clínico, a estratégia de interação deve ir além da simples seleção de opções para um raciocínio estruturado e incremental e uma verificação rigorosa de resposta. O estudo permanece modesto, observando que os resultados atualmente se limitam aos modelos Llama-2 e que trabalhos futuros devem explorar a generalização para outras arquiteturas e a integração de fontes de conhecimento não paramétricas (ex: RAG).