When Chain-of-Thought Backfires: Evaluating Prompt Sensitivity in Medical Language Models

Título: Quando o Chain-of-Thought (CoT) Dá Errado: Avaliando a Sensibilidade a Prompts em Modelos de Linguagem Médicos

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) têm alcançado desempenho impressionante em exames de licenciamento médico, levando ao entusiasmo sobre sua implantação em sistemas de suporte à decisão clínica. No entanto, a literatura atual foca excessivamente em métricas de precisão em benchmarks estáticos, ignorando uma lacuna crítica: a sensibilidade desses modelos a variações no formato do prompt.

Em cenários do mundo real, as entradas raramente são formatadas exatamente como os dados de treinamento ou teste. O artigo questiona se técnicas de engenharia de prompts validadas em modelos de propósito geral (como Chain-of-Thought e Few-Shot Learning) são transferíveis para modelos especializados em medicina (como o MedGemma), ou se elas podem, na verdade, degradar o desempenho e introduzir viéses perigosos.

2. Metodologia

Os autores realizaram uma avaliação sistemática do modelo MedGemma (nas versões de 4B e 27B parâmetros) utilizando dois benchmarks médicos padrão:

• MedMCQA: 4.183 questões de exames de entrada médica indiana.
• PubMedQA: 1.000 questões de pesquisa derivadas de títulos e resumos do PubMed.

O estudo foi dividido em quatro eixos experimentais principais:

1. Ablação de Prompt: Comparação de 10 estratégias de prompting (Zero-shot direto, Zero-shot CoT, Few-shot direto, Few-shot CoT, e variações de seleção de exemplos) para medir precisão e viés de posição.
2. Sensibilidade à Ordem das Opções: Teste de como a reordenação aleatória, rotação e troca de distratores nas opções de múltipla escolha afetam a previsão do modelo (medindo a taxa de "flip" ou inversão de resposta).
3. Condicionamento de Evidência (Contexto): Avaliação de 11 condições de contexto no PubMedQA, incluindo truncamento frontal (remoção do início), truncamento posterior (remoção do fim), e extração de sentenças salientes, para entender quais partes do resumo são diagnosticamente valiosas.
4. Alternativas Robustas: Comparação de métodos de inferência alternativos, especificamente:
   • Cloze Scoring: Seleção da opção baseada na maior probabilidade logarítmica do token de resposta (sem gerar texto livre).
   • Votação por Permutação: Inferência em várias ordens de opções com votação majoritária.
   • CoT Self-Consistency: Amostragem de múltiplos caminhos de raciocínio.

Parâmetros: Os experimentos utilizaram protocolos de inferência congelados para reprodutibilidade, com testes de significância estatística (Teste de McNemar) e cálculo de viés de posição.

3. Principais Contribuições e Resultados

Os resultados desafiam suposições convencionais sobre engenharia de prompts em IA médica:

• O CoT Prejudica o Desempenho:

  • O uso de Chain-of-Thought (CoT) reduziu a precisão em 5,7% em comparação com a resposta direta (Zero-shot).
  • O Few-Shot Learning (com exemplos) degradou o desempenho em 11,9% e triplicou o viés de posição (de 0,14 para 0,47).
  • Análise de Falha: O CoT frequentemente leva o modelo a "pensar demais", introduzindo contradições e conclusões erradas confiantes após identificar corretamente conceitos médicos iniciais. Em 750 casos, o CoT transformou uma resposta correta em errada.

• Fragilidade Extrema à Ordem das Opções:

  • O modelo alterou sua previsão em 59,1% das vezes quando as opções de resposta foram embaralhadas.
  • Isso indica que o modelo depende mais da posição da opção do que do seu conteúdo semântico. A taxa de inversão chegou a 72,9% para perturbações de rotação.

• A Direção do Truncamento do Contexto é Crítica:

  • Truncamento Frontal: Remover o início do contexto (50% do início) fez a precisão despencar para 13,8% (abaixo da linha base sem contexto).
  • Truncamento Posterior: Remover o fim do contexto preservou 97% da precisão do contexto completo.
  • Conclusão: O modelo depende fortemente do início do texto para orientação; a perda do final é menos prejudicial.

• Cloze Scoring Revela Conhecimento Oculto:

  • Ao evitar a geração de texto e selecionar diretamente a opção com maior probabilidade logarítmica (Cloze Scoring), a precisão atingiu 51,8% (4B) e 64,5% (27B).
  • Isso supera todas as estratégias de prompting e demonstra que o modelo "sabe" a resposta, mas falha ao expressá-la através da geração de texto e parsing. O viés de posição caiu para quase zero (0,013).

• Votação por Permutação:

  • Recuperou 4 pontos percentuais de precisão em relação à inferência de ordem única, sugerindo que a agregação pode mitigar parcialmente a fragilidade.

4. Significado e Implicações

• Falha na Transferência de Técnicas: Técnicas que funcionam em modelos gerais (como CoT e Few-shot) não são "melhores práticas" universais para modelos médicos especializados. Elas podem ser redundantes ou contraproducentes devido aos padrões de raciocínio já internalizados durante o treinamento médico.
• Risco Clínico: A sensibilidade a prompts não é apenas uma curiosidade estatística; pode levar a erros clinicamente perigosos. O estudo cita casos onde o CoT levou à seleção de medicamentos contraindicados (ex: neostigmina para envenenamento por organofosforados).
• Recomendações para Implantação:
  1. Priorizar Zero-shot direto ou Cloze Scoring para extração de respostas.
  2. Evitar truncamento frontal de contextos em sistemas RAG (Recuperação Aumentada por Geração); truncar pelo final.
  3. Utilizar votação por permutação para detectar instabilidade (baixa concordância entre ordens deve sinalizar abstensão).
  4. Reconhecer que as métricas de benchmark atuais podem refletir mais a eficiência do pipeline de "geração-parsing" do que o conhecimento real do modelo.

Em suma, o artigo alerta que a confiabilidade de modelos de IA médica depende criticamente de como as perguntas são formuladas e processadas, e que métodos de avaliação e inferência mais robustos são necessários antes de qualquer implantação em cenários de segurança crítica.