This Treatment Works, Right? Evaluating LLM Sensitivity to Patient Question Framing in Medical QA

Título: Isso Funciona, Certo? Avaliando a Sensibilidade de LLMs à Formulação de Perguntas de Pacientes em QA Médico

1. Problema e Motivação

Os pacientes estão cada vez mais recorrendo a Modelos de Linguagem de Grande Escala (LLMs) para obter respostas a perguntas médicas complexas. No entanto, os LLMs são conhecidos por sua sensibilidade à formulação de prompts (framing).

• O Desafio: Idealmente, as respostas de um LLM devem ser consistentes independentemente de como a pergunta é feita, especialmente quando fundamentadas na mesma evidência científica. Se um paciente recebe orientações diferentes apenas porque formulou a pergunta de forma positiva ("Este tratamento funciona?") versus negativa ("Este tratamento não funciona?"), ou usando linguagem técnica versus linguagem simples, isso pode ter consequências reais na saúde.
• Lacuna na Pesquisa: Embora benchmarks existentes (como MedQA) mostrem alto desempenho em tarefas médicas, eles não avaliam adequadamente a segurança e a confiabilidade em respostas a consultas reais de pacientes, que são frequentemente desestruturadas, carregadas de viés cognitivo e variam em nível de alfabetização em saúde.
• Questão Central: A adição de documentos relevantes via Geração Aumentada por Recuperação (RAG) mitiga a sensibilidade dos LLMs à formulação da pergunta do paciente, ou essa sensibilidade persiste mesmo quando a evidência subjacente é constante?

2. Metodologia

Os autores realizaram uma avaliação sistemática em um ambiente controlado de RAG para Perguntas e Respostas (QA) médicas.

Construção do Dataset

• Fonte de Evidência: O estudo utilizou 629 revisões sistemáticas de alta qualidade do Cochrane Library (padrão-ouro em saúde baseada em evidências), contendo 3.430 ensaios clínicos randomizados (RCTs).
• Geração de Consultas: Criou-se um conjunto de dados com 6.614 pares de consultas. Para cada revisão, geraram-se variações de perguntas baseadas em:
  1. Enquadramento (Framing): Positivo (focando benefícios) vs. Negativo (focando riscos/ineficácia).
  2. Estilo de Linguagem: Técnica (jargão médico) vs. Linguagem Simples (nível de 5ª série, simulando baixa alfabetização em saúde).
  3. Tipos de Pergunta: Fatores decisivos (eficácia, segurança, custo), influência social (anecdótica de família, amigos, internet, IA) e cenários de múltiplas voltas (multi-turn).
• Configuração RAG Controlada: Diferente de sistemas RAG reais que recuperam documentos automaticamente, este estudo forneceu manualmente os mesmos resumos de artigos médicos para todos os modelos, isolando o efeito da formulação da pergunta.

Modelos Avaliados

Foram testados 8 LLMs (abertos e fechados), incluindo:

• GPT-5.1 (OpenAI)
• Claude Sonnet 4.5 (Anthropic)
• HuatuoGPT-o1 (7B & 8B)
• Llama 3.3 (70B) e Llama 4 Maverick (17B ativo)
• Qwen3 (4B & 30B)

Métricas de Avaliação

• Consistência de Direção da Evidência: Um modelo avaliador (Gemini 2.5 Flash) analisou se a conclusão de cada resposta indicava que o tratamento era "mais eficaz", "menos eficaz" ou "igual" ao placebo. A consistência foi medida pela taxa de concordância entre pares de respostas (positivo vs. negativo).
• Métricas de Similaridade: Similaridade de cosseno, sobreposição de entidades, citações e referências numéricas.
• Análise Estatística: Regressão logística para determinar a significância do efeito de enquadramento na concordância.

3. Contribuições Principais

1. Novo Dataset de QA Médico: Um conjunto de dados único de pares de consultas (técnica/simples e positiva/negativa) ancoradas em evidências de RCTs, projetado especificamente para testar a robustez de sistemas RAG.
2. Avaliação Sistemática de Viés de Enquadramento: Demonstração empírica de que a formulação da pergunta influencia significativamente a consistência das respostas médicas, mesmo com a mesma base de evidências.
3. Análise de Interação Multi-turn: Investigação de como a persuasão sustentada em conversas de múltiplas voltas amplifica a inconsistência.
4. Comparação de Estilos de Linguagem: Avaliação de se a simplicidade linguística (baixa alfabetização) exacerba a sensibilidade ao enquadramento.

4. Resultados Chave

• Efeito de Enquadramento Significativo (RQ1):

  • Pares de perguntas com enquadramentos opostos (positivo vs. negativo) produziram conclusões contraditórias com muito mais frequência do que pares com o mesmo enquadramento.
  • A taxa média de concordância de direção da evidência caiu de 76,2% (Baseline: positivo vs. positivo) para 72,0% (Enquadramento: positivo vs. negativo).
  • A regressão logística confirmou que o enquadramento é um preditor significativo de menor concordância ($p < 0.001$).
  • O tipo de pergunta "Eficácia" ("Quão eficaz é X?") foi o mais suscetível ao viés de enquadramento.

• Suscetibilidade em Múltiplas Voltas (RQ2):

  • O efeito de enquadramento foi amplificado em conversas de múltiplas voltas.
  • À medida que a conversa progredia (4ª volta), a diferença de concordância entre as condições de Baseline e Enquadramento aumentou, indicando que a persuasão repetida do usuário leva a inconsistências maiores ("snowballing" de erros).

• Linguagem Técnica vs. Simples (RQ3):

  • Não houve interação significativa entre o estilo de linguagem e o efeito de enquadramento.
  • Tanto perguntas técnicas quanto em linguagem simples sofreram reduções semelhantes na consistência quando o enquadramento foi alterado.
  • Isso sugere que, em um ambiente RAG controlado (mesmos documentos), a complexidade da linguagem do usuário não é o fator principal que causa inconsistência; o viés cognitivo do modelo ao interpretar a intenção da pergunta é o fator dominante.

5. Significado e Implicações

• Risco em Cenários de Alta Estatura: A descoberta de que LLMs podem ser "persuadidos" a mudar suas conclusões médicas baseadas apenas na formulação da pergunta representa um risco crítico para aplicações de saúde. Pacientes podem obter orientações perigosas se formularem suas dúvidas de maneira negativa ou se o modelo for "sycophantic" (excessivamente concordante).
• Limitações do RAG Atual: O uso de documentos de evidência (RAG) não garante imunidade a viéses de formulação. Mesmo com a "verdade" fornecida no contexto, o modelo pode interpretar ou pesar essa evidência de forma diferente dependendo da carga emocional ou direcional da pergunta.
• Diretrizes para Desenvolvimento: Os autores recomendam que desenvolvedores de sistemas de QA médica:
  1. Incluam testes de robustez contra variações de formulação (framing) como critério essencial de avaliação.
  2. Implementem estratégias de mitigação para evitar que o modelo altere suas conclusões baseadas em evidências devido a viéses de prompt.
  3. Reconheçam que a consistência em conversas de múltiplas voltas é um desafio particularmente difícil.

Em resumo, o estudo alerta que a confiabilidade clínica de LLMs não é garantida apenas pela qualidade das fontes recuperadas, mas depende criticamente da robustez do modelo contra a manipulação sutil da intenção da pergunta pelo usuário.