Resumo Técnico: Grandes Modelos de Linguagem Melhoram a Precisão Médica, mas Levam à Falsa Confiança

Declaração do Problema

Embora os sistemas de Geração Aumentada de Recuperação (RAG) prometam mitigar os problemas de alucinação e transparência dos Grandes Modelos de Linguagem (LLMs) em contextos clínicos ao fornecer evidências vinculadas a fontes, seu impacto real na tomada de decisão médica permanece não testado. A pesquisa existente tem operado majoritariamente em paralelo: um fluxo avalia a eficácia do LLM no aumento das decisões clínicas, enquanto outro avalia a precisão das saídas baseadas em recuperação. Existe uma lacuna crítica na compreensão da interação entre um médico, a resposta gerada pelo LLM e a validade percebida das citações que a acompanham. Especificamente, não se sabe se o auxílio com fontes vinculadas melhora a precisão do médico ou se a presença de citações cria um "risco de segurança dependente do embasamento", onde os médicos deferem a conselhos incorretos simplesmente porque estes parecem apoiados por evidências.

Metodologia

Desenvolvimento do Sistema: CORA

Os autores desenvolveram o CORA (Citation-Oriented Retrieval Assistant), um sistema de RAG agêntico projetado para suporte à decisão dermatológica.

• Arquitetura: O CORA emprega um loop de recuperação iterativo orquestrado por um modelo Qwen3. Para cada consulta clínica, ele planeja uma estratégia de recuperação, pesquisa em um banco de dados vetorial contendo diretrizes clínicas (EADV), livros didáticos (Fitzpatrick's) e relatos de casos, e avalia a suficiência da evidência. Se a evidência for insuficiente, ele reformula a consulta e repete a recuperação (até três iterações).
• Saída: O sistema gera uma resposta usando um LLM de geração, estritamente limitado pelo contexto recuperado, e exibe a resposta com citações vinculadas.
• Base de Conhecimento: O sistema indexa 72 diretrizes da EADV, a 9ª edição do Fitzpatrick's Dermatology in General Medicine e 7.936 relatos de casos dermatológicos (2004–2024).

Datasets

Dois datasets distintos foram construídos para avaliar o desempenho do modelo e a interação com o médico:

1. DermBenchQA: Um dataset de 4.855 questões de múltipla escolha de resposta única derivada de quatro benchmarks médicos (MedMCQA, MedQA, MMLU, IMPP).
2. DermCaseQA: Um dataset resistente à contaminação composto por 998 questões abertas geradas a partir de 893 relatos de casos dermatológicos publicados em 2025 ou posteriormente (posteriores aos limites de treinamento de todos os modelos avaliados).

Desenho Experimental

O estudo envolveu uma avaliação em duas etapas:

1. Avaliação de Benchmark: O CORA foi comparado contra cinco modelos base (GPT-5, Llama-4, Qwen 2.5, Mistral Large 2, Gemma 3) sem aumento de recuperação. As comparações foram restritas aos casos onde o recuperador atingiu a "suficiência" dentro de três iterações para garantir uma comparação justa em itens idênticos.
2. Estudo com Leitores: Um estudo intra-sujeitos envolvendo 46 médicos de 21 países.
   • Procedimento: Os médicos responderam a 16 questões de dermatologia sem auxílio. Em seguida, lhes foram apresentadas a resposta do CORA e suas fontes citadas. Eles foram instruídos a classificar se cada citação apoiava a resposta (independentemente de sua crença na correção da resposta) e, então, decidir se manteriam ou revisariam sua resposta inicial.
   • Análise: O estudo mediu mudanças na precisão, a correlação entre o suporte percebido da citação e a correção da resposta, e a "adequação da confiança" (adotar conselhos corretos vs. resistir a conselhos incorretos).

Resultados Principais

1. Desempenho do Modelo

• Não-inferioridade: Em todos os cinco modelos de base, o CORA manteve um desempenho não inferior em relação ao baseline (sem recuperação) no conjunto DermBenchQA.
• Ganhos em Novos Dados: No conjunto DermCaseQA (resistente à contaminação e pós-limite de treinamento), a recuperação proporcionou ganhos substanciais. Por exemplo, o Gemma 3 melhorou em 22,7 pontos percentuais (pp) e o GPT-5 melhorou em 3,4 pp.
• Escalonamento Inverso: A magnitude da melhoria escalou inversamente com a capacidade do modelo base; modelos mais fracos apresentaram maiores ganhos, particularmente em categorias de doenças raras ou complexas (ex: genéticas/raras, metabólicas/sistêmicas).

2. Precisão Médica

• Melhoria Geral: A precisão dos médicos aumentou de 70,8% (sem auxílio) para 82,6% (com assistência do CORA).
• Correção vs. Erro: A assistência corrigiu 110 respostas inicialmente incorretas, mas reverteu 23 respostas inicialmente corretas para incorretas.

3. O Papel do Suporte da Citação

• Poder Preditivo: O suporte percebido da citação previu fortemente a correção. Quando os médicos julgaram que pelo menos uma citação era de suporte, a resposta do LLM estava correta 92,9% das vezes (vs. 65,8% quando não havia suporte).
• Correção pelo Médico: Os médicos foram significativamente mais propensos a corrigir um erro inicial quando perceberam suporte da citação (taxa de sucesso de 64,6%) em comparação a quando não o perceberam (23,9%).

4. O Risco de "Descalibração do Embasamento" (Grounding-Miscalibration)

O estudo identificou uma assimetria crítica na confiança do médico baseada no suporte percebido da citação:

• Adoção de Conselhos Corretos: Quando o CORA estava correto, os médicos adotaram o conselho em 76,9% dos casos onde as citações foram percebidas como de suporte, comparado a apenas 34,0% quando as citações não foram percebidas como de suporte.
• Resistência a Conselhos Incorretos: Quando o CORA estava incorreto, os médicos resistiram ao conselho em 92,0% dos casos onde as citações não foram percebidas como de suporte. No entanto, essa resistência caiu drasticamente para 34,8% quando os médicos julgaram as citações como de suporte.
• Conclusão: O mesmo sinal (suporte de citação percebido) que impulsiona a confiança apropriada em conselhos corretos também impulsiona a deferência prejudicial a conselhos incorretos. Este fenômeno é denominado "descalibração do embasamento" (grounding-miscalibration).

Significância e Alegações

O artigo alega que, embora os LLMs com recuperação aumentada possam melhorar significamente a precisão médica, seu perfil de segurança é contingente ao alinhamento entre a aparência de suporte evidente e a correção real da resposta.

• Além da Precisão Agregada: Os autores argumentam que a precisão agregada é um endpoint inadequado para a IA clínica. Um sistema pode elevar a precisão média e, simultaneamente, aumentar a taxa de "reversões prejudiciais" (abandonar respostas corretas por incorretas) se o sistema gerar respostas incorretas que pareçam bem fundamentadas.
• O Paradoxo da Citação: A presença de citações, destinada a permitir a verificação, pode paradoxalmente substituir a verificação. Os médicos no estudo trataram a presença de uma citação como um proxy para a correção, levando-os a abandonar suas próprias avaliações corretas quando o LLM fornecia uma resposta apoiada por citações (mas factualmente errada).
• Implicações para o Desenvolvimento: Os autores concluem que futuros LLMs clínicos devem ser avaliados não apenas pela precisão da resposta, mas sobre como a apresentação da evidência molda a confiança tanto em conselhos corretos quanto incorretos. Eles sugerem que os sistemas precisam sinalizar explicitamente quando a recuperação é fraca ou quando uma fonte coincide com um tópico, mas não substancia uma afirmação específica, para prevenir o modo de falha da "descalibração do embasamento".

O estudo não alega que as citações sejam inerentemente ruins, mas sim que a percepção de suporte pelos clínicos é uma faca de dois gumes que as métricas de avaliação atuais falham em capturar.