Contextual Cue Susceptibility in Clinical AI: A Randomized Controlled Clinician-Comparator Study

Resumo Técnico: Suscetibilidade a Pistas Contextuais em IA Clínica

Definição do Problema
Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implementados em fluxos de trabalho clínicos para tarefas que variam desde o resumo de prontuários até a geração de diagnósticos diferenciais e atuação como agentes autônomos. Embora esses modelos demonstrem fluência e confiança, seus resultados são altamente sensíveis ao contexto. Diferente dos clínicos humanos, que podem exibir vieses como o viés de disponibilidade, os LLMs operam em uma escala e opacidade onde um detalhe contextual clinicamente irrelevante (ex: um breve histórico de viagem ou exposição ocupacional) pode deslocar desproporcionalmente o raciocínio diagnóstico. O problema central abordado é se os LLMs são significativamente mais suscetíveis ao "direcionamento por pista contextual" (contextual cueing) — onde um detalhe menor redireciona o modelo para um diagnóstico "isca" menos provável — em comparação aos clínicos humanos, e como essa suscetibilidade se comporta sob diferentes condições de prompting.

Metodologia
Os autores conduziram um estudo controlado randomizado com comparador clínico envolvendo dois componentes principais:

1. Construção de Casos: 100 casos clínicos sintéticos curtos foram criados e validados por médicos. Cada família de casos incluiu uma versão "sem pista" (no-cue) e uma versão "com pista" (cue). A pista era um detalhe breve, clinicamente plausível, mas estatisticamente menor (ex: viagem, exposição), projetado para sugerir um diagnóstico "isca" específico que era menos provável do que o diagnóstico correto baseado na apresentação principal.
2. Grupos de Participantes:
   • Clínicos: 47 participantes (médicos preceptores, residentes, fellows e estudantes de medicina) dos EUA, Oriente Médio e Europa completaram um subconjunto de 21 famílias de casos pareados. Eles selecionaram o diagnóstico mais provável entre quatro opções e avaliaram a confiança.
   • LLMs: 22 LLMs distintos (incluindo modelos de fronteira de grandes provedores) foram testados em todos os 100 casos, gerando aproximadamente 92.000 respostas utilizáveis.
3. Braços de Prompting: Os LLMs foram testados sob três condições:
   • Linha de Base (Baseline): Instrução padrão para escolher o diagnóstico mais provável.
   • Salvaguarda de Taxa de Base (Base-rate Guardrail): Prompting explícito para considerar taxas de base e condições comuns.
   • Estresse de Raro/Grave (Rare/Serious Stress): Prompting explícito para priorizar diagnósticos raros ou graves.
4. Análise: O desfecho primário foi a taxa de seleção da "isca vinculada à pista". Desfechos secundários incluíram a acurácia diagnóstica. A análise estatística utilizou regressão logística de efeitos mistos e reamostragem bootstrap agrupada por avaliador para comparar o "efeito da pista" (a diferença na seleção da isca entre as condições com e sem pista) entre LLMs e clínicos. Uma subanálise secundária examinou o texto de explicação do modelo para padrões de racionalização.

Resultos Principais

• Suscetibilidade Desproporcional: Na comparação pareada de 21 casos, os LLMs de linha de base selecionaram a isca vinculada à pista em 84,9% dos casos com pista, comparado a 27,8% para os participantes clínicos. Isso representa um "efeito de pista extra" de 57,6 pontos percentuais (IC 95% 50,2–65,2) para os LLMs em relação aos clínicos.
• Impacto na Acurácia: A acurácia diagnóstica dos LLMs caiu drasticamente nos casos com pista, passando de 90,9% (sem pista) para 12,4% (com pista). A acurácia dos clínicos também diminuiu, mas permaneceu significativamente mais alta, caindo de 86,3% para 54,6%.
• Sensibilidade ao Prompt: A suscetibilidade dos LLMs foi altamente ajustável via prompting isoladamente.
  • O prompting de salvaguarda de taxa de base reduziu a seleção da isca para 28,4% (próximo à taxa dos clínicos) e melhorou a acurácia para 66,0%.
  • O prompting de raro/grave aumentou a seleção da isca para 93,2% e reduziu a acurácia para 4,1%.
• Racionalização: A análise do texto de explicação do modelo revelou que, quando os LLMs selecionavam a isca, frequentemente racionalizavam a escolha com alta confiança, citando frequentemente a pista específica como a razão principal, enquanto os clínicos eram mais propensos a atribuir a escolha a um detalhe específico em vez de uma mudança diagnóstica total.

Principais Contribuições

• Quantificação da Vulnerabilidade Contextual: O estudo fornece a primeira quantificação controlada e em larga escala de quanto mais suscetíveis os LLMs são a pistas contextuais menores do que os clínicos humanos no raciocínio diagnóstico.
• Prompt como Variável de Controle: Demonstra que a suscetibilidade do modelo não é uma propriedade fixa, mas pode ser drasticamente amplificada ou mitigada pelo enquadramento do prompt, sugerindo que o "contexto" inclui tanto o input do caso quanto as instruções do sistema.
• Definição de Sinal de Segurança: Os autores propõem a "suscetibilidade a pistas contextuais" como um sinal de segurança distinto para a IA clínica, separado das métricas de acurácia padrão.

Significância e Alegações
O artigo argumenta que o risco primário não é apenas que os modelos ocasionalmente escolham diagnósticos raros, mas que eles carecem de um "prior clínico" estável para ponderar detalhes menores contra as taxas de base. Quando um modelo recebe agência para agir sobre o contexto (ex: redigir notas, realizar triagem, rotear encaminhamentos) com pouca revisão humana, uma pista menor pode desencadear uma cascata de erros que são difíceis de rastrear.

Os autores alegam que as métricas de avaliação atuais, focadas apenas em acurácia, são insuficientes. Em vez disso, os sistemas de IA clínica devem ser avaliados em sua estabilidade sob mudanças de contexto plausíveis. O estudo conclui que a suscetibilidade ao contexto deve ser uma propriedade nomeada e testada de qualquer sistema que receba autonomia clínica, pois os mesmos mecanismos que permitem que um prompt "fixe" um modelo em uma tarefa podem fazê-lo falhar catastroficamente em outra. Os achados sugerem que, em fluxos de trabalho de agentes, onde os modelos reescrevem e adicionam contexto, o risco de mudanças não controladas impulsionadas pelo contexto é uma preocupação de segurança de curto prazo.