Resumo Técnico: O Contexto Médico Distorce Decisões em Modelos de Visão e Linguagem Clínicos

Declaração do Problema

Modelos de Visão e Linguagem (VLMs) são cada vez mais propostos para suporte à decisão clínica, aproveitando o raciocínio conjunto sobre imagens médicas e contexto em texto livre (por exemplo, laudos de radiologia, histórico clínico). No entanto, sua confiabilidade em cenários do mundo real permanece mal caracterizada. Decisões médicas do mundo real ocorrem sob fluxos de documentação ruidosos e imperfeitos, onde entradas textuais podem estar incompletas, inconsistentes ou enviesadas.

O artigo identifica três modos de falha específicos que ameaçam a confiabilidade clínica:

1. Superdependência de Modalidade: Um desequilíbrio onde os modelos priorizam priores textuais sobre evidências visuais, mesmo quando dados visuais estão disponíveis.
2. Dependência Espúria de Histórico Irrelevante: Vulnerabilidade a histórico clínico irrelevante ou contraditório recuperado de Prontuários Eletrônicos de Saúde (EHRs), o que pode enviesar sistematicamente as decisões atuais.
3. Sensibilidade ao Prompt: Inconsistência nas previsões quando formulações de prompts semanticamente equivalentes são utilizadas, comprometendo a estabilidade das saídas clínicas.

Os autores argumentam que as avaliações de benchmark atuais frequentemente falham em capturar esses modos de falha, pois geralmente dependem de conjuntos de teste limpos e estáticos, em vez de simular o contexto dinâmico e ruidoso dos fluxos de trabalho clínicos.

Metodologia

O estudo avalia um conjunto diversificado de oito VLMs (incluindo modelos abertos de domínio geral como LLaVA e Qwen, modelos adaptados medicamente como MedGemma, e modelos proprietários de ponta como GPT-5 e Gemini 3 Pro) em tarefas de radiografia de tórax usando um subconjunto balanceado do conjunto de dados MIMIC-CXR. A tarefa é enquadrada como fenotipagem binária de doenças (Anormal vs. Normal), onde "Anormal" indica a presença de uma de cinco patologias torácicas (Atelectasia, Cardiomegalia, Consolidação, Edema, Derrame Pleural).

O desenho experimental emprega três protocolos específicos para isolar modos de falha:

1. Deslocamento Seletivo de Modalidade (SMS): Para medir a dominância de modalidades, os autores criam conflitos controlados entre imagem e texto.

   • Deslocamento de Texto: O raio-X original é emparelhado com um histórico clínico de um paciente com o diagnóstico oposto.
   • Deslocamento de Imagem: O texto original é emparelhado com um raio-X da classe oposta.
   • Baselines Unimodais: O desempenho também é medido usando entradas "Apenas Texto" e "Apenas Imagem" para determinar a contribuição independente de cada modalidade.

2. Injeção de Contexto Temporal: Para testar a robustez a históricos irrelevantes, os modelos recebem o raio-X e o laudo atuais, juntamente com até cinco laudos anteriores clinicamente realistas, mas irrelevantes (por exemplo, raios-X de joelho, ressonâncias magnéticas de cérebro), gerados para serem temporalmente distantes e anatomicamente não relacionados.

3. Sensibilidade Semântica ao Prompt: Os modelos são avaliados usando quatro formulações de prompts semanticamente equivalentes (QA Padrão, Role-Play, Consulta Formal, Lista de Verificação) para avaliar a estabilidade da decisão sob reescrita superficial.

Métricas:

• Acurácia: Medida contra a verdade fundamental.
• Taxa de Flip Negativo (NFR): Uma métrica de robustez que quantifica a proporção de amostras corretamente classificadas na baseline que se tornam mal classificadas sob perturbação (por exemplo, quando o texto é deslocado ou histórico irrelevante é adicionado).
• Kappa de Fleiss: Usado para medir o acordo inter-prompt entre diferentes formulações de prompts.

Principais Resultados

1. Dominância de Modalidade: Texto Sobrepõe Imagens

O estudo encontrou que as decisões dos VLMs são dominadas pela modalidade de texto, mesmo quando evidências visuais estão disponíveis.

• Impacto do Deslocamento de Texto: A introdução de texto conflitante causou uma queda catastrófica na acurácia para todos os modelos. Para modelos de ponta (GPT-5, Gemini 3 Pro), a acurácia colapsou de ~0,83 para ~0,17–0,18 (abaixo do acaso aleatório). Modelos abertos como LLaVA 1.5 e Qwen-2 VL caíram de ~0,80 para ~0,20.
• Impacto do Deslocamento de Imagem: Substituir a imagem mantendo o texto original resultou em apenas pequenas mudanças na acurácia (por exemplo, GPT-5 caiu de 0,83 para 0,82).
• Taxa de Flip Negativo (NFR): Sob conflito de texto, a NFR foi extremamente alta (0,31 a 0,66), indicando que texto contraditório causou que 30–66% das decisões anteriormente corretas se transformassem em erros. Em contraste, a NFR do Deslocamento de Imagem permaneceu baixa (0,02–0,15).
• Desempenho Unimodal: O desempenho "Apenas Texto" frequentemente igualou ou excedeu o desempenho multimodal, enquanto o desempenho "Apenas Imagem" foi significativamente menor (frequentemente próximo ao nível de acaso para modelos abertos).

2. Vulnerabilidade ao Contexto Temporal

Histórico clínico irrelevante degradou sistematicamente o desempenho, embora o grau variasse por família de modelos.

• Modelos Abertos Gerais: Mostraram alta sensibilidade. A acurácia do LLaVA 1.5 caiu de 0,79 para 0,66 com cinco relatórios irrelevantes. A NFR aumentou significativamente (até 21% das previsões corretas foram invertidas).
• Modelos Adaptados Medicamente: Mostraram resultados mistos; o MedGemma permaneceu relativamente estável, enquanto o MedGemma 1.5 mostrou degradação clara.
• Modelos de Ponta: Demonstraram a maior robustez. GPT-5 e Gemini 3 Pro mostraram quedas mínimas de acurácia e NFR muito baixa (<3% mesmo com cinco distratores), sugerindo uma melhor capacidade de filtrar ruído de contexto longo, embora o modo de falha (dependência de texto irrelevante) ainda estivesse presente.

3. Sensibilidade e Inconsistência ao Prompt

As previsões dos modelos foram altamente sensíveis à formulação do prompt, particularmente para modelos mais fracos.

• Acordo (Kappa de Fleiss): Modelos de ponta (Gemini 3 Pro, GPT-5) mostraram acordo "Excelente" (κ > 0,75) entre variações de prompt. Em contraste, modelos abertos mais fracos como Janus-Pro e LLaVA 1.5 mostraram acordo "Pobre" (κ < 0,40), com previsões mudando frequentemente com base na redação.
• Amplificação de Complexidade: A sensibilidade ao prompt foi amplificada quando combinada com entradas de contexto longo (configuração Multi-História), causando maior degradação em modelos mais fracos.

Significado e Alegações

O artigo alega que os VLMs atuais exibem um desequilíbrio de modalidades sistemático onde sinais textuais sobrepõem evidências visuais, um fenômeno denominado "colapso de modalidades". Este comportamento persiste em modelos de domínio geral, adaptados medicamente e de ponta, sugerindo que a adaptação de domínio sozinha é insuficiente para garantir uma fundamentação visual genuína.

Os autores enfatizam que:

• Acurácia de Benchmark é Insuficiente: Alta acurácia agregada em conjuntos de teste estáticos não garante confiabilidade em ambientes clínicos onde as entradas são ruidosas, conflitantes ou recuperadas de fontes externas.
• Contexto é um Risco de Segurança: A integração de geração aumentada por recuperação (RAG) e pipelines agentes introduz riscos significativos, pois os modelos falham em filtrar de forma confiável dados históricos irrelevantes ou contraditórios.
• Fragilidade do Prompt: A confiabilidade clínica é comprometida pela sensibilidade ao prompt, o que significa que variações no estilo de documentação entre instituições poderiam levar a resultados diagnósticos divergentes para os mesmos dados do paciente.

O estudo conclui que, antes que esses modelos possam ser considerados para a prática clínica, são necessários salvaguardas explícitas e protocolos de teste de estresse. Esses protocolos devem avaliar especificamente a dependência de contexto, a contribuição da modalidade e a consistência da decisão sob perturbações realistas, em vez de depender exclusivamente de perguntas de estilo de teste limpo.