Vision-language models for chest radiography do not always need the image

Declaração do Problema
Modelos de visão-linguagem (VLMs) médicos demonstraram uma forte precisão em benchmarks de radiografias de tórax, levando a uma suposição implícita de que esses sistemas integram evidências visuais com raciocínio textual para produzir respostas clinicamente válidas. No entanto, métricas de precisão sozinhas não conseguem distinguir entre um modelo que genuinamente "lê" a radiografia e um que infere respostas a partir de priors linguísticos, coocorrências epidemiológicas ou estatísticas de nomes de achados presentes em seu corpus de treinamento. Esse "aprendizado por atalho" (shortcut learning) é um modo de falha conhecido em classificadores unimodais, mas representa um risco mais agudo para VLMs, que podem gerar respostas médicas credíveis usando apenas a linguagem. Métodos de avaliação existentes, como mapas de saliência post-hoc ou degradação adversarial de desempenho, falham em isolar causalmente se uma resposta correta específica depende da entrada da imagem para questões clínicas padrão.

Metodologia
Os autores introduzem um framework de auditoria causal projetado para intervir diretamente na entrada da imagem para testar a dependência causal da saída do modelo. O estudo avalia nove sistemas, incluindo modelos de fundação multimodais de propósito geral, VLMs médicos especialistas, sistemas de fronteira de código fechado, LLMs apenas de texto e uma sonda linear apenas de visão.

A auditoria utiliza um conjunto de sondagem de 2.575 perguntas binárias (sim/não) de presença de achados derivadas de MS-CXR (regiões marcadas por radiologistas), MIMIC-CXR (rótulos globais) e ReXErr (erros de relatório). Cada modelo é submetido a quatro condições de imagem:

1. Original: A radiografia não modificada.
2. Troca (Swap): Uma radiografia de um paciente diferente carregando exatamente o mesmo rótulo de achado.
3. Máscara Alvo (Target Mask): A imagem original com a região marcada pelo radiologista para o achado consultado ocluída.
4. Máscara Irrelevante (Irrelevant Mask): A imagem original com uma região de mesmo tamanho ocluída longe do achado.

Desta intervenções, três métricas comportamentais são derivadas:

• Taxa de Fundamentação Causal (CGR): A fração de respostas corretas que mudam quando a região alvo é mascarada.
• Taxa de Resposta de Imagem Não Relacionada (UAR): A fração de respostas corretas preservadas quando a imagem é trocada por um paciente diferente com o mesmo rótulo.
• Estabilidade de Máscara Irrelevante (IS): A fração de respostas preservadas quando uma região irrelevante é ocluída.

Essas métricas são usadas para categorizar os sistemas em três grupos comportamentais: Usa Imagem (alto CGR, baixo UAR, alto IS), Ignora Imagem (CGR=0, UAR=100, IS=100) e Instável (baixo IS, indicando sensibilidade a edições não diagnósticas). O framework é validado através de um segundo dataset (CheXpert), variando resoluções de imagem e formulações de prompts, e é comparado com a graduação independente de radiologistas certificados por conselho.

Resultados Principais

• Desacoplamento de Precisão e Uso de Imagem: A precisão nos benchmarks não se correlaciona com se um modelo usa a imagem. Um modelo apenas de texto (MedGemma-27B-text) alcançou 60,1% de precisão, estatisticamente indistinguível do melhor sistema multimodal (Gemma-4-26B com 66,2%) e significativamente superando dois modelos multimodais médicos especialistas. Um modelo multimodal de 119 bilhões de parâmetros foi estatisticamente indistinguível de uma linha de base de texto de 7 bilhões.
• Categorização Comportamental:
  • Ignora Imagem: Três sistemas (LLaVA-Med-7B, MedGemma-27B-text, DeepSeek-R1-7B) mostraram zero fundamentação causal; suas respostas permaneceram inalteradas independentemente das edições de imagem.
  • Instável: Um modelo grande (Mistral-Small-4-119B) exibiu instabilidade, mudando respostas sob oclusões irrelevantes com a mesma frequência que sob máscara alvo.
  • Usa Imagem (Seletivamente): Cinco sistemas usaram a imagem, mas a fundamentação foi parcial. A taxa de fundamentação causal para esses modelos variou de 6,4% a 33,5%. O uso da imagem foi altamente específico para o achado (ex: alto para pneumonia e edema, próximo de zero para atelectasia e opacidade pulmonar) e dependente da incidência (significativamente menor em vistas anteroposteriores/portáteis comparado a vistas posteroanteriores).
• Comparação Humana: Contra radiologistas certificados por conselho, o modelo apenas de texto foi estatisticamente indistinguível em precisão, mas fundamentou em zero. Por outro lado, modelos que usaram a imagem fundamentaram em taxas comparáveis às dos radiologistas.
• Calibração de Confiança: A confiança relatada apenas sinalizou de forma confiável respostas não fundamentadas em modelos que realmente usavam a imagem. Modelos apenas de texto e modelos instáveis mostraram baixa calibração, frequentemente reportando alta confiança em respostas incorretas ou não fundamentadas.

Significância e Alegações
O artigo argumenta que a precisão relatada é um proxy insuficiente para a confiabilidade clínica em VLMs médicos porque falha em verificar a proveniência da resposta. Os autores afirmam que:

1. Precisão não é evidência de radiologia: Pontuações altas em benchmarks podem ser alcançadas por modelos que ignoram a imagem inteiramente, baseando-se em vez disso em priors específicos do dataset.
2. Fundamentação é uma propriedade mensurável: Se um modelo usa a imagem é uma característica comportamental distinta e mensurável que varia por modelo, achado e incidência, e não é garantida pelo tamanho ou especialização do modelo.
3. Auditorias Intervencionais são necessárias: Os autores propõem que auditorias de fundamentação, especificamente intervenções causais na entrada, devem acompanhar os benchmarks de precisão e filtrar as alegações de implantação clínica.
4. Riscos de implantação atuais: As descobertas sugerem que confiar apenas em precisão e escores de confiança é inseguro, pois a confiança não distingue entre respostas fundamentadas e não fundamentadas em modelos que ignoram a imagem.

O estudo conclui que, embora os VLMs médicos não sejam necessariamente impróprios para uso clínico, o campo deve mudar de relatar apenas a precisão para medir e relatar a fundamentação causal para garantir que as respostas corretas sejam derivadas da radiografia e não recitadas de priors.