Rethinking Visual Attribution for Chest X-ray Reasoning in Large Vision Language Models

Resumo Técnico: Repensando a Atribuição Visual para o Raciocínio em Radiografias de Tórax em Modelos de Linguagem e Visão Grandes

Declaração do Problema
Modelos de Linguagem e Visão Grandes (LVLMs) estão cada vez mais sendo implantados em cenários médicos de alto risco, como geração de laudos radiológicos e assistência diagnóstica. No entanto, uma barreira crítica para a confiabilidade clínica é a incapacidade de atribuir fielmente as saídas do modelo a evidências visuais específicas na entrada. Embora existam vários métodos de atribuição visual (baseados em gradiente, atenção, perturbação e prompts), sua confiabilidade em ambientes médicos permanece não verificada. O desafio central é a ausência de uma verdade fundamental objetiva para o raciocínio interno do modelo; anotações humanas frequentemente refletem relevância clínica, e não os sinais visuais específicos que um modelo de caixa preta realmente utilizou para tomar uma decisão. Consequentemente, os métodos de atribuição existentes podem destacar regiões que são clinicamente plausíveis, mas causalmente irrelevantes para a previsão do modelo, ou, inversamente, podem ignorar completamente a verdadeira evidência.

Metodologia
Os autores propõem uma abordagem de duas frentes: um rigoroso framework de avaliação causal e um novo método de atribuição, MedFocus.

1. Framework de Avaliação Causal (MedGround-Bench):
   Para avaliar objetivamente a fidelidade da atribuição, os autores construíram o MedGround-Bench, um benchmark derivado de três conjuntos de dados de radiografias de tórax (CXR) (ImaGenome, VinDR-CXR, PadChest-GR) contendo regiões espaciais anotadas por especialistas. O framework emprega um processo de filtragem causal em três etapas para reter apenas amostras onde a região anotada por especialistas é verificada como causalmente responsável pela previsão do modelo:

   • Filtragem de Corretude: Retém-se apenas amostras onde o LVLM responde corretamente à pergunta binária de VQA ("Há evidência de [atributo]?").
   • Edição Contrafactual do Primeiro Plano: Utilizando o modelo RadEdit, a região anotada é preenchida (inpainting) para remover o atributo alvo. As amostras são retidas apenas se a resposta do modelo mudar (por exemplo, de "Sim" para "Não"), confirmando a necessidade causal da região.
   • Edição Contrafactual do Fundo: O fundo (fora da região anotada) é editado. As amostras são retidas apenas se a resposta do modelo permanecer inalterada, garantindo que a mudança de decisão na etapa do primeiro plano não tenha sido um artefato de sensibilidade geral da imagem.
     Este processo resulta em um conjunto curado de 3.940 amostras em seis LVLMs (incluindo Qwen2.5-VL, Gemma3 e MedGemma) e dois modos de saída (resposta direta e raciocínio passo a passo).

2. Método de Atribuição MedFocus:
   Para abordar a falha dos métodos existentes, os autores propõem o MedFocus, um método de atribuição causal baseado em conceitos. Diferentemente das abordagens de saliência em nível de pixel, o MedFocus opera em conceitos anatômicos clinicamente significativos (por exemplo, pulmão esquerdo, silhueta cardíaca).

   • Segmentação de Conceitos: Ele localiza regiões anatômicas utilizando Transporte Ótimo Desbalanceado (UOT) para mapear uma CXR de referência normal com anotações conhecidas para a imagem alvo, acomodando variações de massa patológica. Essas máscaras iniciais são refinadas usando MedSAM para obter limites limpos.
   • Intervenção Causal: Para cada conceito, o MedFocus gera um contrafactual ao zerar a máscara da caixa delimitadora do conceito (em vez da máscara de pixel) e mede a queda cumulativa nas log-probabilidades em nível de token da sequência de saída original.
   • Saída: Ele produz atribuições espaciais (caixas delimitadoras), explicações em nível de conceito (nomes anatômicos) e atribuições em nível de token (identificando quais tokens de raciocínio são mais afetados pela intervenção).

Principais Resultados

• Falha dos Métodos Existentes: A avaliação no MedGround-Bench revela que 11 métodos de atribuição existentes (incluindo GradCAM, Gradientes Integrados, Rolagem de Atenção e abordagens baseadas em prompts) falham consistentemente em identificar fielmente a evidência visual que impulsiona as previsões dos LVLMs. Eles frequentemente produzem mapas difusos com baixa precisão ou mapas focados que ignoram a verdadeira evidência, independentemente da arquitetura do modelo ou do modo de saída.
• Desempenho do MedFocus: O MedFocus supera substancialmente todas as linhas de base em todos os conjuntos de dados e modelos. No modo de resposta direta, ele alcança um IoU de 54,24% no ImaGenome, comparado ao próximo melhor (Atenção Ponderada por Gradiente em 39,24%). Ele mantém um desempenho forte no modo de raciocínio, onde outros métodos mostram degradação significativa.
• Insights sobre o Comportamento do Modelo: O estudo encontra que modelos treinados medicamente (MedGemma) exibem maior fidelidade de atribuição e taxas de falha menores do que modelos generalistas. Além disso, modelos que geram raciocínio passo a passo tendem a engajar-se de forma mais consistente com evidências anatomicamente significativas do que aqueles que fornecem respostas diretas.
• Estudos de Ablação: O pipeline de segmentação em duas etapas (UOT + MedSAM) e o uso de mascaramento zero em caixas delimitadoras para intervenção foram identificados como escolhas de design críticas que superam a segmentação ponta a ponta ou o mascaramento em nível de pixel.

Significado e Alegações
O artigo alega que os métodos de atribuição atuais são insuficientes para garantir a confiabilidade de LVLMs médicos, pois frequentemente falham em alinhar-se com a evidência visual real utilizada pelo modelo. Ao introduzir um benchmark validado causalmente e um método de atribuição baseado em conceitos, os autores fornecem:

1. Evidência de uma Lacuna: Uma demonstração de que as técnicas existentes não fundamentam de forma confiável as previsões de LVLMs médicos em evidências visuais, mesmo quando o modelo responde corretamente.
2. Uma Solução: O MedFocus, que conecta evidência visual de baixo nível e compreensão clínica de alto nível ao fundamentar explicações em conceitos anatômicos interpretáveis, oferecendo atribuições espaciais, em nível de conceito e em nível de token que são mais fiéis e clinicamente interpretáveis.
3. Um Recurso: A liberação do MedGround-Bench para apoiar a avaliação rigorosa e causalmente fundamentada de métodos de atribuição em futuras pesquisas de IA médica.

Os autores posicionam este trabalho como um passo rumo a LVLMs médicos mais confiáveis, enfatizando que a atribuição confiável é essencial para a confiança do clínico, detecção de erros e segurança do paciente, ao mesmo tempo em que reconhecem que seu framework atual é específico para CXR devido a restrições de disponibilidade de dados.