Auditing Frontier Vision-Language Models for Trustworthy Medical VQA: Grounding Failures, Format Collapse, and Domain Adaptation

1. Declaração do Problema

A implantação de Modelos Visão-Linguagem (VLMs) em ambientes clínicos exige mais do que apenas capacidades de raciocínio de alto nível; demanda ancoragem visual precisa (a capacidade de localizar estruturas anatômicas e patologias dentro de uma imagem). Embora os VLMs de ponta se destaquem no raciocínio, seu desempenho em entradas médicas especializadas é pouco caracterizado no que diz respeito a:

• Percepção: O modelo consegue localizar com precisão regiões específicas (por exemplo, um tumor ou órgão) em uma imagem médica complexa?
• Integração de Pipeline: Um pipeline de "auto-ancoragem" (onde o modelo primeiro localiza uma região e depois responde a uma pergunta com base nesse recorte) degrada o desempenho devido a erros de localização ou falhas de conformidade de formato?
• Confiabilidade: As benchmarks atuais frequentemente dependem de pontuações agregadas, falhando em expor modos de falha específicos como "confusão de lateralidade" (confundir esquerda/direita), o que pode levar a erros clinicamente perigosos.

2. Metodologia

Os autores conduziram uma auditoria abrangente de cinco VLMs de ponta (Gemini 2.5 Pro, GPT-5, o3, GLM-4.5V e Qwen 2.5 VL) em três conjuntos de dados padrão de VQA Médica: VQA-RAD, SLAKE e PathVQA.

Configuração Experimental

A avaliação seguiu um pipeline de dois passos (Figura 1 no artigo) para testar três configurações distintas:

1. VQA Direta: O modelo responde à pergunta usando a imagem completa em um único passo.
2. VQA de Auto-Ancoragem: O modelo é instruído a primeiro emitir uma caixa delimitadora para a região relevante e, em seguida, usar essa região recortada para responder à pergunta.
3. VQA de Ancoragem com Verdade Terrena (Oracle GT-Grounding): O modelo recebe caixas delimitadoras de verdade terrena (das anotações do SLAKE) para recortar a imagem antes de responder. Isso serve como um limite superior para determinar se o conceito do pipeline funciona se a percepção fosse perfeita.

Métricas de Avaliação

• Desempenho de VQA: Precisão de perguntas fechadas e recall de perguntas abertas (usando correspondência baseada em regras com expansão de sinônimos e verificações de lateralidade).
• Desempenho de Ancoragem: Interseção sobre União (IoU) média, coeficiente Dice e Accuracy@0.5 (porcentagem de previsões com IoU $\ge$ 0.5).
• Conformidade de Formato: Análise de falhas de parse (incapacidade de extrair as coordenadas da caixa delimitadora da saída do modelo).

Acompanhamento de Ajuste Fino

Para testar se a adaptação de domínio pode preencher a lacuna, os autores realizaram Ajuste Fino Supervisionado (SFT) no Qwen 2.5 VL (7B) usando dados de treinamento combinados do VQA-RAD, SLAKE e PathVQA.

3. Principais Contribuições

1. Auditoria de Percepção: Construção de uma benchmark dedicada de ancoragem visual derivada do SLAKE, revelando que até mesmo os melhores modelos de ponta exibem localização pobre em imagens médicas.
2. Auditoria de Integração de Pipeline: Demonstração de que a "auto-ancoragem" (localizar e depois responder) degrada consistentemente a precisão da VQA em todos os modelos, impulsionada tanto por localização imprecisa quanto por falhas graves de conformidade de formato.
3. Diagnóstico de Ancoragem com Verdade Terrena (Oracle): Prova de que substituir as caixas previstas por anotações de verdade terrena recupera e melhora o desempenho da VQA, isolando a falha no módulo de percepção em vez da própria estratégia de decomposição.
4. Remédio Prospectivo: Demonstração de que o SFT direcionado em um modelo de código aberto forte (Qwen 2.5 VL) fecha significativamente a lacuna no nível da VQA, alcançando recall state-of-the-art no SLAKE, embora o gargalo de percepção permaneça não abordado pelo SFT sozinho.

4. Principais Resultados

A. Lacuna de Percepção (Ancoragem)

• Localização Pobre: Todos os modelos tiveram desempenho ruim na tarefa de ancoragem. O melhor modelo, Qwen 2.5 VL, alcançou apenas 0,23 de IoU médio e 19,1% de Acc@0.5.
• Falhas Sistemáticas:
  • Confusão de Lateralidade: Os modelos frequentemente confundiam esquerda e direita em radiografias de tórax.
  • Descompasso de Escala: Os modelos recorriam a caixas delimitadoras grandes para lesões pequenas (por exemplo, câncer de pulmão), frequentemente cobrindo todo o órgão ou quadrante da imagem.
  • Falha de Generalização: Mesmo modelos que anunciam ancoragem integrada (GLM-4.5V) tiveram desempenho inferior em comparação com modelos de raciocínio geral, indicando que as características de ancoragem não se transferem bem para tarefas médicas de granularidade fina.

B. Degradação do Pipeline (Auto-Ancoragem)

• Colapso Catastrófico: A auto-ancoragem degradou o desempenho de todos os modelos.
  • Gemini 2.5 Pro: A precisão caiu de 39,9% para 0,0% (perguntas fechadas). Isso foi impulsionado por uma taxa de falha de parse de 98,9% no prompt de dois passos.
  • GPT-5: A precisão caiu de 67,6% para 19,3%, com uma taxa de falha de parse de 70,3%.
• Correlação: A gravidade da degradação correlacionou-se com a qualidade da ancoragem (IoU), embora a conformidade de formato tenha sido um fator dominante para alguns modelos.

C. Recuperação com Verdade Terrena (Oracle)

• Quando fornecidas com caixas delimitadoras de Verdade Terrena (GT), todos os modelos melhoraram seu desempenho de VQA em comparação com as linhas de base Direta e de Auto-Ancoragem.
• O Gemini 2.5 Pro recuperou de quase zero para 44,3% de precisão, superando sua linha de base de VQA direta. Isso confirma que a capacidade de raciocínio está intacta, mas a percepção (localização) é o gargalo.

D. Impacto do Ajuste Fino

• O Qwen 2.5 VL (SFT) alcançou o maior recall aberto no SLAKE (85,5%) relatado entre métodos comparáveis, superando o LLaVA-Med e outras linhas de base.
• Isso prova que a lacuna no nível da VQA é tratável via adaptação de domínio. No entanto, como o SFT foi avaliado apenas em métricas de VQA, permanece incerto se essa adaptação corrigiu o gargalo subjacente de percepção/ancoragem.

5. Significado e Conclusão

• Ancoragem como Gargalo: O estudo identifica a qualidade da ancoragem visual como o principal gargalo de confiabilidade para VQA médica no cenário de caixas delimitadoras do SLAKE. Os VLMs atuais carecem da precisão espacial necessária para usar a ancoragem como uma etapa intermediária confiável.
• Riscos do Pipeline: Confiar em pipelines de "auto-ancoragem" com modelos de ponta atuais é perigoso, pois introduz um alto risco de colapso de formato e erros de localização que degradam o desempenho geral.
• Direções Futuras: Os autores sugerem:
  1. Arquiteturas Híbridas: Desacoplar percepção e raciocínio usando módulos de ancoragem especializados e adaptados ao domínio (por exemplo, Grounding DINO ou SAM ajustados finamente) para fornecer entradas espaciais confiáveis aos VLMs.
  2. Análise Granular: Estratificar a análise de falhas por tipo de órgão, escala de lesão e lateralidade.
  3. Adaptação em Tempo de Inferência: Explorar aprendizado por reforço em tempo de teste para melhorar a percepção sem dados de treinamento adicionais.

Em resumo, embora os VLMs de ponta possuam fortes capacidades de raciocínio, sua incapacidade de localizar com precisão estruturas médicas torna os pipelines de "auto-ancoragem" pouco confiáveis. Uma IA médica confiável requer módulos de percepção especializados ou melhorias significativas nas capacidades de raciocínio espacial dos próprios VLMs.