Resumo Técnico: Avaliando a Robustez Diagnóstica de Modelos de Visão-Linguagem sob Perturbações Visuais e Textuais

Declaração do Problema

As métricas de acurácia padrão para Modelos de Visão-Linguagem (VLMs) frequentemente falham em capturar falhas significativas de confiabilidade em domínios críticos para a segurança, como a área da saúde. Embora os VLMs demonstrem alto desempenho em benchmarks estáticos, análises recentes sugerem que essas avaliações podem não medir as habilidades subjacentes de raciocínio robusto necessárias para aplicações clínicas do mundo real. Existe um descompasso crítico entre a capacidade de um modelo gerar respostas semelhantes às humanas e sua capacidade de raciocínio causal ou fundamentação visual (visual grounding). Especificamente, permanece incerto se as decisões diagnósticas sobre dados médicos volumétricos são verdadeiramente fundamentadas em evidências visuais ou se são apenas sensíveis a variações superficiais na ordem de apresentação e no enquadramento textual. Este artigo aborda a necessidade de ampliar o paradigma de avaliação para a robustez diagnóstica e a consistência de predição, garantindo que modelos clínicos gerem diagnósticos estáveis, independentemente de variações de entrada não clínicas.

Metodologia

Os autores propõem um framework baseado em perturbações para avaliar sistematicamente a robustez diagnóstica de VLMs utilizando um conjunto de dados de ressonância magnética (RM) cerebral validado por histopatologia.

Conjunto de Dados e Tarefa

• Dados: Um conjunto de dados curado de 4.091 fatias axiais de RM de 90 indivíduos humanos, compreendendo 45 casos de Glioblastoma (GBM) e 45 casos de Metástase Cerebral (MET).
• Verdade Fundamental (Ground Truth): Os rótulos são exclusivamente confirmados por histopatologia, eliminando a subjetividade radiológica. Neurorradiologistas especialistas forneceram máscaras de consenso ao nível de pixel para identificar fatias contendo lesões diagnósticas (Região de Interesse, ou ROI).
• Tarefa: Um diagnóstico diferencial de nível de sequência (GBM vs. MET) baseado em sequências ponderadas em T1 com contraste (T1CE) e T2. Os modelos são instruídos a responder "INSEGURO" (UNSURE) se a evidência for insuficiente.

Modelos Avaliados

Quatro modelos de última geração foram testados:

1. Generalistas Proprietários: GPT-5.4 e Gemini-2.5-Pro.
2. Generalista de Código Aberto: Qwen3-VL-32B.
3. Ajustado Medicamente (Medically Fine-Tuned): MedGemma-27B.

• Baselines: Classificadores de radiômica tradicionais (SVM e Random Forest) treinados em ROIs 3D delineadas por especialistas serviram como referências não-VLM.

Framework de Perturbação

O pipeline de avaliação emprega um Mecanismo de Indexação Virtual para remover metadados de arquivos, garantindo que os modelos dependam exclusivamente do conteúdo visual. O estudo introduz três categorias de perturbações controladas:

1. Perturbações Visuais:
   • Ordem Reversa: A sequência anatômica é estritamente invertida.
   • Embaralhamento Aleatório: A sequência de fatias é randomizada.
   • ROI Primeiro/Último: Fatias contendo a lesão são movidas para o início ou fim extremo da sequência.
2. Perturbações Textuais:
   • Troca de Rótulo: A ordem das classes alvo no prompt é invertida (ex: "MET e GBM" vs. "GBM e MET").
   • Refraseamento Léxico: O prompt é parafraseado sintaticamente, preservando a semântica.
3. Ablação de Evidência Direcionada:
   • Todas as fatias que interceptam regiões de lesão anotadas por especialistas (núcleo do tumor e edema) são removidas. O comportamento clínico esperado é que o modelo se abstenha (responda "INSEGURO").

Métricas

• Taxa de Inversão (Flip Rate, %): A porcentagem de casos onde a predição de um modelo muda sob perturbação em comparação com seu baseline.
• Taxa de Abstenção (%): A frequência de responder corretamente "INSEGURO" quando a evidência é removida.
• Sobrecomprometimento Diagnóstico (Diagnostic Overcommitment): A taxa na qual os modelos forçam um diagnóstico categórico apesar da ausência de evidência visual crítica.

Resultados Principais

1. Sensibilidade à Ordem de Apresentação

Os modelos exibiram instabilidade significativa quando a ordem de apresentação da evidência foi alterada, apesar de o conteúdo visual permanecer idêntico.

• Reversão Visual: Sob simples reversão de sequência, os modelos mostraram inversões de predição em até 48,9% dos casos (MedGemma-27B em T2).
• Embaralhamento Aleatório: A instabilidade persistiu através de permutações determinísticas, com taxas de inversão atingindo 57,8% para o MedGemma-27B em sequências T2.
• Raciocínio Espacial: As perturbações causaram "desorientação espacial", onde os modelos inverteram predições de lateralidade de lesão (ex: esquerda para direita) em até 20,5% dos casos, sugerindo uma falha em desacoplar a ordenação sequencial de características espaciais intrínsecas.

2. Viés de Seleção Textual

Os modelos foram altamente suscetíveis ao enquadramento linguístico, mesmo quando as entradas visuais permaneceram inalteradas.

• Troca de Rótulo: O MedGemma-27B inverteu suas predições em 67,8% dos casos de T2 e 59,1% dos casos de T1CE apenas devido à inversão da ordem das classes no prompt. Modelos generalistas também mostraram flutuações mensuráveis (ex: 16,7% para Qwen3-VL-32B).

3. Sobrecomprometimento Diagnóstico

Em testes de controle negativo onde todas as evidências de lesão foram removidas, os modelos frequentemente falharam em se abster.

• Diagnóstico Forçado: O MedGemma-27B gerou diagnósticos categóricos em 76,1% dos casos de T1CE após a remoção das fatias da lesão. O Gemini-2.5-Pro fez isso em 58,9% dos casos de T1CE.
• Contraste com Generalistas: Modelos generalistas proprietários (GPT-5.4, Gemini-2.5-Pro) e modelos de código aberto (Qwen3-VL-32B) demonstraram um comportamento mais conservador em modalidades T2, com taxas de abstenção atingindo 90,0% e 98,9%, respectivamente, embora o sobrecomprometimento tenha permanecido uma preocupação em T1CE.

4. Desacoplamento de Evidência e Raciocínio

Embora os modelos pudessem reportar consistentemente os índices das fatias contendo a lesão (alto IoU para localização), essa consistência espacial não se correlacionou com a estabilidade diagnóstica. Os modelos podiam apontar com precisão os locais das evidências enquanto simultaneamente alteravam seu diagnóstico final com base na ordem de apresentação, indicando um desacoplamento entre o processamento visual e o raciocínio diagnóstico.

Significância e Alegações

O artigo afirma que a alta acurácia agregada em benchmarks estáticos é uma estimativa incompleta e potencialmente enganosa da confiabilidade clínica para VLMs. Os autores argumentam que:

• A Estabilidade é uma Dimensão Distinta: A estabilidade de predição sob perturbações que preservam a evidência é uma métrica crítica que não pode ser inferida apenas da acurácia de tarefas canônicas.
• Implicações de Segurança: O "sobrecomprometimento diagnóstico" observado e a sensibilidade ao enquadramento não clínico (ordem e texto) representam riscos de segurança em ambientes clínicos, onde os modelos podem gerar diagnósticos confiantes, porém incorretos, baseados em pistas superficiais em vez de fundamentação visual.
• Necessidade de Avaliação: A implantação de VLMs em fluxos de trabalho críticos para a segurança exige protocolos de avaliação que incluam métricas baseadas em estabilidade, análise de abstenção e ablação de evidência direcionada para revelar vulnerabilidades mascaradas por escores de acurácia padrão.

Os autores concluem que os VLMs atuais, incluindo modelos ajustados para fins médicos, carecem da invariância de ordem e robustez necessárias para o uso diagnóstico autônomo, exigindo protocolos extensos de verificação antes da integração clínica.