Consistent but Dangerous: Per-Sample Safety Classification Reveals False Reliability in Medical Vision-Language Models

Resumo Técnico: Consistência Enganosa em Modelos Visão-Linguagem Médicos

1. O Problema

Os Modelos Visão-Linguagem (VLMs) médicos estão se aproximando da implantação clínica para tarefas como a resposta a perguntas visuais em radiografias de tórax. Um requisito crítico para esses sistemas é a confiabilidade, frequentemente medida pela consistência sob paráfrase: a capacidade do modelo de produzir a mesma previsão para perguntas semanticamente equivalentes reformuladas.

O artigo identifica uma falha fundamental na prática atual de avaliação:

• A Armadilha da Consistência: Uma baixa taxa de "flip" (mudança de resposta ao paráfrasear) é interpretada como sinal de comportamento estável e confiável.
• A Falha Cega: Um modelo pode atingir consistência perfeita (0% de taxa de flip) não porque entende a imagem, mas porque ignora a imagem e depende exclusivamente de padrões textuais ou estatísticas do conjunto de dados (atalhos textuais).
• O Risco: Tais modelos parecem confiáveis (consistentes e precisos), mas são perigosos porque suas previsões não são fundamentadas em evidências visuais. Se a imagem for removida, a resposta permanece a mesma, levando a diagnósticos errôneos em cenários clínicos reais.

2. Metodologia

Os autores propõem uma nova abordagem para avaliar a segurança de VLMs médicos, focando na análise amostral (per-sample) em vez de métricas agregadas.

• Taxonomia de Segurança de Quatro Quadrantes:
  Os autores definem duas propriedades binárias para cada amostra (par imagem-pergunta):

  1. Consistência: A previsão é idêntica para a pergunta original e todas as suas paráfrases.
  2. Dependência da Imagem (Image Reliance): A previsão muda quando a imagem é removida e o modelo recebe apenas o texto (baseline de texto apenas).

  Isso gera quatro categorias:

  • Ideal: Consistente e dependente da imagem (o cenário desejado).
  • Fragil: Inconsistente, mas dependente da imagem (falha real de sensibilidade à paráfrase).
  • Perigoso (Dangerous): Consistente, mas não dependente da imagem (o cenário crítico: o modelo é consistente porque ignora a imagem).
  • Pior: Inconsistente e não dependente da imagem.

• Configuração Experimental:

  • Modelos: 5 configurações de VLMs (famílias MedGemma-4B-IT e LLaVA-Rad), incluindo versões base e versões ajustadas com LoRA (Low-Rank Adaptation) para otimizar a consistência.
  • Datasets: MIMIC-CXR (equilibrado) e PadChest (desequilibrado, com 81% de respostas "sim").
  • Teste de Baseline de Texto: Para cada amostra, o modelo executa uma passagem forward com a imagem removida. Se a previsão for a mesma com e sem a imagem, a amostra é classificada como não dependente da imagem.

• Métricas:

  • Taxa de Flip (Flip Rate).
  • Fração Perigosa (Dangerous Fraction).
  • Precisão por quadrante e Entropia Preditiva (para medir confiança).

3. Principais Contribuições

1. Novo Framework de Avaliação: Introdução da taxonomia de quatro quadrantes que expõe a "consistência falsa" ao avaliar conjuntamente a estabilidade da resposta e a fundamentação visual.
2. Descoberta do Paradoxo Consistência-Segurança: Evidência empírica de uma correlação negativa forte ($r = -0.89$) entre a taxa de flip e a fração de amostras "Perigosas". Modelos otimizados para ter a menor taxa de flip (mais "consistentes") tendem a ter a maior fração de previsões que ignoram a imagem.
3. Invisibilidade aos Filtros Padrão: Demonstração de que as amostras "Perigosas" exibem alta precisão (até 99,6% no PadChest) e baixa entropia (alta confiança), tornando-as indetectáveis por métodos padrão de triagem baseados em incerteza ou confiança.
4. Recomendação Prática de Implantação: Proposta de um teste de baseline de texto simples (uma passagem forward adicional) para ser incluído em qualquer avaliação de implantação, capaz de expor a armadilha da falsa confiabilidade.

4. Resultados Chave

• Prevalência do Quadrante Perigoso: Em configurações ajustadas (LoRA) para consistência, a maioria das amostras migra para o quadrante "Perigoso".
  • Exemplo Extremo: O modelo LLaVA-Rad Base no dataset PadChest apresentou uma taxa de flip de apenas 1,5% (excelente), mas 98,5% de suas amostras foram classificadas como "Perigosas" (consistente, mas ignora a imagem).
• O Paradoxo da Precisão: No dataset PadChest (desequilibrado), o modelo "Perigoso" alcançou 99,6% de precisão dentro do seu quadrante, superando a precisão do quadrante "Ideal" (26,1%). Isso ocorre porque o modelo aprendeu a sempre responder "sim" (a classe majoritária) sem olhar a imagem, sendo consistente e preciso estatisticamente, mas clinicamente inútil.
• Falha da Entropia: Amostras "Perigosas" têm baixa entropia (alta confiança), enquanto amostras "Fragis" (que realmente olham a imagem, mas são inconsistentes) têm alta entropia. Isso significa que filtros de segurança baseados em incerteza rejeitariam os modelos "Fragis" (úteis) e aceitariam os "Perigosos" (inseguros).
• Impacto do Ajuste Fino (LoRA): O ajuste LoRA para reduzir a sensibilidade à paráfrase aumentou drasticamente a fração de amostras "Perigosas", sugerindo que a otimização para consistência incentiva o aprendizado de atalhos textuais em detrimento da fundamentação visual.

5. Significado e Implicações

• Métricas Atuais são Insuficientes: A taxa de flip isolada é um indicador enganoso para a aprovação de modelos médicos. Um modelo pode passar em todos os testes de consistência e precisão agregada enquanto falha catastroficamente na fundamentação visual.
• Risco Clínico Real: A implantação de modelos classificados como "Perigosos" levaria a diagnósticos que são invariantes à imagem específica do paciente, resultando em falsos positivos/negativos sistemáticos.
• Solução de Baixo Custo: A solução proposta (comparar previsões com e sem imagem) adiciona um custo computacional mínimo (uma única passagem forward) e fornece uma verificação de segurança crítica.
• Mudança de Paradigma na Avaliação: A comunidade deve abandonar a avaliação de métricas isoladas (apenas precisão ou apenas consistência) e adotar uma análise conjunta no nível da amostra. A consistência é necessária, mas não suficiente para a segurança; ela deve ser acompanhada pela fundamentação visual.

Em conclusão, o artigo alerta que a busca por consistência em VLMs médicos, sem restrições de fundamentação visual, pode criar modelos que parecem extremamente confiáveis, mas que na verdade operam como "chutes" estatísticos consistentes, representando um risco silencioso e grave para a prática clínica.