VGS-Decoding: Visual Grounding Score Guided Decoding for Hallucination Mitigation in Medical VLMs

1. O Problema: Alucinações em Modelos de Linguagem e Visão Médica (VLMs)

Os Modelos de Linguagem e Visão (VLMs) médicos, como o LLaVA-Med e o CheXagent, tornaram-se ferramentas poderosas para tarefas clínicas, incluindo a Resposta a Perguntas Visuais (VQA) e a geração de relatórios de radiologia. No entanto, eles sofrem de um problema crítico: alucinações.

• Causa: As alucinações ocorrem quando o modelo gera respostas baseadas em priors de linguagem (padrões estatísticos aprendidos durante o treinamento) em vez de evidências visuais concretas da imagem.
• Risco: Em cenários médicos de alto risco, isso pode levar a diagnósticos errôneos, decisões clínicas inadequadas e viés de automação perigoso.
• Limitação das Soluções Atuais: Métodos de mitigação de alucinações desenvolvidos para domínios gerais (como VCD, DoLA e OPERA) frequentemente falham ou até degradam o desempenho em VQA médica. Isso ocorre porque as respostas médicas são geralmente curtas, utilizam vocabulário especializado e exigem precisão anatômica extrema, onde correções agressivas podem ser prejudiciais.

2. Metodologia: VGS-Decoding

Os autores propõem o VGS-Decoding (Visual Grounding Score Guided Decoding), um método sem treinamento (training-free) que opera durante a inferência para mitigar alucinações.

Insight Central

A premissa fundamental do trabalho é que tokens alucinados e tokens visualmente fundamentados comportam-se de maneira oposta quando a informação visual é degradada:

• Tokens Visualmente Fundamentados: Sua probabilidade diminui quando a imagem é corrompida (pois dependem da evidência visual).
• Tokens Alucinados: Sua probabilidade mantém-se ou aumenta quando a imagem é corrompida (pois são impulsionados por priors de linguagem, não pela imagem).

O Métrico: Visual Grounding Score (VGS)

O método introduz o VGS, uma métrica que quantifica a dependência visual de cada token.

1. Geração de Imagem Distorcida: Cria-se uma versão distorcida da imagem original ($V'$) adicionando ruído Gaussiano e de Poisson.
2. Cálculo de Probabilidades: O modelo gera distribuições de probabilidade para o mesmo token usando a imagem original ($P_{orig}$) e a distorcida ($P_{dist}$).
3. Fórmula do VGS: O score é calculado como a diferença normalizada entre as distribuições:
   $$VGS(t) = \frac{P_{orig}(t) - P_{dist}(t)}{P_{orig}(t) + P_{dist}(t)}$$
   • VGS > 0: Token visualmente fundamentado (probabilidade cai com ruído).
   • VGS < 0: Token potencialmente alucinado (probabilidade sobe ou se mantém com ruído).
   • VGS ≈ 0: Token independente visualmente (ex: palavras funcionais).

Processo de Decodificação Adaptativa

Durante a decodificação, as probabilidades originais são reponderadas multiplicativamente:
$$P_{final}(t) \propto P_{orig}(t) \times \max(1 + \alpha \cdot VGS(t), \delta)$$

• Tokens com VGS positivo são amplificados.
• Tokens com VGS negativo são suprimidos.
• Tokens neutros permanecem inalterados, preservando a coerência linguística.
• Diferente de métodos contrastivos fixos (como VCD), o VGS oferece controle adaptativo por token.

3. Principais Contribuições

1. Identificação de Falhas em Domínio Médico: Demonstração de que métodos de mitigação de alucinações de domínio geral (VCD, DoLA, OPERA) frequentemente degradam o desempenho em VQA médica, motivando a necessidade de soluções específicas para o domínio.
2. Novo Métrico (VGS): Introdução do Visual Grounding Score, uma métrica interpretável e limitada ao intervalo $[-1, +1]$ que quantifica a dependência visual em nível de token através de diferenças de probabilidade normalizadas.
3. Método Sem Treinamento (VGS-Decoding): Proposta de um algoritmo de decodificação que não requer retreinamento do modelo, é aplicável a diversos VLMs e melhora consistentemente o desempenho.
4. Eficiência Computacional: O método introduz apenas um custo de inferência de 2x (duas passadas forward: imagem original e distorcida), sendo significativamente mais leve que métodos baseados em busca em feixe (beam search) como o OPERA.

4. Resultados Experimentais

O método foi avaliado em dois benchmarks médicos (VQA-RAD e MIMIC-Diff-VQA) e três modelos distintos (LLaVA-Med, CheXagent e MedGemma).

• Desempenho Consistente: O VGS-Decoding foi a única metodologia que melhorou consistentemente todos os modelos em todos os conjuntos de dados.
• Ganhos Significativos:
  • Melhoria global de até +9.12% (no MedGemma no MIMIC-Diff-VQA).
  • Melhoria de +8.98% na recuperação de perguntas de resposta aberta (open-ended recall).
  • No conjunto VQA-RAD, o MedGemma viu um ganho de +8.16%.
• Comparação com Baselines:
  • Métodos existentes (VCD, DoLA, OPERA) frequentemente reduziram o desempenho em até -6% em comparação com a decodificação gananciosa padrão (greedy decoding).
  • O VGS-Decoding manteve o desempenho do modelo CheXagent (já bem calibrado) sem degradação significativa, enquanto outros métodos causaram quedas de até -5%.
• Estudos de Ablação: Confirmaram que tanto a métrica VGS quanto o reponderamento multiplicativo adaptativo são essenciais para o sucesso; o uso de pesos fixos (estilo VCD) degradou o desempenho.

5. Significado e Impacto

O trabalho é altamente relevante para a implementação clínica de VLMs por várias razões:

• Segurança: Reduz o risco de diagnósticos errôneos causados por alucinações, um pré-requisito crítico para a adoção de IA na medicina.
• Praticidade: Por ser um método sem treinamento (training-free) e com baixo custo computacional (2x overhead), pode ser integrado facilmente em sistemas de produção existentes sem a necessidade de retreinar modelos grandes e caros.
• Generalização: Funciona bem em diferentes arquiteturas de modelos e tipos de dados médicos, sugerindo robustez para aplicações do mundo real.

Em resumo, o VGS-Decoding oferece uma solução elegante e eficaz para um dos maiores obstáculos na aplicação de IA médica: a confiança na evidência visual versus a alucinação baseada em texto.