SECOND: Mitigating Perceptual Hallucination in Vision-Language Models via Selective and Contrastive Decoding

Título: SECOND: Mitigando Alucinações Perceptivas em Modelos Visão-Linguagem via Decodificação Seletiva e Contrastiva

1. O Problema: Alucinações em Modelos Visão-Linguagem (VLMs)

Apesar dos avanços significativos nos Modelos Visão-Linguagem (VLMs), como o LLaVA, eles continuam sofrendo com o fenômeno de alucinação de objetos. Isso ocorre quando o modelo gera respostas plausíveis, mas incorretas, que não são fundamentadas no conteúdo visual real da imagem (ex: afirmar que há um cachorro na imagem quando não há).

• Desafio Atual: Métodos existentes para mitigar alucinações frequentemente dependem de re-treinamento oneroso ou utilizam técnicas de decodificação contrastiva que focam apenas em suprimir priores linguísticos, ignorando a integração otimizada de informações visuais em múltiplas escalas.
• Limitação das Abordagens Multiescala: Embora algumas VLMs recentes incorporem visão multiescala, elas tendem a integrar informações de forma indiscriminada. Isso pode levar à perda de detalhes específicos de objetos e à diluição do contexto visual relevante, aumentando a densidade de informações de fundo irrelevantes e, consequentemente, as alucinações.

2. Metodologia: O Framework SECOND

O SECOND (Selective and Contrastive Decoding) é uma abordagem livre de treinamento (training-free) projetada para alinhar a percepção do modelo com a percepção visual humana, utilizando seleção e contraste de informações em múltiplas escalas.

A. Integração Seletiva de Recursos Multiescala

Em vez de processar a imagem inteira em todas as resoluções simultaneamente, o SECOND opera em um processo de decodificação multiestágio:

1. Estrutura de Estágios: O modelo começa com uma visão de baixa resolução (escala grosseira) e progride para resoluções mais altas (detalhes finos).
2. Seleção Dinâmica de Patches: Em cada estágio, o modelo utiliza o mapa de atenção visual do estágio anterior para selecionar dinamicamente apenas os "patches" (pedaços da imagem) mais relevantes para o objeto de interesse.
   • Se a entropia da atenção é baixa (foco claro), menos patches adicionais são necessários.
   • Se a entropia é alta (foco incerto), mais patches de alta resolução são incorporados no próximo estágio.
3. Mecanismo: Isso permite que o modelo transite de uma varredura ampla para uma inspeção detalhada, acumulando informações visuais de "grosso para fino" sem sobrecarregar o modelo com dados irrelevantes.

B. Decodificação Contrastiva Multiestágio

O SECOND introduz uma nova forma de Decodificação Contrastiva (CD) que vai além da comparação simples entre um "especialista" e um "amador":

• Hierarquia Evolutiva: Cada estágio intermediário atua como um "amador" (processamento grosseiro), enquanto o estágio final atua como o "especialista" (análise detalhada).
• Contraste Iterativo: O método contrasta as saídas de logits de todos os estágios intermediários com o estágio final. A fórmula de logits finais combina as diferenças entre os estágios consecutivos:
  $$\text{logit}_{\text{SECOND}} = \text{logit}_{\text{expert}} + \alpha(\text{logit}_{\text{expert}} - \text{logit}_{\text{amateur3}}) + \beta(\text{logit}_{\text{amateur3}} - \text{logit}_{\text{amateur2}}) + \gamma(\text{logit}_{\text{amateur2}} - \text{logit}_{\text{amateur1}})$$
• Objetivo: Amplificar as diferenças nas informações visuais densas e finas em relação às informações esparsas e grosseiras, forçando o modelo a corrigir erros de percepção iniciais.

3. Contribuições Principais

1. Framework Livre de Treinamento: Propõe o SECOND, que não requer ajuste de pesos do modelo ou dados adicionais, funcionando como uma camada de pós-processamento inteligente sobre VLMs existentes.
2. Análise Teórica e Empírica: Demonstra teoricamente e empiricamente que a seleção seletiva de patches multiescala aumenta o Coeficiente de Dice de Atenção (medida de quão bem o modelo foca no objeto), reduzindo diretamente a probabilidade de alucinação.
3. Decodificação Contrastiva Multiestágio: Introduz um novo paradigma de CD que utiliza a trajetória evolutiva dos estágios de decodificação, superando métodos que contrastam apenas a entrada inicial e a saída final.
4. Validação em Múltiplos Modelos: O método é aplicado com sucesso em diversas arquiteturas (LLaVA-NeXT, LLaVA-OneVision, Yi-VL) e tamanhos de LLMs (de 0.5B a 7B parâmetros).

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks padrão para avaliação de alucinações e tarefas gerais:

• POPE (Perceptual Hallucination): O SECOND superou a linha de base (baseline) e o método VCD (Visual Contrastive Decoding) em 11 de 12 configurações testadas.
  • Exemplo: No modelo LLaVA-NeXT com Vicuna-7B, o F1-score no conjunto MSCOCO do POPE subiu de 86.5 (baseline) para 89.2 com SECOND + CD.
• Tarefas Gerais (VQAv2, MMStar, MMBench): O método melhorou o desempenho em tarefas de perguntas e respostas abertas e raciocínio, indicando que a mitigação de alucinações não prejudica a capacidade de raciocínio do modelo.
  • No MMStar, o SECOND com CD alcançou 38.6, superando o baseline de 37.3.
• Eficiência: A configuração de 4 estágios (84-168-336-672) oferece o melhor equilíbrio entre desempenho e tempo de decodificação (apenas 1.4x o tempo do baseline).

5. Significado e Conclusão

O trabalho SECOND destaca que a integração indiscriminada de informações visuais multiescala é ineficiente e que a seleção ativa baseada em atenção é crucial para a precisão visual.

• Impacto: O estudo revela o potencial subexplorado da aplicação de múltiplas escalas em VLMs, mostrando que priorizar e contrastar informações através de escalas é superior aos métodos existentes.
• Futuro: Embora eficaz, o método depende da calibração dos mapas de atenção internos. Trabalhos futuros devem focar em fortalecer o mecanismo de seleção para garantir que patches relevantes sejam identificados mesmo quando a atenção inicial é fraca.

Em suma, o SECOND oferece uma solução robusta e eficiente para um dos maiores gargalos atuais da IA visual: a capacidade de "ver" corretamente o que está na imagem, reduzindo a geração de fatos alucinados.