Mitigating Multimodal Hallucination via Phase-wise Self-reward

1. Problema

Os Grandes Modelos de Visão e Linguagem (LVLMs) continuam a sofrer de alucinações visuais, onde as respostas geradas são factualmente inconsistentes com a entrada visual. As abordagens existentes para mitigar esse problema enfrentam duas limitações principais:

1. Dependência de Dados Anotados: Métodos baseados em fine-tuning (como DPO) exigem grandes volumes de dados anotados por humanos ou distilados de modelos proprietários, o que gera custos computacionais e de anotação proibitivos.
2. Estratégias Estáticas Post-hoc: Métodos que atuam após a geração ou durante a decodificação frequentemente ignoram a natureza dinâmica da emergência da alucinação. Eles aplicam correções uniformes, falhando em intervir com precisão nos momentos críticos onde a alucinação tende a surgir.

2. Análise Empírica (A Descoberta Chave)

Os autores realizaram uma análise quantitativa detalhada dos padrões de alucinação durante o processo de decodificação. A descoberta fundamental foi que a alucinação visual exibe padrões dinâmicos por fases:

• A gravidade da alucinação varia ao longo das diferentes fases de geração semântica.
• Pico de Vulnerabilidade: A taxa de alucinação atinge seu pico máximo no início de cada fase semântica (transição para um novo segmento descritivo).
• Uma vez estabelecida a alinhamento inicial em uma fase, os tokens subsequentes dentro da mesma fase tendem a ser mais estáveis.

Essa observação motivou a criação de um framework que intervém especificamente nesses pontos de transição críticos.

3. Metodologia: PSRD (Phase-wise Self-Reward Decoding)

O paper propõe o PSRD, um framework de recompensa auto-gerada que permite a mitigação dinâmica de alucinações no momento da inferência, sem supervisão externa. O método consiste em três componentes principais:

A. Construção do Modelo de Recompensa Leve (Uncertainty-guided Reward Model)

Para evitar o custo de consultar o LVLM principal repetidamente para auto-avaliação durante a decodificação, o PSRD destila a capacidade de discriminação do modelo em um modelo de recompensa leve:

• Elicitação de Comportamento: O LVLM é provocado a gerar alucinações controladas através de perturbações na imagem (ruído) e instruções textuais.
• Sinais de Incerteza: O modelo é re-promptado para avaliar a consistência factual de frases geradas em relação à imagem. As probabilidades de "Grounded" (não alucinado) vs. "Hallucinated" (alucinado) servem como sinais de supervisão fraca.
• Treinamento do Modelo de Recompensa (R): Um modelo leve (baseado em CLIP) é treinado com um mecanismo de ponderação guiado pela incerteza. Ele utiliza três funções de perda:
  1. Discriminative Alignment (DA): Diferenciar frases alucinadas de não alucinadas.
  2. Margin Enforcement: Forçar uma margem mínima entre os scores de alinhamento.
  3. Hallucination Consistency (HC): Garantir que frases alucinadas para a mesma imagem formem um cluster coerente.

B. Intervenção Alvo Guiada por Recompensa

Durante a decodificação, o modelo de recompensa monitora o processo online:

• Estratégia Scout-and-Project: O sistema identifica trajetórias de decodificação promissoras (escaneamento de baixo custo) e refina a força da intervenção.
• Intervenção por Fase: Quando o modelo de recompensa detecta uma queda na pontuação de consistência no início de uma nova fase semântica, ele dispara uma intervenção direcionada.
• Mecanismo de Decodificação: Utiliza a Decodificação Contrastiva (VCD) para penalizar tokens que levam a alucinações, ajustando a distribuição de probabilidade em tempo real.

4. Contribuições Principais

1. Descoberta de Padrões Dinâmicos: Revelação de que a alucinação visual não é uniforme, mas sim atinge picos no início de cada fase semântica.
2. Framework PSRD: Proposta de um método de decodificação online que utiliza sinais de recompensa auto-gerados por fases para correção dinâmica, eliminando a necessidade de fine-tuning do modelo base.
3. Modelo de Recompensa Leve: Desenvolvimento de um modelo de recompensa destilado e eficiente, capaz de fornecer sinais de orientação em tempo real com baixo custo computacional.
4. Superação de SOTA: Demonstração de superioridade consistente sobre métodos post-hoc e métodos de fine-tuning em múltiplos benchmarks.

5. Resultados Experimentais

Os experimentos foram conduzidos em cinco benchmarks (AMBER, MMHal-Bench, Object HalBench, POPE, MHal-detect) e quatro LVLMs diferentes.

• Redução de Alucinação: O PSRD reduziu a taxa de alucinação do modelo LLaVA-1.5-7B em 50,0% no benchmark AMBER (medido pelo score CHAIR).
• Comparação com SOTA: Superou consistentemente métodos post-hoc existentes (como VCD, M3ID, OPERA, Octopus) e métodos de fine-tuning (como HDPO, RLAIF-V) em todos os benchmarks testados.
• Mitigação de Propagação: Ao intervir no início das fases, o PSRD reduz drasticamente a propagação de alucinações. A taxa de acumulação de alucinação por fase ($R_{acc}$) foi de apenas 0,07%, cerca de 7 vezes menor que a do modelo base.
• Eficiência e Qualidade: O método mantém uma alta cobertura de entidades (Cover) e fluidez no texto gerado, oferecendo um trade-off controlável entre a eficácia da mitigação e o tempo de inferência.
• Generalização: O modelo de recompensa destilado do LLaVA-1.5-7B funcionou bem ao ser aplicado em outros modelos (InstructBLIP-7B, LLaVA-Next-7B, LLaVA-1.5-13B), demonstrando forte capacidade de generalização.

6. Significado e Impacto

O trabalho propõe uma mudança de paradigma na mitigação de alucinações:

• Perspectiva Orientada a Processos: Em vez de tentar corrigir o modelo inteiro via fine-tuning massivo, o PSRD foca na discriminação estrutural de falhas em momentos específicos do processo de geração.
• Eficiência de Recursos: Demonstra que é possível obter desempenho comparável a métodos que exigem anotação humana massiva, utilizando apenas auto-supervisão e um modelo de recompensa leve.
• Controle Dinâmico: Oferece um mecanismo altamente controlável para equilibrar a precisão factual e a eficiência da inferência, permitindo que modelos LVLMs sejam mais confiáveis em aplicações do mundo real sem a necessidade de re-treinamento contínuo.

Em resumo, o PSRD estabelece um novo estado da arte para a correção de alucinações em tempo real, explorando a dinâmica temporal da geração de texto para intervenções cirúrgicas e eficientes.