Aligning with Your Own Voice: Self-Corrected Preference Learning for Hallucination Mitigation in LVLMs

1. Declaração do Problema

Os Modelos de Linguagem e Visão Grandes (LVLMs) frequentemente sofrem de alucinações, gerando conteúdo inconsistente com as imagens de entrada (por exemplo, objetos inexistentes, atributos incorretos ou relações erradas). Embora a Otimização Direta de Preferência (DPO) tenha surgido como uma solução mainstream para mitigar isso, alinhando modelos às preferências humanas, as abordagens existentes enfrentam duas limitações críticas:

1. Divergência Distribucional: A maioria dos métodos depende de modelos proprietários (por exemplo, GPT-4V) para gerar respostas "preferidas" (fáticas). Isso introduz uma mudança de distribuição porque os padrões de correção do modelo professor externo diferem da distribuição intrínseca do LVLM alvo, dificultando um alinhamento eficiente.
2. Viés em Direção à Existência de Objetos: Conjuntos de dados e objetivos de treinamento existentes focam principalmente na presença de objetos (existência binária), negligenciando alucinações granulares envolvendo atributos (por exemplo, cor, material) e relações (por exemplo, posicionamento espacial).

2. Metodologia: AVES-DPO

Os autores propõem o AVES-DPO (Alinhamento via Auto-correção Verificada DPO), um framework que elimina a dependência de modelos proprietários externos, aproveitando o conhecimento intrínseco do modelo alvo para gerar dados de preferência in-distribution. O framework consiste em duas etapas distintas:

A. Verificação de Alucinação

Esta etapa diagnostica erros na resposta inicial do modelo ($y_{init}$) usando um mecanismo de verificação baseado em consenso:

• Extração de Grafo de Cena: A resposta é analisada em um grafo de cena estruturado contendo Objetos ($O$), Atributos ($A$) e Relações ($R$).
• Verificação por Consenso: Dois modelos de verificação independentes ($V_1, V_2$) verificam a factualidade de cada elemento.
  • Verificação de Objetos: Utiliza detectores open-source robustos (YOLO, Grounding DINO). Casos ambíguos são resolvidos por uma verificação secundária usando modelos Qwen3-VL.
  • Verificação de Atributos e Relações: Apenas objetos verificados são verificados quanto a atributos e relações usando modelos Qwen3-VL.
  • Regra de Consenso: Um rótulo é finalizado apenas se ambos os modelos concordarem; caso contrário, é marcado como "Ambíguo".
• Candidatos de Correção: Se um elemento for alucinado, o sistema recupera uma substituição correta de um vocabulário pré-construído (derivado de GQA e MS-COCO) com base em subtipos semânticos.

B. Auto-correção

Guiado pelos diagnósticos de verificação, o LVLM refina sua própria saída em duas fases:

1. Retificação Fática: O modelo remove elementos alucinados ou os substitui por conteúdo correto verificado, produzindo uma resposta concisa e factualmente precisa.
2. Enriquecimento Detalhado: Para evitar que a resposta se torne muito esparsa, o modelo adiciona detalhes visuais ausentes fundamentados na imagem.
   • Filtragem Iterativa: Um pipeline cíclico garante a qualidade. O texto enriquecido é alimentado de volta no módulo de verificação. Se alucinações forem detectadas, ele é re-gerado. Este loop executa até 3 vezes (para modelos de 7B) ou 5 vezes (para modelos de 13B).
   • Restrições Negativas: O modelo é explicitamente instruído a não mencionar objetos previamente identificados como alucinados.

C. Aprendizado de Preferência

O processo gera um conjunto de dados de preferência $\mathcal{D}_{SC}$ consistindo em pares $(x, y^+, y^-)$, onde:

• $y^-$: A resposta inicial alucinada.
• $y^+$: A resposta final auto-corrigida e enriquecida.
• Objetivo de Treinamento: O modelo é otimizado usando a função de perda DPO padrão para maximizar a probabilidade de $y^+$ sobre $y^-$, ensinando efetivamente o modelo a preferir suas próprias saídas verificadas e factuais.

3. Contribuições Principais

• Alinhamento In-Distribution: O AVES-DPO é o primeiro framework a gerar pares de preferência estritamente a partir do conhecimento intrínseco do modelo alvo, resolvendo o problema de divergência distribucional inerente ao uso de modelos "professores" externos.
• Mitigação Abrangente de Alucinações: Diferentemente de trabalhos anteriores focados principalmente na existência de objetos, o AVES-DPO aborda um amplo espectro de alucinações, incluindo atributos e relações, através de seu pipeline de verificação granular.
• Alta Eficiência de Dados: O método alcança desempenho state-of-the-art usando apenas 5.2k amostras (para o modelo de 7B), o que é aproximadamente 25 vezes menos dados do que métodos como LLaVA-RLHF, sem exigir chamadas de API proprietárias caras.
• Pipeline de Verificação Robusto: A introdução de uma estratégia de verificação baseada em consenso em duas fases (combinando detectores e VLMs) garante dados de preferência de alta qualidade e livres de ruído.

4. Resultados Experimentais

Os autores avaliaram o AVES-DPO no LLaVA-1.5 (7B e 13B) em múltiplos benchmarks:

• Benchmarks de Alucinação (Object-Hal, AMBER, MMHal-Bench):
  • O AVES-DPO alcançou desempenho SOTA em mais de 60% das métricas de avaliação para o modelo de 7B.
  • Reduziu significativamente as pontuações CHAIR (taxas de alucinação) em comparação com baselines como POVID, oDPO e SENTINEL.
  • Ganhos Granulares: O método mostrou melhorias substanciais nas categorias de relação e atributo, onde outros métodos frequentemente lutam. Por exemplo, no benchmark AMBER, alcançou uma pontuação de 66,6 na categoria "Relação" para o modelo de 7B, superando baselines que frequentemente degradaram o desempenho nessa área.
• Capacidades Multimodais Gerais (Benchmark MME):
  • O modelo de 7B mostrou melhorias significativas em tarefas gerais de percepção e reconhecimento, confirmando que a mitigação de alucinações não degradou as capacidades gerais.
  • Nota: O modelo de 13B mostrou uma pequena troca em benchmarks gerais, sugerindo a necessidade de estratégias conscientes de escala para equilibrar o fundamento factual com a recuperação ampla de conhecimento.
• Estudos de Ablação:
  • Divergência Distribucional: A visualização das margens de preferência mostrou que a auto-correção alinha-se com a distribuição interna do modelo (margem próxima de zero/positiva), enquanto a supervisão externa do GPT-4V causou uma mudança negativa (divergência distribucional).
  • Eficiência de Dados: Os ganhos de desempenho foram significativos mesmo com tão poucas quanto 600 amostras, com retornos decrescentes observados além de 5.2k amostras.

5. Significado

Este artigo apresenta uma mudança de paradigma na mitigação de alucinações para LVLMs. Ao demonstrar que a auto-correção é superior à supervisão externa para aprendizado de preferência, o AVES-DPO oferece uma solução custo-efetiva, escalável e eficiente em dados. Remove a dependência de APIs proprietárias caras (como GPT-4V) enquanto aborda simultaneamente uma gama mais ampla de tipos de alucinação (objetos, atributos, relações). O framework prova que LVLMs podem aprender efetivamente a alinhar-se com suas próprias bases de conhecimento internas para produzir saídas mais factuais e confiáveis.