Online Self-Calibration Against Hallucination in Vision-Language Models

1. Declaração do Problema

Modelos Visão-Linguagem de Grande Porte (LVLMs) frequentemente sofrem de alucinações, gerando descrições que contêm detalhes visuais ausentes na imagem de entrada (por exemplo, objetos inexistentes, atributos incorretos).

• A Limitação dos Métodos Atuais: Abordagens recentes dependem de alinhamento de preferência offline (por exemplo, RLHF, DPO) usando supervisão destilada de modelos professores mais fortes (como GPT-4) ou anotações humanas.
• O Problema Central: Descompasso Supervisão-Percepção: O artigo argumenta que forçar um modelo estudante mais fraco a alinhar-se com descrições de alta fidelidade e granularidade fina de um professor mais forte cria um descompasso. O modelo estudante carece da capacidade perceptiva para verificar esses detalhes, forçando-o a "adivinhar" com base em priores linguísticos em vez de "ver" a imagem. Isso paradoxalmente aumenta as taxas de alucinação à medida que o modelo aprende a imitar detalhes não fundamentados que não consegue perceber.

2. Observações e Motivações Chave

Os autores identificam dois fenômenos críticos para abordar o problema:

1. Descompasso Supervisão-Percepção: Experimentos empíricos mostram que o ajuste fino do LLaVA-1.5 em dados destilados de um modelo mais forte (Qwen3-VL) na verdade degrada o desempenho em benchmarks de alucinação (por exemplo, POPE, CHAIR) em comparação com a linha de base. O modelo aprende a alucinar para corresponder aos detalhes impossíveis de perceber do professor.
2. Lacuna Gerativa-Discriminativa: LVLMs exibem uma lacuna significativa de desempenho entre geração aberta e verificação discriminativa.
   • Geração: O modelo frequentemente sucumbe à "inércia linguística", alucinando objetos para satisfazer as expectativas do prompt.
   • Verificação: Quando explicitamente questionado "O objeto X está na imagem?", o mesmo modelo demonstra muito maior precisão na identificação correta da ausência de objetos.
   • Implicação: O modelo possui uma capacidade latente de auto-verificação que é subutilizada durante a geração padrão.

3. Metodologia: Framework OSCAR

Os autores propõem Auto-Calibração Online (OSCAR), um framework que aproveita as próprias capacidades discriminativas do modelo para gerar dados de treinamento de alta qualidade online, evitando o descompasso supervisão-percepção.

A. Geração Guiada por MCTS

Em vez de busca gananciosa ou feixe padrão, o OSCAR utiliza Busca em Árvore de Monte Carlo (MCTS) para explorar o espaço de geração. Isso permite "olhar à frente", identificando tokens que podem parecer localmente seguros, mas levam a alucinações a jusante.

• Estado: Respostas parciais (frases).
• Ação: Gerar a próxima frase.
• Fases de Busca: Seleção (critério PUCT), Expansão (amostragem de candidatos), Avaliação (Mecanismo de Recompensa) e Retropropagação.

B. Mecanismo de Recompensa de Dupla Granularidade

Para guiar o MCTS, um novo sistema de recompensa é projetado para equilibrar a fidelidade local e a qualidade global:

1. Recompensa de Processo (Nível de Nó):
   • Para cada frase gerada, o modelo é solicitado a atuar como um discriminador: "Esta frase menciona objetos não presentes na imagem?"
   • A recompensa é a probabilidade do modelo responder "Não" (indicando que a frase está livre de alucinações).
   • Objetivo: Suprimir tokens iniciais que arriscam induzir alucinações futuras.
2. Recompensa de Resultado com Portão (Nível de Trajetória):
   • Avalia a resposta completa apenas se passar em uma verificação estrita de fidelidade (comparando objetos extraídos com a verdade fundamental).
   • Se a trajetória contiver alucinações, a recompensa é 0.
   • Se passar, uma pontuação de qualidade (consistência lógica, fluência, redundância) é atribuída.
   • Objetivo: Garantir que a saída final seja tanto factualmente fundamentada quanto de alta qualidade.

C. Aprendizado Iterativo de Preferência (DPO)

• Construção de Dados: Pares de preferência são extraídos da árvore MCTS:
  • Caminho Global: Comparando a trajetória de maior valor (Escolhida) vs. a trajetória de menor valor (Rejeitada).
  • Comparação de Irmãos: Comparando o nó ótimo em uma profundidade específica vs. seu irmão de pior desempenho.
• Treinamento: O modelo é atualizado usando Otimização Direta de Preferência (DPO).
• Loop Online: O modelo atualizado gera novos dados de preferência na próxima iteração, criando um ciclo virtuoso onde a distribuição de treinamento evolui com os limites perceptivos em melhoria do modelo.

4. Contribuições Chave

1. Identificação do Descompasso: Demonstrou empiricamente que a destilação offline de professores mais fortes pode exacerbar alucinações devido ao Descompasso Supervisão-Percepção.
2. Framework OSCAR: Propôs um novo paradigma de treinamento explorando a Lacuna Gerativa-Discriminativa. Ao integrar MCTS com um Mecanismo de Recompensa de Dupla Granularidade, permite que o modelo se auto-corrija e suprima tokens indutores de alucinação via olhar à frente.
3. Desempenho State-of-the-Art: Alcançou resultados SOTA em benchmarks de alucinação, melhorando simultaneamente as capacidades gerais de compreensão multimodal.

5. Resultados Experimentais

Os experimentos foram conduzidos no LLaVA-1.5 (7B e 13B) em múltiplos benchmarks (Object-HalBench, AMBER, MM-VET, POPE).

• Redução de Alucinação:
  • No LLaVA-1.5-7B, o OSCAR reduziu CHAIRs de 49,0 para 27,6 e CHAIRi de 14,3 para 8,2.
  • No LLaVA-1.5-13B, a melhoria foi ainda mais drástica, reduzindo CHAIRs de 44,8 para 5,4 (uma redução de 87,9%).
• Capacidade Geral: Diferentemente de métodos que sacrificam fluência por precisão, o OSCAR melhorou a pontuação MM-VET (compreensão multimodal geral) de 32,5 para 34,6 para o modelo 7B.
• Melhoria Iterativa: O desempenho melhorou consistentemente ao longo de 3 iterações, validando o loop de auto-calibração online.
• Estudos de Ablação: Confirmou que todos os três componentes (Recompensa de Processo, Recompensa de Resultado com Portão e MCTS) são essenciais. Remover o MCTS ou os mecanismos de recompensa específicos levou a quedas significativas de desempenho.
• Comparação com SFT: O SFT usando dados construídos pelo OSCAR superou significativamente o SFT usando dados destilados do professor (que aumentou alucinações) e o SFT usando a geração bruta do próprio modelo.

6. Significado

Este artigo oferece uma mudança de paradigma na mitigação de alucinações em LVLMs:

• De Offline para Online: Move-se de depender de supervisão externa, potencialmente descompassada, para aprendizado online auto-supervisionado.
• Respeito aos Limites Perceptivos: Enfatiza que os dados de treinamento devem respeitar os limites perceptivos intrínsecos do modelo. Forçar um modelo a descrever o que não pode ver leva ao fracasso; permitir que ele verifique o que vê leva ao sucesso.
• Auto-Correção: Demonstra que LVLMs têm uma capacidade latente de verificar suas próprias saídas, que pode ser desbloqueada através de promptagem discriminativa e MCTS, permitindo melhoria contínua sem rótulos humanos ou de professores externos.