Seeing Through the Chain: Mitigate Hallucination in Multimodal Reasoning Models via CoT Compression and Contrastive Preference Optimization

1. O Problema: Alucinações em Modelos de Raciocínio Multimodal (MLRMs)

Os Modelos de Raciocínio Multimodal de Grande Escala (MLRMs) têm demonstrado capacidades impressionantes na resolução de problemas complexos, estendendo mecanismos de raciocínio passo a passo (Chain-of-Thought ou CoT) para tarefas que envolvem imagem e texto. No entanto, o artigo identifica um fenômeno contra-intuitivo e crítico: a introdução de mecanismos de raciocínio explícito tende a exacerbar as alucinações em comparação com modelos multimodais base (não-raciocinadores).

As alucinações ocorrem quando o modelo gera conteúdo semanticamente plausível, mas factualmente incorreto ou visualmente irrelevante. O estudo aponta duas causas fundamentais para esse agravamento nos MLRMs:

1. Viés de Atenção: A introdução de raciocínio faz com que o modelo aloque ainda menos atenção aos tokens visuais e aumente a dependência de priors linguísticos (conhecimento prévio de texto), ignorando a entrada visual real.
2. Propagação de Erros: Alucinações que ocorrem na cadeia de raciocínio (CoT) propagam-se causalmente para a resposta final. Se o raciocínio contém erros visuais, a resposta final quase certamente será alucinada.

2. Metodologia: O Framework C3PO

Os autores propõem o C3PO (CoT Compression and Contrastive Preference Optimization), um framework de mitigação baseado em treinamento em duas etapas, projetado especificamente para corrigir as falhas dos MLRMs.

Etapa 1: Compressão de Chain-of-Thought (CoT Compression)

Baseado no princípio do Gargalo de Informação (Information Bottleneck), o objetivo é criar uma representação intermediária mais compacta e eficiente, preservando apenas as informações visuais críticas e eliminando ruído.

• Mecanismo: O modelo gera uma cadeia de raciocínio inicial. Em seguida, um modelo de pontuação de importância (LLMlingua-2) identifica e remove tokens de raciocínio redundantes ou de baixa importância (como palavras de transição ou descrições óbvias).
• Treinamento: O modelo é ajustado via Supervised Fine-Tuning (SFT) para gerar diretamente as cadeias de raciocínio comprimidas (filtradas), aprendendo a focar nos sinais visuais relevantes sem o excesso de texto.

Etapa 2: Otimização de Preferência Contrastiva (Contrastive Preference Optimization - CPO)

Esta etapa visa melhorar a qualidade do raciocínio e alinhar o modelo para evitar alucinações, utilizando aprendizado por preferência.

• Amostras Preferidas (Positivas): Utiliza feedback de modelos MLLMs avançados (como o Qwen3-VL) para revisar e corrigir as cadeias de raciocínio geradas pelo modelo, eliminando alucinações e garantindo fidelidade à imagem.
• Amostras Rejeitadas (Negativas) - Mecanismo de Indução: Para expor os padrões intrínsecos de alucinação do modelo, os autores propõem um Mecanismo de Indução de Alucinação Multimodal. Eles criam deliberadamente entradas visuais (com máscaras aleatórias) e instruções textuais enganosas que forçam o modelo a gerar raciocínios e respostas alucinadas.
• Função de Perda: O modelo é treinado para preferir as cadeias de raciocínio refinadas (positivas) em relação às originais e às induzidas (negativas), utilizando uma função de perda de preferência que inclui regularização de âncora para garantir a estabilidade.

3. Contribuições Principais

1. Análise Causal e Teórica: Identificação experimental de que o raciocínio excessivo desvia a atenção dos dados visuais para priors linguísticos. O artigo fornece uma justificativa teórica baseada no Gargalo de Informação, provando que comprimir e aprimorar o CoT reduz o objetivo de alucinação.
2. Framework C3PO: A primeira abordagem de treinamento baseada em duas etapas (SFT de compressão + Otimização de Preferência) especificamente desenhada para mitigar alucinações em MLRMs.
3. Mecanismo de Indução de Alucinação: Uma técnica inovadora para gerar dados negativos de alta qualidade, simulando falhas reais do modelo para fins de aprendizado contrastivo, algo que raramente é feito de forma sistemática.
4. Validação Abrangente: Demonstração de que a compressão de CoT, sem supervisão adicional, já reduz alucinações, e que a otimização de preferência leva a melhorias significativas.

4. Resultados Experimentais

O C3PO foi avaliado em cinco modelos MLRM representativos (incluindo R1-Onevision, MM-Eureka, Orsta-R1, etc.) e em diversos benchmarks de referência:

• Redução de Alucinação (CHAIR): O método reduziu consistentemente as taxas de alucinação de objetos (CHAIR-S e CHAIR-I) em todos os modelos testados. Por exemplo, no modelo Orsta-R1, houve uma redução relativa de 13,27% no CHAIR-S e 18,82% no CHAIR-I em comparação com a versão base.
• Benchmarks de Objetos (POPE e AMBER): O C3PO superou métodos de linha de base (como RLAIF-V e OPA-DPO) em precisão e F1-score, demonstrando melhor consistência na existência e atributos de objetos.
• Avaliação Assistida por GPT-4: O método reduziu a Razão de Alucinação em Nível de Frase (SHR) em até 14,05% e melhorou a riqueza de detalhes das respostas (WPI e SPI), indicando que o modelo não apenas alucina menos, mas descreve melhor a imagem.
• Capacidade Geral: Diferente de algumas abordagens que degradam o desempenho geral ao focar apenas em alucinação, o C3PO manteve ou até melhorou as pontuações em benchmarks gerais de raciocínio multimodal (MME e MMBench).

5. Significado e Impacto

Este trabalho é pioneiro ao abordar a mitigação de alucinações em modelos de raciocínio multimodal de forma estruturada. Ele desafia a noção de que "mais raciocínio" é sempre melhor, mostrando que o raciocínio ruidoso e redundante é prejudicial.

A principal contribuição para a comunidade é a demonstração de que:

1. A compressão inteligente do raciocínio (remover ruído) é tão importante quanto a geração do raciocínio.
2. A otimização de preferência que utiliza dados negativos induzidos artificialmente é uma estratégia poderosa para corrigir viéses intrínsecos do modelo.

O framework C3PO oferece um caminho viável para desenvolver MLRMs mais confiáveis, seguros e fiéis aos dados visuais, sendo essencial para aplicações críticas onde a precisão factual é não negociável.