Resumo Técnico: O Raciocínio Importa: Mitigar Alucinações em Modelos Grandes de Raciocínio Multimodais via Otimização de Preferência Condicionada ao Raciocínio

Declaração do Problema

Modelos Grandes de Raciocínio Multimodais (MLRMs) demonstraram capacidades robustas em tarefas complexas de visão e linguagem, gerando explicitamente etapas intermediárias de raciocínio (Chain-of-Thought, ou CoT) antes de produzir respostas finais. No entanto, esses modelos permanecem propensos a alucinações, gerando conteúdo que parece plausível, mas é inconsistente com as entradas visuais. Diferentemente dos Modelos Grandes de Linguagem Multimodais (MLLMs) convencionais, onde as alucinações tipicamente ocorrem na saída final, as alucinações em MLRMs podem surgir dentro do CoT intermediário e subsequentemente propagar-se para a resposta final.

Métodos existentes de mitigação baseados em treinamento, como a Otimização Direta de Preferência (DPO), tratam tipicamente o CoT e a resposta final como uma saída monolítica. O artigo observa que essa otimização ao nível da resposta comporta-se de maneira semelhante à otimização apenas de resposta, aprendendo principalmente preferências ao nível da resposta, enquanto deixa a supervisão ao nível do CoT insuficientemente explorada. Consequentemente, alucinações residuais na cadeia de raciocínio frequentemente persistem, dominando a taxa de erro geral da resposta completa.

Metodologia: RC-DPO

Para abordar a insuficiência da supervisão de granularidade grosseira, os autores propõem a Otimização Direta de Preferência Condicionada ao Raciocínio (RC-DPO). Esta estrutura modela explicitamente a relação entre cadeias de raciocínio e respostas finais, tratando o CoT como uma condição para a geração da resposta.

1. Objetivo Central

Em vez de otimizar conjuntamente toda a resposta $(c, a)$, o RC-DPO contrasta a probabilidade de gerar a mesma resposta preferida ($a_w$) sob diferentes condições de CoT:

• Condição Preferida ($c_w$): Uma cadeia de raciocínio fundamentada visualmente e logicamente válida.
• Condição Rejeitada ($c_l$): Uma cadeia de raciocínio alucinada ou corrompida.

A função objetivo isola o efeito da cadeia de raciocínio na geração da resposta. Ela maximiza a margem entre a probabilidade condicional da resposta preferida dada uma CoT de alta qualidade versus uma CoT corrompida:
$$L_{RC} = -\log \sigma \left( \beta \left[ \log \frac{\pi_\theta(a_w|x, c_w)}{\pi_{ref}(a_w|x, c_w)} - \log \frac{\pi_\theta(a_w|x, c_l)}{\pi_{ref}(a_w|x, c_l)} \right] \right)$$
O objetivo final de treinamento combina essa perda condicionada ao raciocínio com a DPO ao nível da resposta padrão:
$$L = L_{DPO} + \lambda L_{RC}$$

2. Construção de Dados de Preferência

O RC-DPO requer a construção de pares de preferência $(x, c_w, a_w, c_l, a_l)$ sem depender de anotações de verdade fundamental externas ou modelos mais fortes. Os autores introduzem um pipeline utilizando as próprias saídas do modelo:

• Construção de Amostra Positiva (MCTS): Os autores empregam Busca em Árvore de Monte Carlo (MCTS) para descobrir trajetórias de raciocínio de alta qualidade. Começando a partir de um modelo ajustado por fine-tuning supervisionado (SFT), o MCTS expande etapas candidatas de raciocínio e utiliza um verificador para pontuar trajetórias com base na consistência visual, validade lógica e correção da resposta. A trajetória com a maior pontuação é selecionada como a amostra positiva $(c_w, a_w)$.
• Construção de Amostra Negativa (Poda Guiada por Atenção): Para criar amostras negativas desafiadoras, os autores empregam uma estratégia de poda de tokens guiada pela atenção da imagem. Eles calculam as pontuações de atenção de cada token do CoT para os tokens da imagem. Tokens com alta relevância visual são identificados e podados (removidos) do CoT original. Isso perturba o fundamento visual da cadeia de raciocínio, criando um CoT corrompido ($c_l$) que serve como condição negativa para a mesma resposta.

3. Pipeline de Treinamento

1. Alinhamento de Formato CoT: Uma etapa de aquecimento SFT alinha o modelo com um formato estruturado de CoT (raciocínio passo a passo seguido de uma resposta) para facilitar as operações do MCTS.
2. Geração de Dados: O MCTS e a poda guiada por atenção geram o conjunto de dados de preferência.
3. Otimização: O modelo é treinado utilizando o objetivo combinado $L_{DPO} + \lambda L_{RC}$.

Contribuições Principais

1. Análise da DPO Existente: O artigo revela que a DPO ao nível da resposta padrão é enviesada para a otimização ao nível da resposta, deixando as alucinações ao nível do CoT insuficientemente abordadas.
2. Estrutura RC-DPO: A proposta de uma estrutura de otimização de preferência de granularidade fina que alinha explicitamente cadeias de raciocínio, contrastando a mesma resposta preferida sob diferentes condições de CoT.
3. Estratégia de Geração de Dados: A introdução de um pipeline de geração de dados de preferência autocontido, utilizando MCTS para amostragem positiva e poda de tokens guiada por atenção para construção negativa.
4. Validação Empírica: Experimentos extensivos em quatro MLRMs e nove benchmarks demonstrando a eficácia da abordagem.

Resultados Experimentais

Os autores avaliaram o RC-DPO em quatro MLRMs representativos: R1-Onevision-7B, MM-Eureka-7B, ThinkLite-VL-7B e OpenVLThinker-7B.

• Mitigação de Alucinações: No Object HalBench, o RC-DPO alcançou consistentemente as menores pontuações CHAIRS e CHAIRI em todos os modelos, superando significativamente linhas de base como VCD, SID, RLAIF-V e OPA-DPO. Por exemplo, no R1-Onevision, o CHAIRS foi reduzido de 36,7 (Vanilla) para 21,7 (RC-DPO).
• Existência de Objetos: No benchmark POPE, o RC-DPO alcançou as melhores pontuações de precisão e F1 em configurações aleatórias, populares e adversariais, indicando melhoria no reconhecimento da existência de objetos.
• Geração Aberta: No MMHal-Bench e em avaliações assistidas por GPT-4, o RC-DPO reduziu as taxas de alucinação enquanto mantinha ou melhorava a qualidade descritiva e a fluência.
• Capacidades Gerais: Avaliações em MME, MMBench, VMCBench e MMVP mostraram que o RC-DPO não sacrifica a percepção ou as capacidades de raciocínio multimodais gerais; em muitos casos, melhorou o desempenho em tarefas visuais de granularidade fina (por exemplo, OCR e reconhecimento de posição).

Significado e Afirmações

O artigo afirma que o alinhamento explícito de cadeias de raciocínio intermediárias é crucial para a construção de MLRMs fiáveis e confiáveis. Ao mudar da otimização ao nível da resposta de granularidade grosseira para a otimização condicionada ao raciocínio de granularidade fina, o RC-DPO aborda a causa raiz da propagação de alucinações em modelos de raciocínio. Os autores enfatizam que seu método mitiga efetivamente as alucinações tanto no CoT intermediário quanto na resposta final, levando a um raciocínio multimodal mais confiável sem comprometer as capacidades gerais. O trabalho destaca que tratar o CoT como uma condição para a geração da resposta fornece um sinal de treinamento direto para aprender preferências de raciocínio que suportam a resposta.