Resumo Técnico: Cegueira de Contexto em DPO: Mitigando Alucinação de Objetos em MLLMs via Otimização de Preferência Calibrada pelo Contexto

1. Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) alcançaram progressos significativos em tarefas de visão-linguagem, mas permanecem propensos à alucinação de objetos, onde os modelos geram descrições semanticamente plausíveis que contradizem a entrada visual. Embora o Direct Preference Optimization (DPO) e suas variantes tenham sido empregados para mitigar isso, treinando modelos para preferir respostas não alucinadas em vez de alucinadas, esforços recentes que enriquecem os dados de preferência com contexto relevante (ex: legendas auxiliares) produziram resultados incertos em relação à utilização real desse contexto pelo modelo.

Os autores identificam uma limitação fundamental nos objetivos de otimização de preferência existentes: eles são cegos ao contexto. O DPO padrão otimiza a margem de preferência para uma entrada $x$ fixa, mas não recompensa explicitamente o modelo por fortalecer sua preferência quando informações contextuais mais ricas são fornecidas. Consequentemente, mesmo quando treinados em dados contendo contexto útil, os modelos frequentemente falham em utilizar essa informação para fundamentar suas respostas, levando à persistente alucinação.

2. Metodologia

2.1 Métrica Diagnóstica: Ganho de Preferência Contextual (CPG)

Para investigar se os modelos realmente utilizam o contexto, os autores introduzem o Ganho de Preferência Contextual (CPG). Esta métrica quantifica a mudança na força de preferência de um modelo quando um contexto adicional relevante é fornecido.

Dada uma entrada de contexto total $x$ (imagem, consulta e legenda auxiliar) e uma entrada de contexto degradada $x'$ (imagem e consulta apenas, com a legenda removida), a pontuação de preferência é definida como a margem de recompensa implícita entre a resposta preferida ($y_w$) e a resposta não preferida ($y_l$):
$$\Delta \hat{r}_\theta(x, y_w, y_l) = \hat{r}_\theta(x, y_w) - \hat{r}_\theta(x, y_l)$$

O CPG é calculado como a diferença nessas pontuações:
$$\text{CPG}(x, x') = \Delta \hat{r}_\theta(x, y_w, y_l) - \Delta \hat{r}_\theta(x', y_w, y_l)$$

Observações Principais:

• Correlação: Existe uma forte correlação negativa entre CPG e taxas de alucinação; modelos com maior CPG exibem consistentemente menor alucinação.
• Cegueira de Contexto: O DPO padrão e suas variantes (SimPO, RDPO) exibem distribuições de CPG concentradas próximas a zero. Isso indica que remover o contexto auxiliar causa mudança mínima na preferência do modelo, revelando que esses modelos não utilizam efetivamente a informação contextual para fundamentação (grounding).

2.2 Solução Proposta: C2-DPO (DPO Calibrado pelo Contexto)

Para abordar a cegueira de contexto, os autores propõem o C2-DPO, um framework que maximiza explicitamente o CPG enquanto preserva a ordenação de preferência correta sob condições degradadas. A abordagem é formulada como um problema de otimização restrita:

1. Objetivo: Maximizar a margem de preferência sob contexto total ($x$).
2. Restrição 1: A margem de preferência sob contexto total deve exceder a marg de preferência sob contexto degradado ($x'$), garantindo um CPG positivo.
3. Restrição 2: A margem de preferência sob contexto degradado deve permanecer positiva, garantindo que o modelo ainda prefira a resposta correta mesmo sem pistas auxiliares.

Essas restrições são relaxadas em um objetivo de treinamento diferenciável composto por três termos:
$$\mathcal{L}_{\text{C}^2\text{-DPO}}(x, x') = \mathcal{L}_{\text{DPO}}(x) + \lambda_c \mathcal{L}_c(x, x') + \lambda_u \mathcal{L}_{\text{DPO}}(x')$$

• $\mathcal{L}_{\text{DPO}}(x)$: Perda DPO padrão no contexto total para manter o alinhamento.
• $\mathcal{L}_c(x, x')$ (Perda de Calibração de Preferência Contextual): Uma perda contrastiva que trata o contexto total como positivo e o contexto degradado como negativo, maximizando explicitamente a lacuna (CPG) entre eles.
• $\mathcal{L}_{\text{DPO}}(x')$: Perda DPO padrão no contexto degradado para garantir que o modelo mantenha uma ordenação de preferência correta mesmo quando o contexto está ausente, evitando que o modelo simplesmente diminua a pontuação da resposta preferida para inflar artificialmente o CPG.

3. Principais Contribuições

1. Identificação da Cegueira de Contexto: Os autores revelam que os métodos de otimização de preferência existentes falham em aproveitar a informação contextual, evidenciado pelas distribuições de CPG próximas de zero.
2. Introdução do CPG: Uma métrica diagnóstica que quantifica a relação entre a utilização de contexto e as taxas de alucinação, demonstrando que um CPG mais alto correlaciona-se com menor alucinação.
3. Framework C2-DPO: Um método de alinhamento de preferência geral que otimiza explicitamente o ganho de preferência contextual. É projetado para ser agnóstico ao modelo e pode ser integrado perfeitamente a várias variantes de otimização de preferência (DPO, SimPO, RDPO) e aplicado tanto a ambientes multimodais quanto apenas de texto.

4. Resultados Experimentais

Os autores avaliaram o C2-DPO em dois MLLMs (LLaVA-v1.5-7B e Qwen2-VL-Instruct-2B) através de múltiplos benchmarks.

• Redução de Alucinação:

  • No Object HalBench, o C2-DPO reduziu a taxa de alucinação do Qwen2-VL-Instruct-2B em 36% (nível de resposta) e 60% (nível de menção) em comparação ao baseline, superando métodos estado da arte como C-DPO e HA-DPO.
  • No AMBER, o C2-DPO alcançou uma pontuação de alucinação de 16.1, significativamente menor que o vanilla-DPO (39.9) e o C-DPO (17.5).
  • As melhorias foram consistentes em diferentes escalas de modelos e arquiteturas.

• Preservação do Raciocínio Geral:

  • O C2-DPO manteve um forte desempenho em benchmarks de raciocínio multimodal geral (ScienceQA, MM-Vet, TextVQA), indicando que a redução de alucinação não compromete a capacidade geral de seguir instruções ou de raciocínio.

• Generalizabilidade:

  • Variantes: Integrar a perda de calibração ao SimPO e RDPO (resultando em C2-SimPO e C2-RDPO) gerou melhorias consistentes, confirmando a ortogonalidade do método em relação ao objetivo de otimização subjacente.
  • Apenas Texto: Em configurações de LLM apenas de texto (AlpacaEval 2), aplicar a estratégia de calibração melhorou o desempenho tanto para DPO quanto para SimPO, sugerindo que o princípio da modelagem de preferência consciente do contexto se estende além dos domos multimodais.

• Robustez:

  • Experimentos com contexto ruidoso (mascaramento aleatório de legendas) mostraram que o C2-DPO permanece robusto, com a lacuna de desempenho entre o C2-DPO e os baselines aumentando conforme o ruído aumenta.

• Dinâmica de Aprendizado:

  • A análise de treinamento mostrou que o C2-DPO aumenta o CPG de forma constante durante o treinamento, enquanto os métodos baseline (como o C-DPO) permanecem próximos de zero.
  • Observou-se que o CPG aumenta linearmente com a quantidade de contexto relevante (contagem de palavras e sentenças), confirmando a sensibilidade do modelo à riqueza do contexto.

5. Significância e Alegações

O artigo afirma que a principal limitação da atual otimização de preferência em MLLMs não é a qualidade dos dados, mas a incapacidade do objetivo de otimização em impor a fundamentação contextual. Ao modelar explicitamente como o contexto molda a preferência, o C2-DPO fornece uma abordagem fundamentada para mitigar a alucinação de objetos.

Os autores enfatizam que seu método:

• Não requer mudanças arquitetônicas complexas ou modelos de recompensa adicionais.
• Baseia-se apenas no contraste entre entradas totais e degradadas, tornando-o aplicável a outras modalidades e tarefas onde o contexto pode ser definido.
• Oferece uma estratégia unificada para melhorar a confiabilidade na otimização de preferência, estendendo os benefícios da fundamentação multimodal para o alinhamento factual apenas de texto.

O trabalho conclui que calibrar explicitamente as pontuações de preferência em relação à informação contextual é um princípio amplamente útil para aumentar a confiabilidade factual de modelos generativos.