💬 NLP

PEA-DPO: Perception-Enhanced Alignment Direct Preference Optimization for MLLMs Alignment

Este artigo apresenta o Perception-Enhanced Alignment Direct Preference Optimization (PEA-DPO), um novo framework que aborda a insensibilidade visual de modelos de linguagem de grande escala multimodais ao aproveitar explicitamente sinais de preferência visual, reduzindo significativamente as alucinações e melhorando o alinhamento multimodal enquanto preserva as capacidades de linguagem.

Autores originais: Jiawei Feng, Jiancan Wu, Xingyu Zhu, Junkang Wu, Xiang Wang, Xiangnan He

Publicado 2026-08-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jiawei Feng, Jiancan Wu, Xingyu Zhu, Junkang Wu, Xiang Wang, Xiangnan He

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da inteligência artificial, surgiu uma nova geração de sistemas que podem ver e falar ao mesmo tempo. Esses modelos de linguagem de grande escala multimodais são treinados para olhar para uma imagem e descrever o que veem, ou para responder perguntas sobre uma fotografia. Para que essas máquinas sejam verdadeiramente úteis e seguras, elas devem se alinhar aos valores humanos, o que significa que suas respostas precisam ser precisas, úteis e fundamentadas na realidade visual apresentada a elas. Um grande desafio no ensino desses sistemas tem sido a tendência de alucinar, ou seja, descrever com confiança objetos ou ações que simplesmente não estão lá. Para corrigir isso, pesquisadores recorreram a uma técnica chamada otimização de preferência direta, um método que ensina o modelo mostrando-lhe pares de respostas — uma boa e uma ruim — e pedindo que ele aprenda por que a primeira é melhor. Essa abordagem funcionou maravilhas para modelos apenas de texto, mas quando aplicada a sistemas que também processam imagens, uma falha oculta foi descoberta, que os impede de realmente "ver" a diferença entre uma foto clara e uma onde os detalhes mais importantes foram obscurecidos.

Uma equipe de pesquisadores da Universidade de Ciência e Tecnologia da China e da Universidade Nacional de Singapura identificou essa fraqueza específica e desenvolveu um novo framework para curá-la. Eles descobriram que os métodos de treinamento padrão frequentemente tratam a imagem meramente como um pano de fundo, um cenário estático para a conversa, em vez de como a fonte primária de verdade na qual o modelo deve confiar. Por causa disso, os modelos tornaram-se visualmente insensíveis. Em seus experimentos, os pesquisadores mostraram que esses modelos não conseguiam distinguir a diferença entre uma foto de pessoas fazendo um piquenique e uma foto de pessoas lendo, mesmo quando a evidência visual para uma delas era completamente removida. Os modelos geravam respostas quase idênticas para ambas, falhando em notar que as pistas visuais fundamentais estavam ausentes. Eles também tinham dificuldade em distinguir objetos específicos dentro de uma única imagem, como confundir uma escova de vaso sanitário com uma ferramenta genérica, porque não estavam prestando atenção suficiente às pistas visuais críticas que definiam o objeto.

Para resolver isso, os pesquisadores criaram um método que chamam de Alinhamento com Percepção Aprimorada (Perception-Enhanced Alignment). Em vez de apenas ensinar o modelo a escolher a melhor resposta de texto, eles redesenharam o processo de treinamento para forçar o modelo a prestar atenção ao próprio contexto visual. Eles começaram pegando uma imagem clara e criando uma série de versões alteradas onde partes aleatórias eram mascaradas. Usando um sistema visual separado e altamente sensível, eles identificaram qual versão alterada havia perdido a informação mais crítica, criando efetivamente uma imagem "rejeitada" que carecia dos detalhes essenciais para responder a uma pergunta corretamente. Eles então parearam essa imagem de informação ausente com a imagem original e completa. Durante o treinamento, o modelo era apresentado à mesma pergunta e à mesma resposta de texto, mas mostrava-se primeiro com a imagem completa e depois com a incompleta. O modelo foi ensinado que deveria preferir fortemente a resposta quando tivesse a evidência visual completa, e que deveria reconhecer a resposta como menos confiável quando o contexto visual fundamental estivesse ausente.

Essa abordagem dupla ensinou o modelo duas coisas ao mesmo tempo. Primeiro, ele aprendeu a distinguir entre uma boa resposta de texto e uma ruim, assim como antes. Segundo, e mais importante, ele aprendeu a reconhecer quando a evidência visual era insuficiente para sustentar uma afirmação. Os pesquisadores testaram este novo método em dois tamanhos diferentes de modelos de imagem-texto, um com sete bilhões de parâmetros e outro com treze bilhões. Os resultados foram impressionantes. Em testes padrão projetados para medir a frequência com que esses modelos inventam coisas, o novo método reduziu as alucinações por margens significativas. Para o modelo menor, a taxa de detalhes inventados caiu quase um terço em um importante benchmark, e em mais de noventa por cento em outro. O modelo maior mostrou melhorias semelhantes, muitas vezes superando até mesmo alguns dos sistemas comerciais mais avançados disponíveis. Os modelos tornaram-se muito melhores em descrever exatamente o que estava na foto, como identificar corretamente o título de um livro ou uma ferramenta específica, em vez de adivinhar com base em conhecimento geral.

Os pesquisadores também verificaram para garantir que esse novo foco na precisão visual não tornasse os modelos piores em outras tarefas. Eles descobriram que os modelos mantiveram sua capacidade de seguir instruções e responder perguntas gerais e, em alguns casos, seu desempenho nessas tarefas gerais até melhorou ligeiramente. A única desvantagem perceptível foi que os modelos tornaram-se ligeiramente mais conservadores; eles eram menos propensos a adivinhar quando estavam inseguros, o que significava que às vezes forneciam menos detalhes no total, mas os detalhes que forneciam eram muito mais propensos a serem verdadeiros. Ao ensinar explicitamente o modelo a valorizar a evidência visual tanto quanto o texto, os pesquisadores demonstraram que é possível construir inteligência artificial que não apenas olha para uma imagem, mas realmente a vê. Este trabalho sugere que, para que as máquinas sejam parceiras confiáveis na compreensão do mundo visual, elas devem ser treinadas para sentir o peso da informação ausente, garantindo que sua confiança esteja sempre em harmonia com a clareza do que está realmente diante de seus olhos.

Resumo Técnico: PEA-DPO

Declaração do Problema

Embora o Direct Preference Optimization (DPO) tenha se mostrado eficaz para alinhar Modelos de Linguagem de Grande Escala (LLMs) apenas de texto com preferências humanas, sua aplicação direta a Modelos de Linguagem de Grande Escala Multimodais (MLLMs) revela uma limitação crítica: a insensibilidade visual. Os autores identificam que o DPO multimodal padrão frequentemente trata imagens meramente como entradas de condicionamento estáticas, em vez de alvos ativos de preferência. Consequentemente, os modelos falham em distinguir uma imagem original de uma onde o contexto visual crítico foi removido, levando a respostas fracamente fundamentadas em evidências visuais.

Através de análise representacional e decomposição teórica, os autores formalizam essa falha em duas manifestações distintas:

Insensibilidade Entre Imagens (Across-Image Insensitivity): O modelo atribui pontuações de preferência quase idênticas a respostas geradas de imagens distintas (por exemplo, falhando em diferenciar uma imagem de uma atividade de leitura ao ar livre de um piquenique), indicando uma falta de discriminação entre diferentes contextos visuais.
Insensibilidade Dentro da Imagem (Within-Image Insensitivity): O modelo falha em distinguir pistas semanticamente críticas de irrelevantes dentro da mesma imagem (por exemplo, confundindo uma escova de vaso sanitário com uma ferramenta genérica), levando a alucinações mesmo quando a evidência visual correta está presente.

Metodologia: PEA-DPO

Para abordar essas limitações, os autores propõem o Perception-Enhanced Alignment DPO (PEA-DPO). Este framework desloca o paradigma de otimização de tratar imagens como contexto estático para otimizar conjuntamente a qualidade da resposta e as preferências do contexto visual.

1. Construção de Dados de Preferência com Percepção Aprimorada

O método gera pares de preferência visual de alta qualidade removendo explicitamente o contexto visual crítico:

Perturbação: Começando com uma imagem escolhida ( $m_w$ ), o sistema aplica máscaras aleatórias para gerar um conjunto de imagens perturbadas candidatas.
Seleção via CLIP: Usando embeddings do CLIP, o sistema calcula a similaridade semântica entre a imagem original e a perturbada. A imagem perturbada com o menor escore de similaridade (indicando a remoção do contexto visual mais crítico) é selecionada como a imagem rejeitada ( $m_l$ ).
Estrutura de Dados: Isso cria um triplete de preferência $(x, m_w, m_l, y_w)$ , onde o modelo deve aprender a preferir a resposta $y_w$ quando condicionado à imagem completa $m_w$ sobre a imagem com contexto reduzido $m_l$ .

2. Objetivo de Otimização Conjunta

O PEA-DPO introduz uma função de perda de objetivo duplo que otimiza simultaneamente dois sinais complementares:

Otimização de Preferência de Qualidade de Resposta (RPO): O termo DPO multimodal padrão onde o modelo aprende a preferir uma resposta de alta qualidade ( $y_w$ ) sobre uma de menor qualidade ( $y_l$ ) dada a mesma imagem ( $m_w$ ).
Otimização de Preferência de Contexto Visual (VPO): Um termo novel onde o modelo aprende a preferir a resposta $y_w$ quando condicionado à imagem completa ( $m_w$ ) sobre a mesma resposta condicionada à imagem com contexto reduzido ( $m_l$ ).

O objetivo final combina esses termos:
$\mathcal{L}_{PEA-DPO} = \mathcal{L}_{RPO} + \alpha \cdot \mathcal{L}_{VPO}$

Para reduzir o overhead computacional e melhorar a controlabilidade, os autores refinam isso ainda mais em mPEA-DPO ao:

Substituir razões de log-probabilidade por log-probabilidades normalizadas pelo comprimento (removendo a necessidade de um modelo de referência).
Substituir a função sigmoid pela ReLU para filtrar pontos de dados triviais.
Introduzir margens alvo ( $\gamma_r, \gamma_m$ ) para impor separações mínimas entre pares preferidos e rejeitados.

Análise Teórica

O artigo fornece uma prova teórica demonstrando que o mPEA-DPO mitiga diretamente os modos de falha identificados:

A Insensibilidade Entre Imagens corresponde a uma margem ao nível da imagem ( $G_m$ ) próxima de zero, representando a incapacidade do modelo de distinguir entre $m_w$ e $m_l$ . O termo $\mathcal{L}_{VPO}$ impõe explicitamente uma margem positiva aqui.
A Insensibilidade Dentro da Imagem corresponde a uma margem ao nível da resposta ( $G_r$ ) próxima de zero, representando a incapacidade do modelo de distinguir entre $y_w$ e $y_l$ mesmo com a entrada visual correta. O termo $\mathcal{L}_{RPO}$ impõe esta margem.
Os autores provam que a combinação linear desses termos no mPEA-DPO amplia comprovadamente ambas as margens, abordando assim ambos os modos de falha simultaneamente.

Resultados Experimentais

Os autores avaliaram o mPEA-DPO em modelos LLaVA-v1.5 (7B e 13B parâmetros) através de três benchmarks de alucinação: MMHal-Bench, Object HalBench e AMBER.

Redução de Alucinação: O mPEA-DPO reduziu significativamente as taxas de alucinação. Para o modelo 7B, reduziu a taxa de alucinação do MMHal-Bench em 33% em comparação com o modelo base. No Object HalBench, alcançou reduções de 92% (nível de resposta) e 87% (nível de objeto) nas taxas de alucinação.
Comparação com SOTA: O método superou a maioria das linhas de base baseadas em RLHF/RLAIF de código aberto (ex: LLaVA-RLHF, mDPO, OPA-DPO, DAMA) na maioria das métricas de alucinação. Embora modelos proprietários como GPT-4V e Gemini-2.5-Pro tenham alcançado pontuações gerais mais altas no MMHal-Bench e pontuações CHAIR mais baixas no Object HalBench, o mPEA-DPO demonstrou desempenho superior na redução de taxas de alucinação em comparação com outros métodos de código aberto. Notavelmente, no benchmark AMBER, o mPEA-DPO (7B) alcançou uma taxa de alucinação de 10.3 e um escore de cognição de 0.6, superando significativamente o GPT-4V, que registrou uma taxa de alucinação de 30.7 e um escore de cognição de 2.6.
Estudos de Ablação:
- Descobriu-se que tanto os componentes RPO quanto VPO são individualmente eficazes, mas sua combinação produziu o melhor desempenho.
- A estratégia de "Percepção Aprimorada" proposta para construir imagens rejeitadas (removendo o contexto chave via seleção CLIP) superou estratégias alternativas como mascaramento de bloco aleatório, rotação, recorte ou escuridão total.
- O desempenho escalou positivamente com o tamanho dos dados de treinamento, mostrando eficácia mesmo com conjuntos de dados menores (2.8k instâncias).
Capacidades Gerais: Avaliações em benchmarks gerais (MMStar, AI2D, LLaVA-Bench, MMMU) indicaram que o mPEA-DPO preservou ou melhorou ligeiramente suas capacidades de seguimento de instrução e raciocínio geral, sugerindo que o método não degrada o desempenho geral.

Significância e Alegações

O artigo afirma que o PEA-DPO aborda uma lacuna fundamental no alinhamento multimodal atual: a tendência de os modelos ignorarem evidências visuais ao otimizar preferências de texto. Ao modelar explicitamente a insensibilidade visual e introduzir um framework de aprendizado de preferência duplo, os autores demonstram que:

A insensibilidade visual é um modo de falha mensurável e corrigível no DPO multimodal.
O uso explícito de sinais de preferência visual (comparando imagens completas vs. com contexto reduzido) é necessário para fundamentar as respostas do MLLM em evidências visuais.
O método proposto alcança desempenho de estado da arte entre os métodos de código aberto na redução de alucinações enquanto mantém as capacidades de linguagem geral do modelo base, superando outras linhas de base de código aberto e mostrando desempenho competitivo contra modelos proprietários em métricas específicas de alucinação.

Os autores observam limitações, incluindo o custo computacional adicional para gerar dados com percepção aprimorada e um leve trade-off em métricas de cobertura (sugerindo uma estratégia de geração mais conservadora), mas concluem que o framework oferece um caminho robusto para MLLMs mais confiáveis e visualmente fundamentados.