Resumo Técnico: ViPSy – Síntese de Preferência Orientada pela Visão para Mitigação de Alucinações em VLMs

Declaração do Problema

Os Modelos de Linguagem-Visão (VLMs) demonstraram capacidades significativas de compreensão visual, mas permanecem propensos a alucinações, onde os modelos geram conteúdo inconsistente com a imagem de entrada, frequentemente inventando objetos inexistentes. Este problema decorre de um desequilíbrio entre as modalidades de linguagem e visão, onde os fortes vieses linguísticos (language priors) fazem com que os modelos dependam de estatísticas textuais em vez de evidências visuais.

Embora o Alinhamento de Preferência (especificamente a Otimização de Preferência Direta, ou DPO) tenha surgido como uma solução promissora para melhorar a fidelidade visual, sua eficácia depende fortemente da qualidade dos pares de preferência construídos (respostas preferidas vs. não preferidas). Os métodos existentes para construir esses pares sofrem de duas limitações primárias:

1. Métodos baseados em intervenção (ex: injeção ou correção de alucinação) frequentemente introduzem respostas que se desviam significativamente da distribuição de política natural do modelo, criando um descompasso de distribuição (distribution mismatch).
2. Métodos baseados em amostragem (ex: amostragem julgada externamente ou amostragem guiada por SFT) reduzem esse descompasso de distribuição, mas frequentemente subutilizam a informação visual, baseando-se, em vez disso, em vieses de linguagem para determinar a preferência.

Metodologia: ViPSy

Os autores propõem o ViPSy (Vision-driven Preference Synthesis), um framework de dois estágios projetado para construir dados de preferência que sejam tanto alinhados à política (próximos à distribuição de resposta do modelo) quanto ancorados visualmente (baseados em evidência da imagem).

Estágio 1: Síntese Semântica Auto-legendada para Extração de Pistas Consistentes

Para extrair pistas visuais confiáveis sem viés externo, o ViPSy aproveita as próprias capacidades do modelo de política:

1. Auto-legenda (Self-Captioning): O modelo de política ($\pi_\theta$) gera $N_c$ legendas para uma imagem de origem $m$ usando um prompt de legenda padrão.
2. Síntese Semântica: Estas legendas servem como prompts para um modelo de difusão de Texto-para-Imagem (T2I) ($P_\psi$) para sintetizar $N_c$ variantes de imagem semanticamente alinhadas ($m'_j$).
3. Extração de Pistas (Cue Extraction): Um modelo juiz ($\pi_\phi$) compara cada variante sintética $m'_j$ com a imagem original $m$ para extrair evidências de nível de objeto pareadas ($c_j$) que são consistentes entre elas.
4. Agregação: O juiz agrega essas pistas pareadas em uma pista visual ($c$) única e consistente. A intuição é que objetos recorrentes através de diversas variações sintéticas derivadas da mesma imagem de origem têm alta probabilidade de estarem ancorados na imagem original.

Estágio 2: Auto-destilação Condicionada por Pistas para Síntese de Preferência

Uma vez estabelecida a pista visual $c$, o framework gera pares de preferência:

1. Rollouts Condicionados por Pistas: O modelo de política amostra $N_s$ respostas candidatas ($y^{(s)}$) condicionadas à imagem original $m$, ao prompt $x$ e à pista visual extraída $c$. Isso garante que os candidatos permaneçam próximos à distribuição da política enquanto são explicitamente guiados pela evidência visual.
2. Seleção de Preferência: O modelo juiz avalia o conjunto de candidatos $\{y^{(s)}\}$ contra a imagem original $m$ para selecionar uma resposta preferida ($y_w$) (mais ancorada visualmente) e uma resposta não preferida ($y_l$) (menos ancorada).
3. Otimização: O conjunto de dados resultante $\mathcal{D}_{pref} = \{(x, m, y_w, y_l)\}$ é usado para treinar o modelo via Otimização de Preferência Direta (DPO). Crucialmente, as pistas visuais e as imagens sintéticas são usadas apenas durante a construção dos dados; a etapa de otimização final condiciona a política apenas ao par prompt-imagem original, destilando a capacidade de ancoragem visual no modelo.

Principais Contribuições

1. Framework ViPSy: Uma abordagem de síntese de preferência orientada pela visão que constrói pares de preferência visualmente ancorados enquanto mantém o alinhamento com a distribuição de resposta da política.
2. Estratégia de Dois Estágios:
   • Síntese semântica auto-legendada: Utiliza as próprias legendas do modelo para impulsionar a síntese T2I, agregando evidências de objetos recorrentes para extrair pistas visuais consistentes, reduzendo assim a dependência de vieses de linguagem.
   • Auto-destilação condicionada por pistas: Guia os próprios rollouts da política com estas pistas para gerar candidatos que variam em qualidade de ancoragem visual, permitindo a seleção de pares de preferência de alta qualidade.
3. Desempenho de Estado da Arte: O framework alcança novos resultados de estado da arte na mitigação de alucinações e melhora as capacidades gerais de ancoragem visual.

Resultados Experimentais

Os autores avaliaram o ViPSy no LLaVA-1.5 (7B e 13B) e em vários outros modelos de política (Qwen2.5-VL, InternVL3.5, etc.), comparando-o com métodos de decodificação, abordagens baseadas em desaprendizado (unlearning) e baselines de alinhamento de preferência existentes.

• Mitigação de Alucinação:
  • No LLaVA-1.5-7B, o ViPSy reduziu as taxas de alucinação no AMBER em 35,7% e no Object HalBench em 24,5% em comparação com o estado da arte anterior (SENTINEL).
  • No LLaVA-1.5-13B, superou todos os baselines em todos os benchmarks de alucinação, mostrando melhorias significativas sobre os melhores métodos anteriores.
• Ancoragem Visual Geral:
  • Ao contrário de alguns baselines que degradam o desempenho geral, o ViSyp melhorou as pontuações em benchmarks gerais que exigem ancoragem visual: MMStar (+6,0%), MMVP (+31,3%) e CV-Bench (+4,0%) no modelo 7B.
• Melhorias no Codificador de Visão:
  • Avaliações de linear probing e segmentação no ImageNet-1k, ImageNet-O e MS COCO mostraram ganhos em precisão e recall. Isso sugere que o ViPSy melhora as representações visuais subjacentes, não apenas a geração ao nível de resposta.
• Generalização:
  • O método demonstrou melhorias consistentes em diversos modelos de política (Qwen, InternVL, mPLUG-Owl, Kimi), indicando que não é específico para uma única arquitetura.
• Estudos de Ablação:
  • Auto-rollouts mostraram-se superiores aos rollouts de VLMs externos, confirmando a importância de permanecer próximo à distribuição da política.
  • A síntese baseada em difusão superou transformações simples de imagem (redimensionamento, corte) e variações baseadas em vídeo, destacando a necessidade de diversidade semântica rica para a extração de pistas.
  • O método permaneceu robusto através de diferentes modelos de juiz (Qwen3-VL, GPT-5 mini).

Significância e Alegações

O artigo afirma que o ViPSy aborda o compromisso fundamental na construção de preferência: equilibrar o alinhamento de política com a ancoragem visual. Ao derivar pistas visuais da interseção entre a própria compreensão semântica da política e as variações de imagem sintéticas, o ViPSy evita o desvio de distribuição dos métodos baseados em intervenção e o negligenciamento visual dos métodos de amostragem padrão.

Os autores afirmam que sua abordagem não apenas estabelece um novo estado da arte na redução de alucinações, mas também melhora as capacidades visuais gerais do modelo e a qualidade das representações do seu codificador de visão. Eles enfatizam que o framework destila efetivamente a ancoragem visual na política sem exigir modelagem de recompensa complexa ou aprendizado por reforço online, tornando-o uma solução prática e eficaz para melhorar a confiabilidade dos VLMs em aplicações do mundo real.