Resumo Técnico: Otimização de Contraste Visual em Contexto (IC-VCO)

Declaração do Problema

A alucinação multimodal permanece um desafio persistente para os Modelos de Linguagem-Visão (VLMs), caracterizada pelo "negligenciamento visual", onde os modelos dependem de vieses linguísticos em vez de fundamentar as respostas na entrada visual. Embora a Otimização de Preferência Direta (DPO) seja um paradigma padrão de pós-treinamento para alinhar modelos com a intenção humana, o DPO textual padrão falha em mitigar as alucinações multimodais porque trata a imagem meramente como uma condição estática, carecendo de supervisão visual explícita.

Tentativas existentes de introduzir preferência visual no DPO (Visual Preference DPO) constroem pares contrastando uma imagem original ($m$) contra uma imagem negativa ($m'$), mantendo o prompt de texto fixo. No entanto, o artigo identifica duas limitações críticas nessas abordagens:

1. Objetivo Teoricamente Inconsistente: Ao alterar o contexto visual entre os pares de preferência, as funções de partição ($Z(m, x)$ e $Z(m', x)$) da política de referência não se cancelam. Isso deixa um termo de viés residual e intratável no objetivo, tornando a otimização teoricamente inconsistente com a formulação original do DPO.
2. Negativos de Grão Grosso: Os métodos atuais tipicamente geram imagens negativas via recuperação ou síntese de texto-para-imagem. Estas frequentemente exibem diferenças estilísticas distintas ou lacunas semânticas amplas em relação ao input original. Tais discrepâncias de grão grosso permitem que os modelos aprendam "atalhos" (por exemplo, rejeitar uma imagem baseada no estilo global em vez de fatos visuais finos) em vez de desenvolver um ancoramento visual preciso.

Metodologia

Os autores propõem a Otimização de Contraste Visual em Contexto (IC-VCO), um framework projetado para resolver inconsistências teóricas e impor um ancoramento visual de grão fino através de três componentes principais:

1. Otimização de Contraste Visual em Contexto

Para abordar a incompatibilidade da função de partição, o IC-VCO reestrutura a configuração de treinamento ao colocar tanto a imagem original ($m$) quanto a imagem de contraste ($m'$) dentro de um contexto compartilhado de múltiplas imagens $M = [m, m']$.

• Extensão do Prompt de Âncora: Como o contexto contém múltiplas imagens, o prompt textual é estendido com uma instrução de âncora (ex: "responda com base na primeira imagem") para especificar explicitamente em qual imagem o modelo deve fundamentar sua resposta.
• Consistência Teórica: Ao comparar as respostas sob o mesmo contexto compartilhado $M$ e o prompt de âncora, a função de partição $Z(M, \hat{x})$ permanece idêntica para as respostas escolhida e rejeitada. Isso permite que a função de partição se cancele rigorosamente, restaurando a validade matemática do objetivo DPO.

2. Destilação de Contraste Visual (VCDist)

Existe uma discrepância entre a configuração de treinamento (contexto de múltiplas imagens) e a inferência padrão (entrada de imagem única). Para preencher essa lacuna, os autores introduzem o VCDist, um regularizador auxiliar.

• Mecanismo: O VCDist usa a distribuição de preferência aprendida no contexto de múltiplas imagens como um "professor" para guiar a política de imagem única ("aluno").
• Portão Duplo (Dual-Gating): Para garantir a confiabilidade, um mecanismo de portão duplo filtra os sinais de destilação:
  • Portão de Correção (Correctness Gate): Garante que o sinal do professor seja confiável (probabilidade > 0,5).
  • Portão de Confiança (Confidence Gate): Ativa a destilação apenas quando a confiança do aluno é menor que a do professor, evitando penalidades reversas.
• Objetivo: Isso encoraja a política de imagem única a permanecer compatível com os sinais de treinamento contrastivos, reduzindo o gap de contexto entre treino e inferência.

3. Edição de Amostra Contrastiva

Para evitar o aprendizado de atalhos causado por negativos de grão grosso, o artigo introduz uma estratégia de Edição de Amostra Contrastiva.

• Intervenção Cirúrgica: Em vez de síntese global ou recuperação, o método realiza modificações precisas e localizadas nas imagens originais.
• Processo: Um VLM especialista gera uma instrução de edição para ou realizar um detalhe alucinado (tornando uma afirmação falsa verdadeira) ou injetar uma contradição (tornando uma afirmação verdadeira falsa) em relação a atributos, existência ou relações específicas.
• Preservação: A pipeline de edição (usando Qwen-Image-Edit) preserva a proporção original, iluminação e contexto de fundo, garantindo que a única diferença entre as imagens original e editada seja o conceito semântico alvo. Isso força o modelo a aprender discrepâncias visuais finas em vez de mudanças de estilo globais.

Principais Contribuições

1. Objetivo Teoricamente Rigoroso: O IC-VCO é o primeiro framework a formular a otimização de preferência visual dentro de um contexto compartilhado, garantindo que as funções de partição se cancelem e eliminando o viés teórico inerente aos métodos anteriores de Visual Preference DPO.
2. Regularizador VCDist: A introdução da Destilação de Contraste Visual calibra efetivamente a política de inferência de imagem única usando sinais contrastivos de múltiplas imagens, abordando o desvio de distribuição entre treino e inferência.
3. Negativos Difíceis de Grão Fino: A pipeline de Edição de Amostra Contrastiva gera negativos difíceis de alta qualidade que mantêm consistência estilística estrita com os dados originais, compelindo os modelos a aprender ancoramento visual de grão fino em vez de explorar atalhos de grão grosso.
4. Validação Empírica: O método atinge desempenho de estado da arte em cinco benchmarks diversos (HallusionBench, AMBER, CRPE, R-Bench, BLINK) em dois diferentes modelos de backbone (LLaVA-NeXT-Interleave e LLaVA-OneVision).

Resultados

Experimentos demonstram que o IC-VCO supera os baselines existentes (incluindo mDPO, V-DPO, S-VCO e SymMPO) tanto em configurações de amostras sintéticas quanto editadas.

• Ganhos de Desempenho: No LLaVA-NeXT-Interleave, o IC-VCO melhora a pontuação geral em 1,19 pontos (sintético) e 1,24 pontos (editado) sobre o baseline mais forte. No LLaVA-OneVision, as melhorias são de 0,26 e 0,48 pontos, respectivamente.
• Generalização: Substituir amostras sintéticas pelas amostras editadas propostas melhora o desempenho em todos os métodos baseline, validando a utilidade de negativos difíceis de grão fino.
• Estudos de Ablação: Remover o ramo de imagem única, o VCDist ou a máscara de tokens degrada significativamente o desempenho, confirmando a necessidade de cada componente. O estudo também verifica que o ramo de múltiplas imagens fornece um sinal de preferência mais forte do que o ramo de imagem única, justificando a abordagem de destilação.

Significância e Alegações

O artigo alega que o IC-VCO fornece uma fundação matematicamente rigorosa para o alinhamento de preferência visual, resolvendo as inconsistências teóricas que assombraram as abordagens anteriores de DPO multimodal. Ao combinar um objetivo consistente com a teoria e uma estratégia para gerar negativos difíceis de grão fino, o método mitiga efetivamente as alucinações multimodais sem depender de atalhos de grão grosso.

Os autores posicionam este trabalho como uma solução específica para o alinhamento de preferência de pós-treinamento em VLMs. Eles declaram explicitamente que este método é complementar, e não um substituto para, outros mecanismos de segurança (como intervenções de tempo de decodificação ou feedback humano) e não é uma solução completa para todas as alucinações multimodais, particularmente em cenários de mundo aberto de alto risco. A principal contribuição é o estabelecimento de um framework de otimização mais confiável que força os modelos a distinguir evidências visuais de grão fino.