Resumo Técnico: Mitigação da Deriva de Prior de Máscara e do Colapso de Atenção Posicional em Grandes Modelos Visão-Linguagem Difusivos

Declaração do Problema

Grandes Modelos Visão-Linguagem Difusivos (LDVLMs) emergiram como uma alternativa promissora aos modelos autoregressivos, oferecendo decodificação paralela para eficiência e atenção bidirecional para contexto global. No entanto, este artigo identifica dois modos de falha fundamentais que degradam o desempenho durante a geração multimodal de longo prazo:

1. Deriva de Prior de Máscara (Geração Repetitiva): Os LDVLMs inicializam todos os tokens de geração como um token de máscara compartilhado ($M$). Os autores observam que, à medida que a geração prossegue, as representações ocultas desses tokens desviam-se progressivamente em direção a uma direção de prior compartilhada (estreitamente alinhada com o embedding médio do vocabulário). Essa convergência limita a diversidade semântica, fazendo com que o modelo gere repetidamente tokens de função específicos (por exemplo, "o", ",", "\n"), independentemente do contexto de entrada. Esse problema é exacerbado quando o número de etapas de geração é reduzido para melhorar a velocidade de inferência.
2. Colapso de Atenção Posicional (Ancoragem Visual Degradada): Os LDVLMs geralmente empregam Embeddings de Posição Rotacionais (RoPE) para codificar posições relativas. O artigo constata que o viés de localidade inerente do RoPE, combinado com o processo iterativo de desmascaramento, faz com que a atenção colapse em direção a tokens de máscara próximos e semanticamente incompletos. Consequentemente, a atenção a tokens visuais distantes e informativos é suprimida, levando a uma ancoragem visual pobre e a alucinações em descrições de longo prazo.

Metodologia

Para abordar essas questões sem retreinamento, os autores propõem duas técnicas de tempo de inferência:

1. Supressão de Prior de Máscara (MPS)

Esta técnica visa desviesar os estados ocultos dos tokens de geração para impedir que eles colapsem no prior compartilhado.

• Mecanismo: O método aproxima o prior do token de máscara usando o embedding médio do vocabulário ($\hat{e}$), que serve como um proxy agnóstico ao contexto para a direção dominante de colapso.
• Implementação:
  • A média do vocabulário é passada pelas camadas do transformador para obter representações médias por camada.
  • Uma análise de componentes principais (PCA) é realizada nessas representações para definir um "subespaço de prior" de baixa dimensão.
  • Para cada token de geração no estado oculto final, o componente alinhado com esse subespaço de prior é adaptativamente suprimido com base na similaridade cosseno.
  • A modificação é mínima, afetando apenas uma pequena fração de dimensões (por exemplo, 3 de 4096), preservando a dinâmica aprendida pelo modelo enquanto previne o colapso representacional.

2. Escalonamento Monotônico de RoPE (MRS)

Esta técnica aborda o desalinhamento entre o viés de localidade do RoPE e a necessidade de acesso visual global nos LDVLMs.

• Mecanismo: O RoPE padrão trata todos os componentes de frequência uniformemente. Os autores observam que componentes de alta frequência dominam a atenção de curto alcance (máscara-a-máscara), enquanto componentes de baixa frequência são necessários para interações de longo alcance (geração-a-visual).
• Implementação:
  • Uma função de escalonamento consciente de frequência é aplicada aos ângulos de rotação do RoPE.
  • Componentes de baixa frequência (associados a relações posicionais de longo alcance) são progressivamente amplificados usando um cronograma de escalonamento monotônico baseado em sigmoide.
  • Componentes de alta frequência são amplamente preservados (fator de escalonamento $\approx 1$).
  • Esse ajuste fortalece a atenção a tokens visuais distantes sem perturbar a estrutura de distância relativa necessária para a coerência local.

Contribuições Principais

1. Análise Sistemática: O artigo fornece uma análise empírica detalhada revelando que a geração repetitiva em LDVLMs decorre de uma "deriva de prior de máscara" em direção à média do vocabulário, e que a ancoragem visual degradada é causada por "colapso de atenção posicional" devido ao viés de localidade do RoPE.
2. Soluções sem Retreinamento: Os autores introduzem MPS e MRS, duas técnicas de inferência plug-and-play que não exigem atualizações de parâmetros, retreinamento ou dados adicionais.
3. Avaliação Abrangente: Os métodos são validados em diversas arquiteturas de LDVLM (LLaDA-V, LaViDa) e benchmarks que cobrem raciocínio geral, ancoragem visual e geração de longo prazo.

Resultados

Os experimentos demonstram melhorias consistentes sobre os LDVLMs de linha de base:

• Ancoragem Visual: Ganhos significativos nos benchmarks RefCOCOg, Ferret e GQA. Por exemplo, no LaViDa, a precisão do RefCOCOg melhorou de 36,9 para 44,0, e a do Ferret de 25,9 para 35,7.
• Geração de Longo Prazo: Reduções substanciais na repetição de tokens e aumentos na diversidade lexical (Distinct-n) no LLaVA-Bench, DetailCaps e MIA. Os métodos mitigam efetivamente a "razão de repetição" que aflige as linhas de base, especialmente sob menos etapas de geração.
• Redução de Alucinação: A abordagem reduz a alucinação de objetos (medida por CHAIR e AMBER-G) enquanto mantém o recall de objetos, indicando que as melhorias decorrem de uma melhor ancoragem visual e não de uma geração conservadora.
• Eficiência: Os métodos introduzem sobrecarga de latência de inferência negligenciável (por exemplo, aumento <0,1s para 64 etapas) e operam sem modificar os pesos do modelo subjacente.

Significado e Afirmações

O artigo afirma que os modos de falha identificados (deriva de prior de máscara e colapso de atenção) são intrínsecos ao paradigma atual de LDVLM e podem ser efetivamente abordados por meio de intervenções leves e principiantes nos níveis de representação e posicional.

• Generalização: Os autores demonstram que sua abordagem generaliza-se através de diferentes backbones de LDVLM e arquiteturas unificadas visão-linguagem (por exemplo, MMaDA, Lumina-DiMOO).
• Ortogonalidade: Os métodos propostos operam nos níveis de representação e posicional, tornando-os amplamente ortogonais a intervenções estruturais (por exemplo, alteração de cronogramas de desmascaramento) e compatíveis com frameworks de treinamento existentes.
• Escopo Modesto: Os autores afirmam explicitamente que sua análise é empírica e não alegam que a média do vocabulário caracteriza totalmente todas as dinâmicas não lineares do colapso de tokens de máscara. Além disso, os métodos são projetados para a configuração padrão de desmascaramento iterativo de sufixo completo; sua eficácia em paradigmas de decodificação alternativos (por exemplo, difusão semi-autoregressiva ou por blocos) requer investigação adicional. O trabalho enfatiza que essas técnicas melhoram a estabilidade e a confiabilidade, mas não introduzem novas capacidades generativas além do potencial do modelo pré-treinado.