Mitigating Visual Degradation in MLLMs via Spatial-Spectral Visual Anchor Learning

Resumo Técnico: Mitigando a Degradação Visual em MLLMs via Aprendizado de Âncora Visual Espacial-Espectral

Definição do Problema
Apesar dos avanços significativos nos Modelos de Linguagem de Grande Escala Multimodais (MLLMs) por meio do ajuste de instrução visual, esses modelos exibem deficiências persistentes na percepção visual. Os autores identificam um fenômeno crítico e subexplorado: o desvio da representação visual. Após o ajuste de instrução visual, as representações visuais internas dentro das camadas do Modelo de Linguagem de Grande Escala (LLM) desviam-se progressivamente de seus estados semânticos originais durante a inferência. Isso leva a uma severa degradação de informação nas camadas mais profundas, fazendo com que o modelo perca detalhes espaciais refinados e fidelidade semântica.

O artigo desafia a intuição prevalecente de que alinhar diretamente as representações intermediárias do LLM com Modelos de Fundação Visual (VFMs) externos resolve este problema. Embora tal alinhamento direto (ex: VIRAL) melhore a qualidade das características visuais, os autores demonstram que ele falha em mitigar o desvio em si; as representações ainda divergem a uma taxa semelhante ao longo das camadas. O problema central não é apenas o que as representações codificam, mas quão estavelmente elas são mantidas conforme se propagam pela rede.

Metodologia: Aprendizado de Âncora Visual Espacial-Espectral (SSVAL)
Para abordar o desvio de representação sem incorrer em sobrecarga de inferência, os autores propõem o SSVAL, um framework centrado na Injeção de Prompt de Âncora Visual (VAPI) e no Alinhamento de Representação Espacial-Espectral (SSRA) auxiliar.

1. Injeção de Prompt de Âncora Visual (VAPI):

   • Mecanismo: A inovação central é um conjunto de prompts visuais aprendíveis que atuam como "vasos de conhecimento". Durante o treinamento, esses prompts absorvem um rico conhecimento visual de um VFM externo (ex: DINOv2, CLIP) através de um mecanismo de atenção cruzada multi-cabeça com portão (gated multi-head cross-attention).
   • Função: Os prompts são inicializados aleatoriamente e otimizados para capturar características do VFM. Durante a inferência, o VFM externo é descartado. Os prompts aprendidos funcionam como âncoras visuais estáveis, fornecendo pontos de referência consistentes para cada camada do LLM para deter a deriva das representações visuais.
   • Arquitetura: As características de visão servem como queries, enquanto os prompts combinados (prompts originais + características projetadas do VFM) servem como keys e values em um módulo de atenção cruzada, seguido por uma conexão residual com portão (gated residual connection).

2. Alinhamento de Representação Espacial-Espectral (SSRA):
   Para fornecer supervisão específica de visão complementar nas camadas intermediárias do LLM (o que o treinamento padrão baseado em texto carece), o SSVAL introduz duas funções de perda auxiliares:

   • Alinhamento de Representação Espacial (SpaRA): Alinha as características do estudante (LLM) e do professor (VFM) de uma perspectiva espacial multiescala (fatores de pooling 1x1, 2x2, 4x4). Ele maximiza a similaridade de cosseno para alinhamento de nível de característica e restringe as relações espaciais pareadas para alinhamento de nível de relação.
   • Alinhamento de Representação Espectral (SpeRA): Opera no domínio da frequência. Ele decompõe as características em componentes de Baixa Frequência (LF) e Alta Frequência (HF) usando Transformadas Rápidas de Fourier (FFT) 2D. Os componentes LF capturam a estrutura global, enquanto os componentes HF capturam bordas e detalhes locais. A perda aplica Erro Quadrático Médio (MSE) à LF e compressão logarítmica à HF para evitar a dominância de ruído.

3. Objetivo de Treinamento:
   A perda total combina a perda padrão de predição do próximo token com as perdas de alinhamento SpaRA e SpeRA ponderadas. Esta otimização conjunta garante que os prompts absorvam o conhecimento do VFM enquanto as perdas de alinhamento reforçam a integridade visual nas camadas intermediárias.

Principais Contribuições

• Identificação do Desvio: O artigo quantifica o desvio de representação visual em MLLMs, mostrando que a similaridade de cosseno entre a entrada e as representações intermediárias cai drasticamente com a profundidade da camada. Revela que o alinhamento direto com VFM falha em interromper essa deriva.
• Injeção de Prompt de Âncora Visual (VAPI): Um mecanismo inovador usando prompts como âncoras persistentes que absorvem o conhecimento do VFM durante o treinamento e estabilizam as representações durante a inferência, mitigando efetivamente o desvio sem modelos externos no tempo de teste.
• Supervisão Espacial-Espectral: A introdução de SpaRA e SpeRA fornece supervisão complementar de escala espacial e domínio de frequência, abordando a falta de orientação visual explícita nas camadas intermediárias.
• Eficiência: O método introduz uma sobrecarga de inferência desprezível (apenas +1,55% de parâmetros e +0,04% de FLOPs), pois o VFM e as perdas de alinhamento são componentes apenas de treinamento.

Resultados Experimentais
Experimentos extensos foram conduzidos em seis benchmarks multimodais (CV-Bench2D, MMVP, MMStar, MME, POPE, MM-Bench) usando diferentes codificadores de visão (CLIP, SigLIP) e escalas de LLM (Qwen2.5-3B, Qwen2.5-7B).

• Desempenho: O SSVAL supera significativamente tanto o Baseline (Ajuste de Instrução Visual) quanto o método de alinhamento direto (VIRAL). Melhorias notáveis incluem +6,47% no CV-Bench2D e +7,86% no MMVP com o backbone Qwen2.5-7B.
• Robustez: Ao contrário do VIRAL, que mostrou quedas de desempenho em certos benchmarks (ex: -5,34% no MMVP com SigLIP), o SSVAL demonstrou ganhos consistentes, sugerindo que seu mecanismo de âncora é mais robusto a variações na qualidade inicial da representação visual.
• Estudos de Ablação:
  • O VAPI foi identificado como o principal motor dos ganhos de desempenho.
  • SpaRA e SpeRA forneceram benefícios complementares, com o alinhamento espacial multiescala e a combinação de componentes de frequência LF/HF produzindo os melhores resultados.
  • Quantidade de Prompts: Quatro prompts foram considerados ideais para as configurações testadas.
  • Fonte do VFM: O uso do DINOv2-B como fonte de conhecimento rendeu o melhor equilíbrio geral, embora o DINOv2-L tenha tido melhor desempenho em benchmarks de raciocínio específicos.

Análise Qualitativa
Resultados qualitativos mostram que o SSVAL produz embeddings com fronteiras de agrupamento mais claras e organização estrutural mais forte em comparação aos baselines. Mapas de atenção indicam que o SSVAL mantém a atenção focada em objetos relevantes, enquanto os baselines exibem padrões de atenção dispersos. Observou-se que os prompts aprendidos desenvolveram papéis especializados: um prompt suprimindo o ruído de fundo e outros herdando a "objetidade" do primeiro plano do VFM, efetivamente construindo a ponte entre as diferentes capacidades do VFM.

Significância
O artigo afirma que o SSVAL oferece uma mudança fundamental ao abordar a degradação visual: em vez de simplesmente injetar características mais fortes, ele estabelece um mecanismo de âncora persistente que estabiliza as representações ao longo da rede. Ao separar a absorção de conhecimento (treinamento) da eficiência de inferência, o SSVAL alcança melhorias substanciais no desempenho da percepção fina e do raciocínio espacial com custo computacional mínimo, validando a hipótese de que âncoras visuais são essenciais para manter a integridade da representação em MLLMs profundos.