Latent Denoising Improves Visual Alignment in Large Multimodal Models

1. O Problema

Os Modelos Multimodais Grandes (LMMs), como o LLaVA, são tipicamente treinados com um objetivo de modelagem de linguagem autoregressiva. Isso significa que a supervisão para os tokens visuais é indireta, derivada apenas da geração do texto de resposta. Consequentemente, surgem vários problemas:

• Representações Visuais Fracas: Os tokens visuais internos não são otimizados diretamente para a compreensão visual, levando a representações de baixa qualidade.
• Comportamento Frágil: Os modelos são suscetíveis a "alucinações de objetos" e falham em tarefas de raciocínio composicional.
• Desalinhamento: Existe um desalinhamento entre a visão e a linguagem, onde o modelo tende a confiar excessivamente no texto e ignorar evidências visuais, especialmente sob mudanças de distribuição (ruído, borrão, etc.).
• Falta de Supervisão Direta: Métodos existentes de supervisão visual são fragmentados (focados apenas em refinamento de backbone, alinhamento de características ou reconstrução generativa) e muitas vezes exigem professores externos complexos ou geradores auxiliares.

2. Metodologia: Latent Denoising (Desempenho de Limpeza Latente)

O artigo propõe um novo quadro de treinamento que trata a supervisão visual como um problema de corrupção e recuperação de latentes. A ideia central é perturbar os tokens visuais projetados e treinar o modelo para recuperar características visuais "limpas" e alinhadas de um professor.

Componentes Principais:

1. Corrupção Saliência-Consciente (Saliency-Aware Corruption):

   • Os tokens visuais projetados ($Z$) são corrompidos usando uma mistura de mascaramento (remoção de informação) e ruído Gaussiano (perturbação contínua).
   • Estratégia Assimétrica: Baseado em mapas de saliência extraídos do encoder visual congelado:
     • Regiões altamente salientes (importantes) recebem ruído Gaussiano (corrupção suave), preservando parte do sinal original.
     • Regiões menos salientes recebem mascaramento (corrupção dura), removendo a informação completamente.
   • Isso cria um problema de recuperação desafiador, mas tratável, sem violar a estrutura de atenção causal do LLM.

2. Recuperação de Alvo do Professor:

   • O modelo LMM processa a sequência corrompida junto com a instrução de texto.
   • Em vez de prever o texto final, o modelo é treinado para recuperar as características visuais limpas do professor ($Y$) a partir dos estados ocultos intermediários do LLM (geralmente na camada 50%, onde o sinal visual é mais forte).
   • Um decoder leve (MLP) mapeia esses estados ocultos de volta para o espaço de características do professor.

3. Objetivo de Treinamento (Loss Function):
   O treinamento combina a perda de linguagem padrão com três termos de supervisão visual aplicados apenas aos tokens corrompidos:

   • Perda de Reconstrução ($\mathcal{L}_{rec}$): Alinha as características recuperadas com as do professor (usando distância cosseno normalizada).
   • Perda de Alinhamento Relacional ($\mathcal{L}_{rel}$): Preserva a geometria de similaridade global entre os patches (distância KL entre distribuições de similaridade), garantindo que a estrutura da imagem seja mantida.
   • Perda Contrastiva Intra-Imagem ($\mathcal{L}_{con}$): Garante que os patches recuperados sejam discriminativos e não colapsem para representações idênticas (InfoNCE).

4. Inferência sem Custo:

   • Durante a inferência, a corrupção e os cabeçalhos auxiliares (decoder) são desativados. O modelo funciona exatamente como um LMM padrão, sem sobrecarga de tempo de execução.

3. Contribuições Chave

1. Framework de Desempenho Latente para LMMs: Introdução de um método unificado que usa corrupção latente (mascaramento + ruído) para supervisionar diretamente as representações visuais internas durante o ajuste fino de instruções.
2. Protocolo de Avaliação de Corrupção Comum: Adaptação do paradigma ImageNet-C para LMMs, criando um protocolo determinístico e não-adversarial para avaliar a robustez sob ruído, borrão, condições climáticas e distorções digitais em benchmarks padrão.
3. Validação Empírica Abrangente: Demonstração de que o desempenho latente melhora consistentemente a compreensão, o raciocínio e a robustez em múltiplas arquiteturas (LLaVA com CLIP/SigLIP e Qwen-2.5-VL) e 18 benchmarks.

4. Resultados Principais

Os experimentos foram realizados em três arquiteturas diferentes e cobriram 18 benchmarks, incluindo VQA, raciocínio, OCR e robustez.

• Melhoria Geral: O método obteve ganhos na maioria dos benchmarks (15/18 para LLaVA+CLIP, 18/18 para LLaVA+SigLIP, 17/18 para Qwen).
• Raciocínio Visual e Grounding: Ganhos significativos em benchmarks que exigem raciocínio espacial e composicional (ex: GQA, MMStar, NaturalBench).
• Robustez a Corrupções:
  • Sob condições de corrupção severa (Nível 5 do ImageNet-C), o modelo proposto manteve uma precisão significativamente maior e sofreu menos degradação em comparação com as linhas de base.
  • Em muitos casos, o modelo com desempenho latente superou a linha de base limpa em tarefas de raciocínio sob ruído.
• Análise de Representações Internas:
  • CKA (Central Kernel Alignment): O modelo treinado manteve uma maior alinhamento com o encoder visual (CLIP/DINOv2) em camadas profundas, indicando que a informação visual não se dilui tanto quanto no modelo base.
  • Classificação k-NN: Eliminou o "colapso" de características no meio da rede, mantendo alta discriminabilidade semântica até a última camada.
  • Visualização de Atenção: O modelo mostrou atenção mais focada e espacialmente fundamentada nas regiões relevantes da imagem, reduzindo o efeito de "sink" (afundamento) de atenção.

5. Significado e Impacto

Este trabalho é significativo porque:

• Ponte entre Geração e Compreensão: Demonstra que princípios de aprendizado de representações usados em modelos generativos (como denoising) são altamente eficazes para melhorar a compreensão visual em modelos de linguagem.
• Eficiência: Oferece uma melhoria substancial na robustez e alinhamento sem adicionar custo computacional na inferência, resolvendo o dilema de "treinamento pesado vs. inferência leve".
• Robustez Realista: Ao focar em corrupções comuns (não apenas adversariais), o método torna os LMMs mais confiáveis para aplicações do mundo real, onde a qualidade da imagem é frequentemente degradada.
• Simplicidade e Generalização: O método é leve, não requer professores externos complexos (usa o próprio encoder visual como professor) e funciona bem em diferentes famílias de modelos, sugerindo que é uma técnica fundamental para a próxima geração de LMMs.

Em resumo, o "Latent Denoising" força o modelo a aprender representações visuais mais ricas e robustas ao exigir que ele "recupere" a informação visual perdida, resultando em modelos multimodais mais inteligentes, precisos e resilientes.