Fill the GAP: A Granular Alignment Paradigm for Visual Reasoning in Multimodal Large Language Models

1. Declaração do Problema

Modelos de Linguagem Grandes Multimodais (MLLMs) frequentemente falham em tarefas visuais complexas (por exemplo, gráficos, percepção de alta resolução, matemática visual) devido à ausência ou má localização de evidências visuais. Embora ferramentas externas (recorte, busca, geração) possam fornecer essas evidências, elas introduzem latência, complexidade e problemas de generalização. Uma alternativa é o raciocínio latente visual, onde o modelo emite tokens latentes contínuos para representar evidências visuais intermediárias internamente.

No entanto, os métodos existentes de raciocínio latente sofrem de ganhos instáveis e frequentemente produzem melhorias negligenciáveis após o pós-treinamento. Os autores identificam um desajuste fundamental no espaço de características como a causa primária:

• Problema da Arquitetura Pré-Norm: MLLMs modernos (por exemplo, Qwen2.5-VL, Gemma 4) utilizam transformadores pré-norm. Nessas arquiteturas, as normas dos estados ocultos acumulam-se significativamente através das camadas, resultando em estados da camada final que são ordens de magnitude maiores (por exemplo, ~8,7× para visão, ~546× para texto) do que os embeddings de entrada que o modelo foi treinado para consumir.
• O Desajuste: Os métodos latentes atuais tipicamente reutilizam esses estados ocultos de saída de alta norma diretamente como entradas para o próximo token latente ("saída-como-entrada"). Isso cria um loop de feedback onde o modelo recebe entradas de uma distribuição para a qual não foi treinado para processar, desestabilizando a otimização e tornando o canal latente pouco confiável.

2. Metodologia: O Framework GAP

Os autores propõem o GAP (Paradigma de Alinhamento Granular), uma estratégia de alinhamento de três níveis para estabilizar e melhorar o raciocínio latente visual.

A. Alinhamento no Nível de Características: Cabeça Latente Alinhada por PCA

Para resolver o desajuste de norma e subespaço, o GAP não alimenta os estados brutos do decodificador de volta ao modelo. Em vez disso:

• Projeção: Os estados ocultos finais da base (após o RMSNorm nativo) são mapeados via uma cabeça latente alinhada por PCA leve para o subespaço principal dos embeddings de visão de imagem auxiliar.
• Reconstrução: O modelo prevê coeficientes PCA de baixa dimensão ($c_t$) em vez de vetores de dimensão completa. Estes são reconstruídos usando a média empírica ($\mu$) e os $k$ autovetores principais ($P_k$) dos embeddings de visão do conjunto de treinamento: $\hat{v}_t = P_k c_t + \mu$.
• Efeito: Isso força os latentes gerados a residir no mesmo regime de norma e subespaço empírico que os embeddings de visão de entrada, corrigindo o desajuste no espaço de características sem exigir o retreinamento da base.

B. Alinhamento no Nível de Dados: Supervisão Fundamentada no Contexto

Para garantir que os alvos latentes sejam interpretáveis e inspecionáveis, os autores constroem um conjunto de dados de 49.309 exemplos curados onde:

• Imagens Auxiliares: Cada consulta é emparelhada com uma "imagem auxiliar" gerada que representa a evidência visual faltante.
• Saída Estruturada: A resposta de treinamento inclui um segmento <latent> (supervisionado pelos recursos ViT congelados da imagem auxiliar) e um segmento <parser> (uma descrição textual do sinal visual pretendido).
• Objetivo: Isso vincula vetores latentes contínuos a intenções visuais específicas e legíveis por humanos, tornando o processo de treinamento transparente.

C. Alinhamento no Nível de Modelo: Atribuição Consciente da Dificuldade

Para evitar que ruído aplique supervisão latente a exemplos que o modelo base já resolve:

• Estratégia de Seleção: O sistema estima a precisão do modelo base em uma consulta via amostragem repetida.
• Supervisão Condicional: Alvos latentes são atribuídos apenas quando o modelo base falha (precisão $\le \tau$). Exemplos fáceis recebem supervisão padrão apenas de texto.
• Benefício: Isso foca a capacidade latente em casos difíceis onde o raciocínio visual é realmente necessário, evitando deslocamentos de distribuição em tarefas fáceis.

3. Contribuições Principais

1. Diagnóstico do Desajuste no Espaço de Características: O artigo demonstra empiricamente que, em MLLMs pré-norm, os estados ocultos de saída ocupam um regime de norma diferente dos embeddings de entrada, causando instabilidade no feedback latente de saída-como-entrada. O redimensionamento simples de norma (EMA) melhora o desempenho, validando essa hipótese.
2. O Paradigma GAP: Uma receita leve combinando:
   • Projeção alinhada por PCA para mapear latentes de volta ao subespaço de visão de entrada.
   • Supervisão fundamentada no contexto para inspecionabilidade.
   • Atribuição consciente da dificuldade para estabilidade de treinamento.
3. Conjunto de Dados Aberto: Lançamento de um conjunto de dados multimodal de alta qualidade com supervisão latente de 49K cobrindo CoT visual, gráficos, geometria e matemática.
4. Validação Empírica: Demonstração de que latentes alinhados carregam sinais visuais relevantes para a tarefa além de meros slots de token.

4. Resultados Experimentais

Avaliado no Qwen2.5-VL 7B, o modelo GAP completo (LH+PCA+DA) foi comparado contra o modelo base, baselines de legendagem densa e métodos latentes anteriores (Monet, LVR).

• Desempenho: O GAP alcançou o melhor desempenho agregado médio em benchmarks de percepção (HRBench4K, MMStar, MME-RealWorld-Lite) e raciocínio (MathVista, WeMath).
  • Melhorou o agregado de raciocínio (Avg-R) em +5,98 sobre o Monet e +6,31 sobre o LVR.
  • Melhorou o agregado de percepção (Avg-P) em +1,74 sobre o Monet.
• Estudos de Ablação:
  • Alinhamento PCA: Essencial para recuperar a precisão de raciocínio perdida por cabeças latentes ingênuas.
  • Atribuição Consciente da Dificuldade: Crucial para prevenir degradação de desempenho em exemplos fáceis.
  • Orçamento de Tokens: O desempenho atinge o pico em 36 tokens latentes (grade 6x6); aumentar além disso produz retornos decrescentes ou saturação.
• Sondagem por Intervenção:
  • Checkpoint Zero-Latente: Mesmo sem gerar latentes na inferência, o modelo treinado com supervisão latente superou a legendagem densa, sugerindo que o próprio processo de treinamento molda representações melhores.
  • Injeção de Ruído: Substituir os coeficientes PCA previstos por ruído gaussiano degradou significativamente o desempenho, confirmando que os latentes gerados contêm sinais visuais relevantes para a tarefa, e não apenas artefatos de formatação.

5. Significado e Alegações

O artigo afirma que o raciocínio latente visual pode ser tornado robusto e eficaz em MLLMs ao abordar as incompatibilidades arquitetônicas específicas dos transformadores pré-norm.

• Alegações Moderadas: Os autores não afirmam resolver a alucinação inteiramente ou ser universalmente aplicável a todas as bases sem validação adicional. Eles notam que o "limiar de dificuldade" é heurístico e que a abordagem depende da capacidade de gerar imagens auxiliares significativas durante a construção dos dados.
• Insight Central: A contribuição primária é a identificação do desajuste de norma/subespaço como um modo de falha e a demonstração de que um caminho de reconstrução baseado em PCA leve pode alinhar o feedback visual contínuo com a distribuição de entrada do modelo, permitindo raciocínio visual estável e interpretável sem ferramentas externas.