Resumo Técnico: Alinhamento de Representação por Cabeça (HeRA) para MLLMs Multimodais

Declaração do Problema

Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) demonstraram capacidades significativas em tarefas de visão-linguagem, mas continuam a enfrentar dificuldades com desafios fundamentais de raciocínio visual, como contagem de objetos, compreensão de relações espaciais e análise visual densa. As melhorias atuais nos MLLMs são impulsionadas majoritariamente pelo escalonamento de dados e tamanho do modelo, em vez de intervenções fundamentadas em mecanismos internos.

Uma limitação primária dos métodos de alinhamento de representação existentes — que regularizam as representações internas de um MLLM para corresponderem às de um codificador de visão externo — é sua dependência do alinhamento de uma camada fixa do backbone de linguagem (por exemplo, a camada intermediária). Essa abordagem negligencia a estrutura interna detalhada dos modelos Transformer. Além disso, o emparelhamento rígido de características em MLLMs, que possuem fortes vieses linguísticos pré-treinados, pode conflitar com o objetivo de modelagem de linguagem, potencialmente levando a um desempenho subótimo ou interferência catastrófica.

Metodologia: Alinhamento de Representação por Cabeça (HeRA)

Os autores propõem o HeRA, um método que impõe o alinhamento cross-modal ao nível de cabeças de atenção individuais, em vez de camadas grosseiras e fixas. A abordagem baseia-se na Hipótese da Representação Platônica (PRH), que postula que as representações entre diferentes modalidades compartilham estruturas de vizinhança local (topologia) consistentes, mesmo que suas geometrias globais sejam distintas.

Componentes Principais

1. Alinhamento Topológico via MKNN:
   O método utiliza a métrica de Vizinho Mais Próximo Mútuo (MKNN) para medir o acordo entre as estruturas de vizinhança local das representações textuais e visuais. Pontuações altas de MKNN indicam que entradas semanticamente similares compartilham vizinhos semelhantes nos espaços latentes de linguagem e visão.

2. Proxy Contrastivo Diferenciável:
   Como a métrica MKNN é não-diferenciável (baseando-se em índices discretos de vizinhos), o HeRA introduz um objetivo contrastivo como um proxy diferenciável. Para uma determinada entrada multimodal, o modelo é treinado para aproximar sua representação das representções de seus $k$-vizinhos mais próximos (calculados no espaço de um codificador de visão professor congelado), enquanto a afasta de outras amostras no lote. Isso é implementado usando uma variante de alvo múltiplo da perda InfoNCE.

3. Granularidade ao Nível de Cabeça:
   Em vez de alinhar toda a saída agrupada de uma camada, o HeRA isola a contribuição projetada de cada cabeça de atenção individualmente. Para uma camada de atenção de múltiplas cabeças, a saída é decomposta em contribuições de cada cabeça ($h$) na camada ($l$). A perda contrastiva é aplicada independentemente a essas representações específicas de nível de cabeça.

4. Seleção Estratégica de Cabeças:
   Uma escolha de design crítica é determinar quais cabeças alinhar. Os autores calculam as pontuações de MKNN para todas as cabeças usando o modelo de linguagem antes do treinamento multimodal (representações puramente textuais). Contrário à intuição de que se deve alinhar as "melhores" cabeças, os experimentos revelam que focar nas cabeças menos alinhadas (as "Worst-5") gera os maiores ganhos de desempenho. Essa estratégia fortalece os componentes desalinhados sem interromper as estruturas já bem alinhadas ou a tarefa central de modelagem de linguagem.

Principais Contribuições

• Alinhamento de Grão Fino: Ir além do alinhamento de camada fixa para operar no nível de cabeça de atenção individual, permitindo intervenções mais atômicas no modelo.
• Foco Topológico: Mudar do emparelhamento estrito de características para a preservação de estruturas topológicas locais (relações de vizinhança) entre modalidades, alinhando-se com a PRH.
• Estratégia de Seleção Contraintuitiva: Identificar que alinhar as cabeças de atenção menos alinhadas proporciona uma regularização e melhorias de desempenho superiores em comparação ao alinhamento de cabeças já bem alinhadas ou subconjuntos aleatórios.
• Regularização Contra Alucinações: Demonstrar que o alinhamento topológico naturalmente controla a dependência excessiva do modelo em vieses linguísticos, reduzindo assim as alucinações visuais.

Resultados Experimentais

Os autores avaliaram o HeRA através de múltiplos MLLMs (incluindo famílias Vicuna, LLaMA3, Qwen2.5 e Qwen3 variando de 3B a 14B parâmetros) e 18 benchmarks.

• Tarefas Centradas em Visão: O HeRA melhora consistentemente o desempenho em benchmarks desafiadores centrados em visão (ex: RWQA, MMVP, Blink, CVBench). Por exemplo, o Qwen3-8B alcançou uma melhoria média de +3,6 em tarefas de visão, e o Qwen2.5-14B observou um ganho de +3,4.
• Capacidades Gerais: Ao contrário de métodos anteriores que às vezes degradam o desempenho de linguagem geral, o HeRA preserva ou melhora as pontuações em Conhecimento Geral, OCR e tarefas de Conhecimento, indicando uma mitigação bem-sucedida da interferência catastrófica.
• Redução de Alucinações: Modelos treinados com HeRA mostram taxas reduzidas de alucinação (medidas pelos benchmarks CHAIR e AMBER) enquanto mantêm ou melhoram os escores cognitivos, sugerindo uma integração mais fiel das evidências visuais.
• Descobertas de Ablação:
  • Alinhar as cabeças "Worst-5" supera o alinhamento das "Top-5" ou de cabeças aleatórias.
  • Alinhar muitas cabeças (ex: 10) leva à regressão de desempenho, confirmando a necessidade de alinhamento seletivo.
  • Objetivos de aprendizado contrastivo superam o emparelhamento direto de características (similaridade de cosseno) na mesma granularidade.
  • Usar codificadores de visão baseados em DINO como professores produz melhores resultados do que usar o mesmo codificador usado para a entrada de visão primária (SigLIP2).

Significância

O artigo afirma que o HeRA oferece uma abordagem fundamentada para aprimorar os MLLMs ao intervir diretamente na interação entre visão e linguagem. Ao visar cabeças de atenção específicas e impor consistência topológica em vez de emparelhamento de características rígido, o HeRA aborda o déficit de percepção visual nos MLLMs sem comprometer seus vieses linguísticos. O trabalho sugere que os componentes "menos alinhados" de um modelo multimodal são os alvos mais críticos para melhoria, fornecendo uma nova direção para estratégias de regularização no aprendizado multimodal. O código foi liberado publicamente para facilitar pesquisas adicionais.