Resumo Técnico: Insights Mecanísticos sobre a Esparsidade Funcional em MLLMs via CoRe Heads

1. Definição do Problema

Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) demonstraram uma proficiência notável em tarefas visão-linguagem complexas, mas os mecanismos internos que regem como eles extraem características visuais relevantes para a consulta em contextos ruidosos e poluídos permanecem opacos. Embora os MLLMs mapeiem sinais visuais de alta dimensão em espaços semânticos, as entradas do mundo real frequentemente contêm informações redundantes. O raciocínio multimodal robusto depende da capacidade do modelo de isolar seletivamente pistas visuais esparsas e relevantes para a tarefa. No entanto, os frameworks de interpretabilidade existentes dependem de heurísticas estatísticas grosseiras (ex: entropia espacial, agregação de atenção) avaliadas primariamente em imagens estáticas. Essas abordagens falham em capturar a atenção em nível de token condicionada à consulta de forma granular em cenas espaço-temporais densas ou dinâmicas, deixando uma lacuna significativa na compreensão dos modos de falha e da eficiência interna dos MLLMs.

2. Metodologia

Os autores propõem um framework sistemático para identificar e caracterizar um subconjunto especializado de cabeças de atenção responsáveis pela recuperação cross-modal, denominado Cabeças de Recuperação Sensíveis ao Contexto (CoRe heads).

2.1 Massa de Atenção de Recuperação (RAM)

Para isolar essas cabeças, os autores introduzem uma métrica de nível de token chamada Massa de Atenção de Recuperação (RAM). Diferente de métricas de atenção genéricas, a RAM quantifica a massa de atenção alocada por uma cabeça específica $h$ de tokens de consulta instrucional ($q$) para entidades visuais de verdade fundamental (ground-truth) ($V^*$).
A pontuação RAM para uma cabeça é definida como:
$$M(h)_{RAM}(q \to V^*) = \mathbb{E}_{x \in q} \left[ \sum_{y \in \Omega(V^*)} A(h)_{x \to y} \right]$$
onde $\Omega(V^*)$ representa o intervalo de tokens espaciais ou temporais das entidades visuais chave, e $A(h)_{x \to y}$ é o peso de atenção. Valores altos de RAM indicam recuperação direcionada em vez de acumulação de atenção genérica ou "sumidouros de atenção" (attention sinks).

2.2 Protocolo de Avaliação Unificado

O estudo emprega um protocolo unificado através de quatro conjuntos de dados diversos que cobrem diferentes modalidades e complexidades:

• RefCOCOg: Localização visual em imagens estáticas (bounding boxes).
• VidSTG: Localização espaço-temporal em vídeo (tubos temporais).
• MMLongBench: Raciocínio com múltiplas evidências em contexto longo (regiões de evidência).
• MMDocIR: Recuperação baseada em documentos (regiões de página/figura).

Os autores mapeiam anotações contínuas (caixas espaciais, tubos temporais) para índices de tokens discretos $\Omega(V^*)$ usando estratégias específicas de arquitetura (ex: marcação de fronteira para modelos baseados em adapter, fatiamento uniforme para modelos de expansão fixa) para garantir a medição precisa da atenção.

2.3 Intervenções Causais e Aceleração

Para validar a necessidade funcional das CoRe heads, os autores realizam intervenções causais via mascaramento de atenção durante a inferência. Eles ablacionam as top-$k$ CoRe heads (classificadas por RAM) e comparam o desempenho contra a ablação de cabeças de classificação inferior ou aleatórias.
Além disso, propõem um mecanismo de Atenção Híbrida Guiada por CoRe para aceleração em nível de sistema. Esta estratégia retém a atenção global total para as top-$k$ CoRe heads enquanto restringe as demais cabeças não essenciais a janelas deslizantes locais (Stream Sparse Attention) durante a fase de prefill, visando reduzir a complexidade computacional quadrática.

3. Principais Contribuições e Resultados

3.1 Descoberta da Esparsidade Funcional

A análise revela uma propriedade estrutural profunda: a esparsidade funcional. Um pequeno subconjunto especializado de cabeças de atenção (CoRe heads) atua como extratores de informação dedicados, enquanto a grande maioria das cabeças exibe padrões de atenção globais e difusos.

• Localização: As CoRe heads localizam precisamente entidades visuais relevantes ao contexto (ex: objetos específicos em um vídeo ou regiões de texto em um documento), filtrando o ruído de fundo.
• Diferenciação: Cabeças de classificação inferior (Bottom Heads) dispersam a atenção por regiões irrelevantes e falham em fundamentar as instruções.

3.2 Evolução Estrutural e Escalonamento

• Padrões de Escalonamento: À medida que a capacidade do modelo aumenta (ex: de 4B para 32B parâmetros), as CoRe heads transitam de uma distribuição dispersa para um "gargalo" altamente concentrado nas camadas profundas (ex: camadas 44–56 em modelos de 32B).
• Divergência Arquitetural: Diferentes famílias de modelos exibem topologias distintas. O Qwen3-VL mostra localização esparsa, o LLaVA-OneVision mostra dispersão moderada e o InternVL3.5 exibe ativações densas, sugerindo que a esparsidade estrutural é uma estratégia de alocação dinâmica responsiva à densidade de representação visual, em vez de uma propriedade intrínseca do LLM base.

3.3 Estabilidade Cross-Domain

As CoRe heads exibem um paradigma "globalmente consistente, localmente variante". Aproximadamente 30 cabeças específicas permanecem universalmente ativadas através de diversas tarefas (RefCOCOg, VidSTG, MMLongBench, MMDocIR), com altas correlações de ranking de Spearman (0.79–0.92) nos padrões de ativação. Estas cabeças estão estabilizadas nas camadas intermediárias e tardias.

3.4 Necessidade Causal

Intervenções causais confirmam a necessidade não redundante das CoRe heads:

• Degradação de Desempenho: Ablacionar apenas os 5% das top CoRe heads causa uma queda catastrófica no desempenho de raciocínio multimodal (ex: a acurácia despenca de ~45% para ~27% no Qwen3-VL-4B).
• Redundância: Ablacionar cabeças de classificação inferior tem efeito mínimo, indicando redundância funcional significativa nas cabeças não especializadas.

3.5 Aceleração e Eficiência

Aproveitando essa esparsidade, o mecanismo de atenção híbrida proposto alcança acelerações significativas:

• Aceleração: Até 2.3× de aceleração no prefill em tarefas de contexto longo (ex: MLVU, Video-MME) mantendo um desempenho robusto.
• Retenção de Desempenho: Em algumas configurações (ex: retendo 19.1% das cabeças no LLaVA-OneVision), o modelo híbrido supera marginalmente o baseline totalmente denso, provavelmente devido a um efeito de regularização implícita que filtra o ruído cross-modal.
• Escalabilidade: Modelos maiores (ex: Qwen3-VL-32B) sustentam níveis mais altos de esparsificação (até 4.9% das cabeças) com perda de desempenho negligenciável, sugerindo maior redundância funcional em escala.

4. Significância e Alegações

O artigo afirma revelar um princípio estrutural de esparsidade funcional dentro dos MLLMs, refinando o entendimento atual da interpretabilidade mecanística. As principais implicações incluem:

1. Insight Mecanístico: O raciocínio multimodal é governado por um subconjunto esparso e consistente de cabeças que atuam como um gargalo crítico para a extração cross-modal, distinto da agregação de características globais realizada por outras cabeças.
2. Não-Redundância: Estas cabeças especializadas são causalmente indispensáveis; sua remoção não pode ser compensada pelo restante da rede.
3. Potencial de Otimização: A descoberta fornece uma base teórica para a otimização eficiente de modelos. Ao operar em uma pequena fração de cabeças críticas, é possível acelerar significativamente a inferência (particularmente em cenários de contexto longo) sem comprometer a seleção semântica ou o desempenho da tarefa.

Os autores observam limitações, como a dependência de anotações explícitas de verdade fundamental para o cálculo da RAM e o uso atual de configurações estáticas de cabeças para aceleração, sugerindo que trabalhos futuros poderiam explorar estratégias de roteamento dinâmicas e adaptativas à entrada.