Resumo Técnico: RAVE (Re-alocação de Atenção Visual em Grandes Modelos Multimodais)

1. Declaração do Problema

Grandes Modelos Multimodais (LMMs), como as famílias LLAVA e QWEN-VL, tipicamente projetam características visuais no espaço de tokens linguísticos e as processam dentro de uma sequência unificada usando um transformador no estilo decodificador. Embora eficazes, esses modelos herdam o mecanismo de autoatenção de seus backbones linguísticos pré-treinados (denominados "atenção padrão"). Os autores identificam que esse mecanismo herdado carece de regulação explícita para alocação de atenção por modalidade, levando a duas formas principais de utilização subótima de evidências visuais:

• Desequilíbrio Inter-Modal: Os tokens visuais, como um bloco, são sistematicamente menos atendidos em relação aos tokens textuais. Isso se manifesta como tokens visuais recebendo menos atenção nas camadas mais profundas do decodificador e um declínio progressivo na atenção visual à medida que os tokens de resposta gerados se acumulam (denominado "esquecimento visual" ou "diluição visual").
• Desequilíbrio Intra-Visual: A atenção dentro do bloco visual é distribuída de forma desigual. Parches visualmente não informativos (por exemplo, cantos, fundos homogêneos) podem absorver atenção desproporcional ("sumidouros visuais"), enquanto vieses posicionais (devido ao achatamento em ordem de linha e Embutimentos de Posição Rotacionais) podem fazer com que a atenção se concentre em regiões espaciais específicas em vez de conteúdo semanticamente relevante.

Estratégias de mitigação existentes frequentemente dependem de heurísticas manuais no momento da inferência, exigem redesenho arquitetural que complica a integração ou necessitam de pipelines de treinamento auxiliares com dados curados. Há uma necessidade de um mecanismo minimalista e aprendível que permita recalibração consciente do contexto da atenção sem alterar a arquitetura do backbone.

2. Metodologia: RAVE

Os autores propõem o RAVE (Re-alocação de Atenção Visual), um mecanismo leve de portão em pares, projetado como uma correção "plug-and-play" para a atenção padrão. O RAVE opera adicionando um viés aprendido query–key às pontuações de atenção pré-softmax especificamente associadas às chaves visuais.

Mecanismo Central

1. Fonte do Sinal de Portão: Diferentemente de métodos que usam características de codificação de posição pós-rotatória (RoPE), o RAVE deriva seu sinal de portão de características query ($\bar{Q}$) e key ($\bar{K}$) pré-ROPE. Essa escolha visa desacoplar o sinal de portão dos vieses de decaimento posicional introduzidos pelo RoPE, permitindo que o mecanismo dependa principalmente de características de conteúdo condicionadas à modalidade.
2. Construção de Portão em Pares: Em cada camada $\ell$, o RAVE anexa um par de projeções lineares aprendíveis ($W_{gq}, W_{gk}$) compartilhadas entre todos os cabeçalhos de consulta. Essas projeções geram pontuações escalares por token ($s_q, s_k$) a partir das características pré-ROPE. Um portão em pares $G_{ij}$ é formado pelo produto externo dessas pontuações, mapeado através de uma função $\phi$. Isso fornece uma correção consciente do contexto para cada par query–key.
3. Recalibração Pré-Softmax: O portão é injetado aditivamente nos logits de atenção ($L_{ij}$) apenas para chaves visuais:
   $$\tilde{L}_{ij} = L_{ij} + \gamma \cdot G_{ij} \cdot \mathbb{1}[j \in I_{img}]$$
   onde $\gamma$ controla a força da recalibração e $\mathbb{1}$ é uma função indicadora para tokens visuais. Os logits recalibrados são então passados através do softmax padrão.
   • Essa abordagem modifica a competição pela massa de atenção antes da normalização, permitindo redistribuição dinâmica tanto entre modalidades (inter-Modal) quanto dentro do conjunto de tokens visuais (intra-visual).
4. Aplicação Parcial de Cabeçalhos: Para evitar perturbar os fortes priores linguísticos herdados do backbone pré-treinado, o RAVE é aplicado apenas a uma fração ($p$) dos cabeçalhos de consulta dentro de cada grupo de Atenção com Consulta Agrupada (GQA). Os cabeçalhos restantes mantêm a atenção padrão. Os autores utilizam $p=0,25$ em sua configuração principal.
5. Treinamento: O RAVE é treinado de ponta a ponta com o restante do modelo usando a perda padrão de entropia cruzada de próximo token, não exigindo supervisão auxiliar ou dados especializados.

3. Contribuições Principais

• Identificação de Gargalos: O artigo revisita a atenção padrão em LMMs, demonstrando empiricamente que a alocação subótima de atenção visual (tanto diluição inter-Modal quanto desequilíbrio intra-visual) é um gargalo chave para a ancoragem visual eficaz.
• Mecanismo RAVE: A proposta de um mecanismo leve de portão em pares que preserva a arquitetura e modula as pontuações de atenção pré-softmax sobre chaves visuais com sobrecarga de parâmetros negligenciável.
• Validação Empírica: Demonstração de que o RAVE melhora consistentemente o desempenho em uma ampla gama de benchmarks multimodais, alcançando um ganho médio de aproximadamente 3 pontos sobre a atenção padrão, com resultados particularmente fortes em tarefas intensivas em percepção.

4. Resultados Experimentais

Os autores avaliaram o RAVE em uma suíte diversificada de benchmarks usando os backbones Mistral-v0.3-7B e Gemma-2-9B, comparando com Atenção Padrão e D-Attn (um método que decompõe caminhos de atenção).

• Tarefas Intensivas em Percepção: O RAVE mostrou as melhorias mais significativas em tarefas que exigem ancoragem visual de alta granularidade, incluindo OCR multilíngue (MTVQA, OCRBench), compreensão de gráficos (ChartQA), VQA de documentos (DocVQA) e VQA rico em texto (InfoVQA, TextVQA). Por exemplo, no backbone Mistral, o RAVE melhorou a média de percepção de 25,05 (Padrão) para 25,93, com ganhos notáveis em MTVQA (9,50 vs 6,51) e DocVQA (43,55 vs 35,85).
• Tarefas Pesadas em Raciocínio/Conhecimento: Em benchmarks como MathVista, MMMU e MMMU-Pro, o RAVE permaneceu competitivo, melhorando sobre a Atenção Padrão no backbone Mistral e performando comparavelmente ao D-Attn no Gemma-2-9B. Isso sugere que o RAVE aprimora a alocação de evidências visuais sem perturbar substancialmente as capacidades de raciocínio herdadas.
• Estudos de Ablação:
  • Localização: A recalibração aditiva pré-softmax provou ser mais eficaz do que formas pós-softmax ou multiplicativas.
  • Razão de Cabeçalhos: Uma razão de cabeçalhos parciais de $p=0,25$ produziu o melhor equilíbrio entre capacidade corretiva e preservação de priores linguísticos; aumentar a razão não produziu ganhos adicionais.
  • Estágio de Aplicação: Aplicar o RAVE durante tanto o preenchimento inicial (prefill) quanto a decodificação superou a aplicação apenas na decodificação, indicando a importância de recalibrar a atenção pergunta-para-visual durante a construção inicial da representação.

5. Significado e Alegações

O artigo alega que o RAVE fornece um mecanismo minimalista e plug-and-play que permite recalibração consciente do contexto da alocação de atenção, permanecendo nativamente compatível com fluxos de trabalho padrão de treinamento e inferência.

• Correção no Nível do Mecanismo: Diferentemente de métodos que intervêm no momento da inferência com regras manuais ou exigem redesenho arquitetural, o RAVE oferece uma solução aprendível e treinável de ponta a ponta que aborda diretamente a competição pela massa de atenção.
• Benefício Duplo: Ao operar sobre pontuações pré-softmax para chaves visuais, o RAVE aborda simultaneamente a má alocação inter-Modal (garantindo que tokens visuais não sejam menos atendidos) e o desequilíbrio intra-visual (redistribuindo a atenção para longe de "sumidouros" não informativos).
• Modéstia: Os autores reconhecem limitações, observando que os experimentos foram conduzidos em LMMs ajustados por instrução construídos a partir de backbones linguísticos pré-treinados, em vez de modelos treinados do zero. Além disso, a implementação atual depende de SDPA e ainda não foi integrada com kernels no estilo FlashAttention, o que pode impactar a eficiência.

Em resumo, o RAVE demonstra que a regulação explícita e aprendida da atenção visual dentro do operador de atenção nativo é uma estratégia eficaz para melhorar a utilização de evidências visuais em LMMs apenas com decodificador, particularmente para tarefas que demandam ancoragem visual precisa.