Resumo Técnico: Atenção de Olhar para Modelos de Linguagem Multimodal de Grande Escala

Declaração do Problema

Os Modelos de Linguagem Multimodal de Grande Escala (MLLMs) atuais processam entradas visuais atendendo uniformemente a todos os tokens visuais em cada etapa de geração. Esse mecanismo de "atenção densa" leva a dois problemas principais:

1. Foco Diluído: O modelo processa regiões visuais irrelevantes ao lado das relevantes para a tarefa, falhando em imitar a natureza seletiva da percepção visual humana, onde o olhar se desloca dinamicamente para fixar-se em regiões pertinentes à descrição pretendida.
2. Sobrecarga Computacional: Atender a toda a sequência de tokens visuais (que pode ser massiva em imagens de alta resolução ou vídeos longos) cria encargos computacionais e de memória significativos, particularmente no cache de Chave-Valor (KV).

As abordagens existentes para mitigar isso, como compressão de tokens ou evicção de cache KV, tipicamente determinam quais informações visuais reter antes do início da geração (por exemplo, com base em uma estimativa de relevância única da pergunta de entrada). Esses métodos estáticos frequentemente descartam detalhes de alta granularidade ou falham em adaptar-se quando etapas subsequentes de geração exigem informações de regiões diferentes, previamente descartadas. Eles carecem da capacidade de selecionar dinamicamente regiões visuais em cada etapa de decodificação.

Metodologia: Atenção de Olhar

Os autores propõem a Atenção de Olhar, um mecanismo que permite aos MLLMs atender seletivamente a regiões visuais relevantes para a tarefa de forma dinâmica durante o processo de geração. O método consiste em três componentes principais:

1. Regiões de Olhar e Descritores

Em vez de tratar tokens visuais como uma sequência plana, o método agrupa espacialmente vetores-chave visuais (do cache KV) em regiões de olhar compactas.

• Particionamento: As chaves visuais são remodeladas em seu layout espacial original (e temporal, para vídeo) e particionadas em regiões de tamanho $r_h \times r_w \times r_t$.
• Descritores: Cada região é resumida por um descritor leve ($d_g$), obtido via média-pooling dos vetores-chave dentro dessa região. Isso reduz o conjunto de candidatos da sequência completa de tokens para o nível de região.
• Roteamento Dinâmico: Em cada etapa de decodificação $j$, o token de consulta $q_j$ calcula pontuações de similaridade com todos os descritores de região. O modelo seleciona as $K$ regiões mais relevantes ($G_j$) e restringe o mecanismo de atenção para atender apenas aos pares chave-valor dentro dessas regiões selecionadas.
• Estabilidade: Para abordar a instabilidade de treinamento inerente ao aprendizado de atenção esparsa a partir do zero, emprega-se um cronograma progressivo de Top-K. O treinamento começa com uma configuração densa (selecionando todas as regiões) e reduz gradualmente $K$ à medida que o treinamento avança, permitindo que o modelo aprenda sinais de roteamento discriminativos sem ser forçado a decisões esparsas prematuras.

2. Tokens de Contexto Aprendíveis

Para evitar a perda de informações globais da cena causada pela atenção localizada, os autores introduzem tokens de contexto aprendíveis.

• Um pequeno conjunto de tokens aprendíveis é anexado a cada imagem ou quadro de vídeo na entrada do LLM.
• Esses tokens formam chaves de resumo compactas ($K_C$) que permanecem visíveis durante todo o processo de geração, independentemente de quais regiões de olhar específicas são selecionadas.
• Isso garante que o modelo retenha uma consciência visual holística (contexto global) enquanto realiza atenção seletiva de alta granularidade em regiões locais, análogo à forma como os humanos percebem uma cena como um todo antes de focar em detalhes.

3. Formulação Unificada de Atenção

O mecanismo de atenção final combina três fontes de pares Chave-Valor para qualquer consulta dada:

1. Tokens textuais.
2. Tokens de contexto global ($K_C$).
3. Tokens visuais das regiões de olhar selecionadas dinamicamente ($K_{selected}$).

Essa formulação permite que o modelo mantenha coerência linguística e consciência visual global, enquanto aloca a maior parte de seu orçamento de computação visual para regiões relevantes para a tarefa.

Contribuições Principais

• Atenção Seletiva Dinâmica: Diferentemente de métodos anteriores que fixam a atenção visual com base em pontuações de importância pré-calculadas, a Atenção de Olhar roteia consultas para regiões relevantes em cada etapa de geração, adaptando-se às necessidades evolutivas do texto sendo gerado.
• Eficiência sem Perda Global: O método alcança economias computacionais significativas ao restringir a atenção a um subconjunto de regiões, preservando o contexto global através de tokens aprendíveis, evitando o "desfoque" ou descarte de detalhes comuns em métodos de compressão de tokens ou evicção estática.
• Comportamento de Olhar Emergente: O modelo aprende a deslocar seu "olhar" para corresponder ao sujeito do token gerado (por exemplo, focando em um cachorro ao gerar a palavra "cachorro") exclusivamente através da previsão do próximo token, sem supervisão explícita de olhar.

Resultados

Os autores avaliaram a Atenção de Olhar em 13 benchmarks de compreensão de imagem e 6 de vídeo, comparando-a com baselines de atenção densa e métodos existentes de evicção de cache KV (por exemplo, InfiniPot-V, HERMES).

• Desempenho: A Atenção de Olhar iguala ou supera as baselines de atenção densa em todos os benchmarks. Em alguns casos, supera as baselines mesmo com tamanhos de cache KV significativamente reduzidos.
• Eficiência: O método reduz o número de entradas KV visuais envolvidas no cálculo de atenção em até 90%.
  • Em tarefas de imagem, mantém o desempenho com apenas ~16% dos FLOPs de atenção densa.
  • Em tarefas de vídeo, supera as baselines de atenção densa restritas ao mesmo orçamento KV.
• Comparação com Métodos de Evicção: Métodos de evicção existentes (InfiniPot-V, HERMES) sofrem quedas significativas de desempenho ao reduzir agressivamente o tamanho do cache KV, particularmente em configurações de imagem única, porque não podem adaptar sua seleção uma vez que a geração começa. A Atenção de Olhar permanece robusta sob compressão similar ou mais agressiva.
• Visualização: Visualizações de mapas de atenção confirmam que a Atenção de Olhar produz padrões de atenção concentrados e interpretáveis focados em objetos relevantes, enquanto a atenção densa produz padrões difusos e ambíguos.

Significado e Alegações

O artigo alega que permitir aos MLLMs atender seletivamente a regiões visuais relevantes é uma alternativa promissora à atenção densa. Ao imitar o comportamento do olhar humano — deslocando dinamicamente o foco com base na etapa atual de geração — a Atenção de Olhar oferece um caminho para:

1. Reduzir Custos Computacionais: Diminuir significativamente FLOPs e uso de memória (redução de até ~80% nos FLOPs de atenção e ~80% na memória do cache KV) sem sacrificar o desempenho.
2. Melhorar Interpretabilidade: Gerar mapas de atenção concentrados que se alinham com o conteúdo semântico do texto gerado.
3. Aumentar Adaptabilidade: Permitir que modelos acessem diferentes detalhes visuais em diferentes estágios de geração, superando as limitações da seleção visual estática e pré-calculada.

Os autores observam que essa abordagem preenche a lacuna entre mecanismos de atenção eficientes (tipicamente estudados para texto) e atenção visual seletiva para compreensão multimodal, demonstrando que alto desempenho pode ser alcançado com uma fração do contexto visual processado.