💻 computer science

On The Application of Linear Attention in Multimodal Transformers

Este artigo demonstra que a integração de Atenção Linear em Transformers multimodais reduz a complexidade computacional de quadrática para linear em relação ao comprimento da sequência, mantendo desempenho competitivo e as mesmas leis de escalabilidade, o que a posiciona como uma solução robusta e escalável para modelos de visão e linguagem de próxima geração.

Autores originais: Armin Gerami, Seyedehanita Madani, Ramani Duraiswami

Publicado 2026-04-15

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Armin Gerami, Seyedehanita Madani, Ramani Duraiswami

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está organizando uma festa gigante com milhares de convidados (os dados de imagem e texto). O objetivo é fazer com que todos se conectem com as pessoas certas para conversar.

No mundo da Inteligência Artificial, os modelos chamados Transformers Multimodais são como os anfitriões dessa festa. Eles precisam entender tanto fotos (visão) quanto textos (linguagem) ao mesmo tempo.

Aqui está a explicação do trabalho dos autores, usando analogias simples:

1. O Problema: A Festa Caótica (Atenção Quadrática)

Atualmente, os anfitriões (os modelos de IA) usam um método chamado "Atenção Padrão" para conectar os convidados.

Como funciona: Para cada convidado, o anfitrião olha para todos os outros convidados na sala para decidir com quem falar.
O problema: Se você tiver 100 convidados, o anfitrião faz 10.000 conexões. Se tiver 1.000 convidados, ele precisa fazer 1.000.000 de conexões!
A consequência: Quanto mais convidados (mais dados, imagens de alta resolução, textos longos), mais rápido o anfitrião fica exausto e a festa para. Isso é o que os cientistas chamam de "complexidade quadrática". É como tentar encontrar um amigo em um estádio olhando para cada pessoa individualmente; demora demais.

2. A Solução Proposta: O "Atalho Inteligente" (Atenção Linear)

Os autores (Armin, Seyedehanita e Ramani) perguntaram: "E se pudéssemos fazer essa conexão de forma mais rápida, sem perder a qualidade?"

Eles testaram uma técnica chamada Atenção Linear.

A analogia: Em vez de olhar para cada pessoa individualmente, o anfitrião usa um "atalho". Ele olha para o grupo como um todo e calcula as conexões de forma direta.
O resultado: Se você dobrar o número de convidados, o trabalho do anfitrião apenas dobra (linear), em vez de quadruplicar. Isso torna o processo muito mais rápido e eficiente, permitindo festas gigantescas (datasets enormes) sem travar o computador.

3. O Desafio: O "Filtro de Qualidade" (O Problema da Suavidade)

No entanto, ao tentar esse atalho, os autores descobriram um problema: a conversa ficava muito "genérica".

O que aconteceu: A atenção linear tendia a tratar todos os convidados quase da mesma forma. Era como se o anfitrião dissesse: "Todos são interessantes", em vez de dizer: "Olha, aquele cara ali é o mais importante!".
O efeito: O modelo perdia a capacidade de focar nos detalhes importantes (como a diferença entre um cachorro e um gato em uma foto). A "expressividade" do modelo caía.

4. A Inovação: O "Ajuste Fino" (A Solução dos Autores)

Para consertar isso, os autores criaram um pequeno ajuste matemático (uma "regra de ouro" para o anfitrião):

Eles removeram uma parte da fórmula que estava "diluíndo" a importância dos convidados.
A metáfora: Imagine que a fórmula antiga era como misturar um pouco de suco de laranja em um balde gigante de água. O sabor (a importância do dado) desaparecia. Os autores tiraram a água e deixaram apenas o suco concentrado.
O resultado: Agora, o modelo consegue usar o atalho rápido (linear) mas ainda consegue gritar "OLHA AQUI!" quando vê algo importante, mantendo a qualidade da conversa.

5. O Resultado Final: A Festa Perfeita

Eles testaram isso em modelos de diferentes tamanhos (pequenos, médios e gigantes) usando milhões de fotos e textos da internet.

Velocidade: O novo método é muito mais rápido, especialmente quando a lista de convidados é enorme.
Qualidade: Surpreendentemente, a qualidade da festa (a precisão do modelo em reconhecer imagens) ficou quase igual à do método antigo e lento.
Escalabilidade: Eles provaram que, mesmo que a festa cresça para milhões de pessoas, o novo método continua funcionando bem, seguindo as mesmas regras de crescimento que os métodos tradicionais.

Resumo em uma frase

Os autores criaram um "atalho inteligente" para que a Inteligência Artificial possa processar quantidades massivas de fotos e textos muito mais rápido, sem deixar de prestar atenção nos detalhes importantes, permitindo que os robôs "vejam" e "leiam" o mundo de forma mais eficiente.

1. O Problema

Os Transformers Multimodais são a base dos modelos de visão e linguagem mais avançados (SOTA). No entanto, eles enfrentam um gargalo crítico de escalabilidade: a complexidade computacional do mecanismo de atenção padrão (Softmax) escala quadraticamente ( $O(N^2D)$ ) em relação ao comprimento da sequência ( $N$ ).

Contexto: Em cenários multimodais, as entradas frequentemente contêm centenas ou milhares de tokens visuais além dos tokens de texto.
Consequência: A escala quadrática limita severamente a aplicação desses modelos em sequências longas e imagens de alta resolução, tornando o treinamento e a inferência computacionalmente proibitivos para grandes conjuntos de dados.

2. Metodologia

Os autores investigam a viabilidade da Atenção Linear (LA) como uma alternativa de alta eficiência, integrando-a em arquiteturas de Vision Transformer (ViT) dentro de um framework multimodal.

Abordagem Base: A LA reformula a operação de atenção substituindo o kernel Softmax por um mapa de características decomponível $\phi(\cdot)$ , permitindo reordenar as multiplicações matriciais para reduzir a complexidade para $O(ND^2)$ .
Proposta Específica (Ajustes):
- Os autores utilizam um kernel afim definido como $f(x) = 1 + x$ .
- Normalização: Para evitar pontuações negativas (que ocorreriam se $q_i \cdot k_n < -1$ ), os vetores de Query e Key são normalizados ( $q_i = q_i / ||q_i||$ ).
- Solução para "Over-smoothing": O problema principal da LA padrão é que, com sequências longas, as pontuações de atenção tornam-se excessivamente suaves (uniformes), dificultando a distinção entre pares relevantes. Para mitigar isso, os autores propõem omitir o denominador na equação de normalização padrão.
- Nova Fórmula: Em vez de dividir pela soma dos termos (que decai com o tamanho da sequência), eles utilizam uma fórmula simplificada onde as pontuações são mantidas entre 0 e 1 sem o denominador variável, preservando o contraste necessário para o fluxo de gradiente.
Configuração Experimental:
- Modelos: ViT-S/16, ViT-B/16 e ViT-L/16.
- Dados: Pré-treinamento no dataset LAION-400M usando o framework OpenCLIP.
- Validação: Precisão zero-shot no ImageNet-21K.

3. Contribuições Principais

Investigação de LA Multimodal: Demonstram que a Atenção Linear pode ser aplicada com sucesso em Transformers Multimodais, alcançando desempenho comparável à atenção padrão.
Análise de Eficiência Computacional: Quantificam a redução de custo computacional, mostrando que a LA escala linearmente com o comprimento da sequência, superando o gargalo quadrático.
Validação de Leis de Escala: Provam que a LA (com seus ajustes propostos) segue as mesmas leis de escala (relação entre tamanho do modelo e perda/precisão) que a atenção Softmax padrão, indicando que não há degradação de desempenho ao escalar.
Melhoria de Expressividade: A proposta de remover o denominador na normalização resolve o problema de "over-smoothing" (suavização excessiva) das mapas de atenção, permitindo que o modelo atribua saliência adequada a pares de tokens relevantes.

4. Resultados

Escalabilidade Temporal: Em testes de runtime (forward e backward pass), a LA demonstrou uma escala $O(N)$ , enquanto a atenção padrão manteve $O(N^2)$ . Para sequências longas (ex: $4 \times 10^6$ tokens), a LA foi aproximadamente $10^3$ vezes mais rápida.
Desempenho de Treinamento:
- A LA com os ajustes propostos convergiu para um valor terminal de perda e precisão muito próximo ao da atenção padrão.
- A LA padrão (sem ajustes) mostrou convergência extremamente lenta devido à falta de contraste nas pontuações de atenção.
- A LA ajustada mitigou esse problema, permitindo um treinamento eficaz.
Leis de Escala: Ao analisar a perda de treinamento em função do número de parâmetros (de 22M a 304M), os modelos com LA ajustada seguiram uma tendência de potência ( $L(N) \approx aN^{-\alpha}$ ) quase idêntica à dos modelos com atenção padrão. Isso confirma que a LA não sofre de degradação de desempenho em modelos grandes.

5. Significado e Conclusão

O trabalho posiciona a Atenção Linear como uma solução robusta e escalável para a próxima geração de Transformers Multimodais.

Impacto: Permite o processamento de conjuntos de dados cada vez maiores e mais complexos (imagens de alta resolução, contextos longos) sem o custo proibitivo da atenção quadrática.
Conclusão: A LA, quando devidamente ajustada para preservar o contraste de atenção, não é apenas uma alternativa eficiente, mas uma solução viável que mantém a expressividade e as propriedades de escalabilidade dos modelos modernos, sendo crucial para o avanço de modelos de grande escala (LMMs).