🤖 AI

SEMA: a Scalable and Efficient Mamba like Attention via Token Localization and Averaging

Este artigo apresenta o SEMA, um mecanismo de atenção escalável e eficiente que combina a localização de tokens para evitar a dispersão de pesos com a média aritmética para capturar o contexto global, superando, assim, os modelos existentes de atenção linear e Vision Mamba em tarefas de classificação de imagens.

Autores originais: Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

Publicado 2026-07-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a reconhecer um gato em uma foto. Para fazer isso, o robô usa uma ferramenta especial chamada "atenção", que funciona como um holofote. Esse holofote varre toda a imagem, decidindo quais pixels são importantes (como as orelhas do gato) e quais são apenas ruído de fundo (como uma árvore borrada). O problema é que, conforme a foto fica maior, o holofote tem que verificar cada pixel contra todos os outros pixels. Se a foto for pequena, é rápido. Mas se a foto for enorme, o robô fica sobrecarregado, gastando tanto tempo verificando conexões que fica sem bateria antes mesmo de conseguir dizer "gato".

Cientistas tentaram consertar isso tornando o holofote "linear", o que significa que ele verifica os pixels em uma linha mais simples e rápida. Mas há um porém: esses holofotes rápidos costumam perder o foco. À medida que a imagem aumenta, eles começam a tratar cada pixel como igualmente importante, como uma lanterna que foi reduzida tanto que apenas brilha uniformemente por todo o quarto. O robô para de ver o gato e começa a ver um borrão cinza. Este artigo, escrito por pesquisadores da Universidade da Califórnia, Irvine, e da Qualcomm AI Research, aborda exatamente este problema. Eles querem construir um holofote que seja rápido o suficiente para lidar com imagens gigantes e nítido o suficiente para ainda ver os detalhes.

Os pesquisadores, liderados por Nhat Thanh Tran e colegas, descobriram uma verdade matemática que explica por que esses holofotes rápidos falham: conforme o número de pixels (ou "tokens") cresce em direção ao infinito, o mecanismo de atenção naturalmente se espalha e torna-se inútil. Eles chamam isso de fenômeno da "dispersão". É como tentar ouvir um sussurro em um estádio; se você tentar ouvir todo mundo ao mesmo tempo, acaba ouvindo nada além de ruído. O artigo prova que, não importa como você ajuste a matemática dessas ferramentas de atenção rápida, elas acabarão perdendo o foco se a imagem ficar grande demais.

Para resolver isso, a equipe inventou um novo método chamado SEMA (Attention Scalable and Efficient Mamba-like). Em vez de lutar contra a matemática, eles decidiram trabalhar com ela. Eles perceberam que, embora o holofote deva focar em detalhes específicos, ele também precisa de uma maneira de entender o "quadro geral" sem se perder. Por isso, projetaram um sistema de duas partes. Primeiro, eles usam a Localização de Tokens, que é como dar ao holofote uma pequena janela para olhar através. Ele foca apenas em uma pequena vizinhança de pixels de cada vez, garantindo que nunca fique sobrecarregado ou distraído. Isso mantém o foco nítido.

Mas olhar através de uma pequena janela tem um lado negativo: o robô pode perder o gato inteiro se estiver olhando apenas para uma pata. Para corrigir isso, o SEMA adiciona uma segunda etapa: a Média. Isso é como tirar uma foto rápida e borrada de todo o quarto e adicioná-la à visão detalhada. Os pesquisadores provaram matematicamente que, quando a imagem fica enorme, a melhor maneira de capturar a sensação "global" da imagem é simplesmente tirar a média de tudo. Ao combinar a visão nítida da janela local com essa média global simples, o SEMA obtém o melhor dos dois mundos.

O artigo mostra que essa abordagem funciona incrivelmente bem. Quando testaram o SEMA em conjuntos de dados de imagens padrão como o ImageNet-1K, ele superou outros modelos populares, incluindo os recentes modelos "Mamba", especialmente quando as imagens eram muito grandes. Por exemplo, quando o tamanho da imagem foi aumentado para 1024x1024 pixels, outros modelos tiveram dificuldades significativas, caindo em precisão, enquanto o SEMA permaneceu forte e até melhorou. Os pesquisadores também descobriram que o SEMA era mais rápido que seus concorrentes, levando menos tempo para processar imagens grandes.

Uma das partes mais interessantes do artigo é como eles lidaram com o problema da "dispersão". Em vez de tentar forçar a atenção a permanecer nítida de uma forma que quebrasse a matemática, eles aceitaram que, para imagens enormes, a atenção deve se espalhar. Eles usaram essa natureza de espalhamento a seu favor, usando uma média simples para representar a informação global. É um pouco como perceber que, se você tem um milhão de amigos, não pode se lembrar de cada detalhe de cada um deles, mas pode se lembrar da vibração geral do grupo. O SEMA lembra dos detalhes da vizinhança imediata e da vibração geral do grupo, permitindo que reconheça o gato perfeitamente, não importa o quão grande seja a foto.

Os autores testaram sua ideia em várias tarefas, desde o reconhecimento de objetos até a localização de partes específicas de uma imagem (segmentação). Em todos os casos, o SEMA mostrou que consegue escalar para imagens maiores sem perder o controle. Eles até mostraram que, conforme as imagens ficavam maiores, a parte de "média" do sistema tornava-se mais importante, provando sua teoria de que este passo simples é crucial para lidar com quantidades massivas de dados. Embora o artigo foque em visão computacional, a equipe sugere que esta ideia pode ajudar com outros problemas que envolvem sequências longas de dados, como a análise de enormes exames médicos.

Em resumo, o SEMA é um truque inteligente que admite quando um holofote fica largo demais para ser útil e muda para uma estratégia diferente: olhar atentamente para os detalhes próximos e tirar uma média rápida e simples do resto. É uma maneira escalável, eficiente e matematicamente sólida de ajudar os computadores a verem o mundo claramente, mesmo quando o mundo fica muito grande.

Resumo Técnico: SEMA – Uma Atenção tipo Mamba Escalável e Eficiente via Localização de Tokens e Média

1. Declaração do Problema

O artigo aborda dois desafios primários na aplicação de mecanismos de atenção a tarefas de visão computacional:

Complexidade Computacional: A atenção total vanilla (baseada em softmax) exibe uma complexidade computacional quadrática ( $O(n^2)$ ) em relação ao tamanho da entrada, o que é proibitivo para imagens de alta resolução.
O Fenômeno da Dispersão: Variantes de atenção linear, projetadas para alcançar complexidade linear, frequentemente sofrem de uma incapacidade de focar em informações relevantes. À medida que o número de tokens ( $n$ ) aumenta, esses mecanismos tendem a se "dispersar", atribuindo pesos quase iguais a todas as chaves, perdendo assim o poder discriminativo inerente à atenção softmax.

Embora trabalhos recentes como Mamba (modelos de espaço de estados) e MILA (atenção linear inspirada em Mamba) tenham tentado resolver esses problemas, os autores observam que os mecanismos de atenção linear ainda carecem de poder de foco expressivo, e as soluções existentes para a dispersão (ex: temperatura adaptativa ou atenção diferencial) são frequentemente heurísticas ou ainda teoricamente propensas à dispersão no limite.

2. Metodologia

2.1 Fundamentação Teórica: Atenção Generalizada e Dispersão

Os autores estabelecem primeiro um framework de Atenção Generalizada que abrange tanto a atenção softmax vanilla quanto a atenção linear. Eles definem um mecanismo de atenção $\Phi$ -normalizado onde os coeficientes de atenção são determinados por uma função de normalização contínua $\phi$ .

Resultado Teórico Chave (Teorema da Dispersão):
O artigo prova que para qualquer função de normalização contínua $\phi$ , conforme o número de tokens $n$ tende ao infinito, os coeficientes de atenção inevitavelmente se dispersam. Isto é, o peso de atenção atribuído a qualquer chave específica aproxima-se de zero ( $\Theta(1/n)$ ), atribuindo efetivamente um peso igual a todos os tokens.

Isso se aplica à softmax vanilla ( $\phi(x) = \exp(x)$ ) e à atenção linear ( $\phi(x) = x$ ).
A prova baseia-se na compacidade do espaço de características de entrada e na continuidade das funções envolvidas.
Os autores observam que, embora a atenção diferencial tente mitigar o ruído, ela permanece teoricamente sujeita à dispersão ( $\Theta(1/n)$ ).

2.2 Solução Proposta: SEMA

Motivado pela propriedade de dispersão provada, os autores projetam o SEMA (Scalable and Efficient Mamba-like Attention). A filosofia central é abraçar o comportamento assintótico da atenção global (dispersão) enquanto preserva as capacidades de foco local.

O SEMA combina dois componentes:

Localização de Tokens (Atenção de Janela): Para manter a propriedade de "foco" da atenção vanilla em características de alta frequência, o SEMA emprega um mecanismo de atenção de janela localizada. Isso restringe cada query a interagir apenas com um número fixo de chaves dentro de uma janela pré-definida, evitando a dispersão dentro desse contexto local.
Média Teórica (Aproximação Global): Para capturar o aspecto global da atenção sem incorrer em complexidade quadrática ou sofrer com a dispersão da atenção linear total, o SEMA incorpora um termo de média aritmética.
- Com base na análise assintótica, os autores argumentam que, no limite de $n$ grande, o componente global da atenção total pode ser aproximado por uma média simples de todos os vetores de valor ( $\frac{1}{n}\sum v_j$ ).
- Isso atua como um "mixagem homogênea" ou filtro passa-baixa, agregando informação global de forma eficiente.

Formulação:
A atenção SEMA para uma query $q$ , chaves $K$ e valores $V$ com tamanho de janela $w$ é definida como:
$\text{SEMA}(Q, K, V) = A_{\Phi}(Q, K, V, w) + \frac{1}{n} \sum_{j=1}^{n} v_j$
Onde $A_{\Phi}$ é a atenção de janela (usando variantes softmax ou lineares) e o segundo termo é a média global transmitida (broadcasted).

2.3 Arquitetura

O SEMA é integrado em uma macro-arquitetura tipo Mamba (semelhante ao MILA). Os autores substituem os blocos de atenção linear do MILA pelos blocos SEMA. Diferente do MILA, o SEMA inclui uma projeção linear para os valores $V$ , o que os autores descobriram ser necessário para o desempenho, aumentando ligeiramente a contagem de parâmetros, mas mantendo a eficiência.

3. Principais Contribuições

Prova Teórica de Dispersão: O artigo fornece uma prova matemática rigorosa de que a atenção generalizada (incluindo variantes softmax e lineares) se dispersa conforme a contagem de tokens se aproxima do infinito, independentemente da função de normalização contínua específica utilizada.
Design do SEMA: Um novo mecanismo de atenção que utiliza a localização de tokens para evitar a dispersão local e a média aritmética para aproximar teoricamente o aspecto global, oferecendo uma alternativa escalável à atenção linear.
Validação Empírica: Demonstrar que o SEMA supera modelos de visão Mamba recentes (ex: VMamba) e baselines de atenção linear (MILA) em benchmarks padrão, particularmente conforme as resoluções de imagem aumentam.

4. Resultados Experimentais

4.1 Classificação ImageNet-1K

Resolução Padrão (224²): O SEMA-T atinge 83,7% de acurácia Top-1, superando o MILA-T (83,3%) e o DefMamba (83,5%) com contagens de parâmetros semelhantes (~26M).
Escalabilidade (Resoluções Maiores): Os ganhos mais significativos aparecem em resoluções mais altas.
- Em 1024², o VMamba-T cai significativamente (74,7% sem fine-tuning, 83,4% com), enquanto o SEMA-T mantém a robustez (75,4% sem, 84,2% com fine-tuning).
- A lacuna entre o SEMA e o VMamba aumenta para 7,3% em 1024² sem fine-tuning, indicando a resiliência superior do SEMA ao aumento da contagem de tokens.

4.2 Tarefas Downstream

COCO (Segmentação de Instância): Usando Mask R-CNN, o SEMA-T atinge desempenho estado da arte ou top-2 em todas as métricas (AP, AP50, AP75) para cronogramas de treinamento de 1x e 3x, superando o MILA-T e o VMamba-T.
ADE20K (Segmentação Semântica): O SEMA-T atinge 48,2 mIOU (escala única), superando o VMamba-T (47,9) e permanecendo competitivo em configurações de múltiplas escalas.

4.3 Eficiência

Tempo de Inferência: O SEMA demonstra escalabilidade superior no tempo de execução. Em resolução 1024², o SEMA é aproximadamente 33% mais rápido que o MILA. Em 2048², a aceleração é ainda mais pronunciada, confirmando a vantagem de complexidade linear do componente de média.

4.4 Estudos de Ablação

Projeção de Valor: Remover a camada de projeção de valor reduz a acurácia em ~0,8%, destacando sua importância.
Componente de Média: Em 224², o termo de média contribui minimamente (~0,2%). No entanto, conforme a resolução aumenta para 672², sua contribuição cresce significativamente (+2,2% sem fine-tuning), validando a afirmação teórica de que a média torna-se crucial conforme a contagem de tokens aumenta e os efeitos de dispersão se intensificam.

5. Significância e Alegações

O artigo alega que o SEMA oferece uma solução teoricamente fundamentada para o problema da dispersão na atenção linear. Ao provar que a dispersão é uma propriedade inerente da atenção global no limite, os autores justificam o uso da média aritmética como uma aproximação global válida.

A significância do SEMA reside em sua capacidade de:

Escalar Eficazmente: Mantém o desempenho e a eficiência conforme as resoluções de imagem (e contagens de tokens) aumentam, uma fraqueza conhecida dos atuais modelos de visão Mamba.
Equilibrar Local e Global: Combina com sucesso o poder de foco da atenção de janela com o contexto global da média, evitando o custo quadrático da atenção total e o foco "embaçado" da atenção puramente linear.
Fornecer uma Alternativa Robusta: Serve como uma alternativa escalável e eficiente para tarefas de visão computacional, particularmente em cenários envolvendo entradas grandes ou sequências longas (ex: imagens médicas), onde as contagens de tokens podem atingir ordens de magnitude superiores às da classificação de imagens padrão.

Os autores concluem que, embora o componente de média seja marginal em resoluções padrão, ele fornece uma "rede de segurança" crítica e um impulso de desempenho no regime de grandes tokens, tornando o SEMA uma escolha robusta para arquiteturas de visão escaláveis.