Fibottention: Inceptive Visual Representation Learning with Diverse Attention Across Heads

1. Problema e Motivação

Os Transformers baseados em visão (Vision Transformers - ViTs) e suas variantes alcançaram sucesso notável em tarefas de percepção visual. No entanto, eles enfrentam duas limitações fundamentais:

1. Complexidade Computacional Quadrática: O mecanismo de auto-atenção multi-cabeça (MHSA) padrão requer o cálculo de interações entre todos os pares de tokens, resultando em uma complexidade de $O(N^2)$, onde $N$ é o número de tokens. Isso restringe a escalabilidade para sequências longas ou imagens de alta resolução.
2. Dependência de Dados: O desempenho competitivo geralmente exige grandes volumes de dados de treinamento, degradando-se em regimes de poucos dados (low-data regimes), comuns em tarefas como robótica e compreensão de vídeo.

Mecanismos de atenção esparsa existentes (como janelas deslizantes locais ou atenção aleatória) tentam mitigar a complexidade, mas frequentemente degradam a capacidade de modelagem e a precisão, criando um trade-off negativo entre eficiência e desempenho. Além disso, a maioria das abordagens esparsas utiliza o mesmo padrão de esparsidade para todas as cabeças de atenção, perdendo a diversidade de representações.

2. Metodologia: Fibottention

O artigo propõe o Fibottention, um mecanismo de auto-atenção esparsa estruturada e determinística projetado para substituir o MHSA denso. A abordagem baseia-se em três pilares principais:

A. Padrões de Esparsidade Baseados em Fibonacci e Wythoff

Em vez de usar janelas fixas ou aleatoriedade, o Fibottention utiliza sequências de dilatação derivadas da Matriz de Wythoff e sequências de Fibonacci generalizadas.

• Sequências de Dilatação: Para cada cabeça de atenção $i$, é definida uma sequência de distâncias entre tokens $(f_n)$ baseada em uma sequência de Fibonacci generalizada $Fib(a_i, b_i)$.
• Matriz de Wythoff: Os parâmetros iniciais $(a_i, b_i)$ para cada cabeça são derivados da Matriz de Wythoff. Uma propriedade crucial dessa matriz é que cada inteiro positivo aparece em exatamente uma linha, garantindo que os conjuntos de suporte (padrões de esparsidade) das diferentes cabeças tenham sobreposição mínima.
• Janelas Variáveis: O tamanho da janela $w_i$ varia linearmente entre um mínimo ($w_{min}$) e um máximo ($w_{max}$) através das cabeças, permitindo que algumas cabeças capturem interações locais e outras interações globais.

B. Diversidade Inceptiva (Inceptive Diversity)

O design é inspirado na arquitetura Inception de CNNs. Ao atribuir padrões de esparsidade complementares e distintos a cada cabeça de atenção, o modelo promove:

• Especialização Semântica: Cada cabeça aprende a focar em diferentes escalas e tipos de interações (local vs. global) sem redundância.
• Representações Desentrelaçadas: A diversidade forçada nos padrões de atenção leva a representações de características mais informativas e menos redundantes.

C. Complexidade Computacional

Devido à natureza exponencial das sequências de Fibonacci (crescimento proporcional ao número áureo $\phi$), o número de pares de tokens conectados cresce de forma logarítmica em relação ao tamanho da janela.

• A complexidade computacional é reduzida de $O(N^2)$ para $O(N \log N)$.
• O método é não adaptativo (os padrões são fixos), eliminando a sobrecarga computacional de aprender máscaras de esparsidade dinâmicas.

3. Contribuições Principais

1. Mecanismo Fibottention: Introdução de um novo padrão de atenção esparsa determinística baseada na Matriz de Wythoff, que garante diversidade entre cabeças e cobertura eficiente de interações locais e globais.
2. Eficiência e Desempenho Simultâneos: Demonstrar que é possível reduzir drasticamente o número de interações de tokens (para cerca de 2% do total) sem sacrificar a precisão, e em muitos casos, superando o MHSA denso, especialmente em conjuntos de dados menores.
3. Análise de Diversidade de Cabeças: Evidência empírica e teórica de que a diversidade induzida pelos padrões de esparsidade complementares melhora a qualidade da representação aprendida.
4. Validação Multidomínio: Avaliação extensiva em classificação de imagens, reconhecimento de ação em vídeo e aprendizado por imitação em robótica.

4. Resultados Experimentais

Os autores realizaram experimentos em diversos benchmarks e arquiteturas (ViT-B, Swin-B, ConViT, TimeSformer, etc.):

• Classificação de Imagens:
  • Em CIFAR-10/100 e Tiny-ImageNet, o Fibottention superou consistentemente os baselines de atenção completa (ViT-B denso) e outros métodos esparsos (como BigBird, Longformer, Top-k), alcançando ganhos de até 7-8% em precisão Top-1.
  • No ImageNet-1K, alcançou desempenho comparável ao ViT denso, utilizando apenas ~2% das interações de tokens.
• Reconhecimento de Vídeo:
  • No TimeSformer (SmartHome e NUCLA), a variante "Modified Wythoff" (que inclui interações locais mais densas) superou todos os baselines, melhorando a precisão Top-1 significativamente.
• Aprendizado Robótico:
  • Em tarefas de clonagem comportamental (Lift, Can, PushT), o Fibottention alcançou as melhores taxas médias de conclusão de tarefas, superando ViTs com atenção densa e BigBird.
• Eficiência:
  • Redução de FLOPs de atenção em até 98% (mantendo apenas 2% das interações).
  • Em resoluções maiores, a economia de FLOPs totais pode chegar a 48%, pois a atenção se torna o gargalo computacional dominante.
• Robustez:
  • Modelos com Fibottention demonstraram maior robustez contra distorções de imagem (corrupções) em comparação aos modelos densos.

5. Significado e Impacto

O Fibottention representa um avanço significativo na eficiência de Transformers visuais ao resolver o dilema entre complexidade computacional e capacidade de representação.

• Viabilidade em Dispositivos de Borda (Edge): Ao reduzir a complexidade para $O(N \log N)$ e manter alta precisão com poucos dados, torna-se viável implantar modelos Transformer robustos em dispositivos com recursos limitados (IoT, robótica móvel).
• Novo Paradigma de Design: O trabalho sugere que a diversidade estrutural entre cabeças de atenção é um indutor de viés (inductive bias) poderoso, muitas vezes mais eficaz do que a simples densidade de conexões.
• Generalização: A abordagem não é limitada à visão; a estrutura matemática baseada em Fibonacci e Wythoff oferece um caminho para escalar Transformers para sequências extremamente longas em outras modalidades, como processamento de linguagem natural e séries temporais.

Em resumo, o Fibottention demonstra que a esparsidade inteligente e estruturada pode superar a atenção densa, oferecendo uma rota para a próxima geração de modelos de fundação eficientes e escaláveis.