Fibottention: Inceptive Visual Representation Learning with Diverse Attention Across Heads

1. Il Problema

I Transformer basati su visione (Vision Transformers o ViT) hanno ottenuto risultati eccezionali in compiti di percezione visiva, ma soffrono di due limitazioni fondamentali:

1. Complessità Computazionale Quadratica: Il meccanismo di Multi-Head Self-Attention (MHSA) standard richiede il calcolo di interazioni tra tutte le coppie di token, portando a una complessità di $O(N^2)$, dove $N$ è il numero di token. Questo limita la scalabilità su immagini ad alta risoluzione o sequenze lunghe.
2. Dipendenza dai Dati: Le prestazioni competitive richiedono spesso grandi quantità di dati di addestramento. In scenari con dati limitati (es. robotica, video), le prestazioni tendono a degradare.

Le strategie di sparse attention (attenzione sparsa) esistenti mirano a ridurre la complessità computazionale selezionando un sottoinsieme di interazioni, ma spesso introducono un compromesso negativo tra efficienza e accuratezza, degradando le prestazioni del modello o richiedendo meccanismi adattivi complessi.

2. Metodologia: Fibottention

Gli autori propongono Fibottention, un nuovo meccanismo di auto-attenzione sparsa, deterministico e non adattivo, progettato come sostituto "drop-in" dell'MHSA standard.

Concetti Chiave e Design

• Pattern di Sparsità Strutturata: A differenza delle finestre scorrevoli fisse o dell'attenzione casuale, Fibottention utilizza pattern di sparsità derivati dalla Matrice di Wythoff e dalle sequenze di Fibonacci generalizzate.
• Diversità tra le Teste (Head Diversity): Il cuore dell'innovazione risiede nel fatto che ogni testa di attenzione ($h$) utilizza un pattern di sparsità unico e complementare agli altri.
  • Ogni testa $i$ è associata a una specifica sequenza di dilatazione basata su una riga della Matrice di Wythoff, definita da parametri iniziali $(a_i, b_i)$.
  • Questo approccio garantisce che le interazioni tra token (query-key) siano diverse per ogni testa, riducendo la ridondanza e promuovendo una rappresentazione delle caratteristiche più ricca e disaccoppiata (concetto ispirato ai modelli Inception delle CNN).
• Sequenze di Dilatazione: Le distanze tra i token che interagiscono seguono una sequenza di Fibonacci. Questo permette di catturare sia interazioni locali (distanze brevi) che globali (distanze lunghe), ma con una densità che diminuisce progressivamente all'aumentare della distanza, evitando di sprecare risorse computazionali su interazioni a bassa utilità.
• Variante Modificata (Modified Wythoff): Per domini dove le interazioni locali sono critiche (es. video, robotica), gli autori introducono una variante che include i due predecessori nella sequenza di Fibonacci, aumentando leggermente la densità locale per catturare meglio l'evoluzione temporale o spaziale.

Complessità Computazionale

Grazie alla natura esponenziale della crescita delle sequenze di Fibonacci, Fibottention riduce la complessità temporale da $O(N^2)$ a $O(N \log N)$.

• Il numero totale di interazioni calcolate è drasticamente ridotto (circa il 2% delle interazioni totali in configurazioni tipiche).
• La complessità è provata matematicamente nell'Appendice A del paper.

3. Contributi Chiave

1. Meccanismo di Attenzione Ibrido: Integrazione della Matrice di Wythoff per generare pattern di sparsità complementari tra le teste, massimizzando la diversità delle rappresentazioni senza overhead computazionale aggiuntivo per l'apprendimento di maschere (a differenza delle attention adattive).
2. Efficienza e Scalabilità: Dimostrazione che è possibile ottenere prestazioni pari o superiori all'attenzione densa utilizzando solo una frazione minima delle interazioni (2-6%), rendendo i Transformer scalabili su dispositivi edge e per dati limitati.
3. Validazione Multi-Dominio: Applicazione e validazione non solo sulla classificazione di immagini, ma anche su compiti complessi come la comprensione video e l'apprendimento per imitazione robotica.
4. Analisi della Diversità: Dimostrazione empirica che Fibottention aumenta significativamente la diversità delle feature tra le teste rispetto ai baselines sparsi, il che si traduce in una migliore capacità di rappresentazione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi dataset e architetture (ViT-B, UPop, iFormer, Swin-B, ConViT-B):

• Classificazione di Immagini:

  • Su dataset piccoli e medi (CIFAR-10, CIFAR-100, Tiny-ImageNet), Fibottention supera significativamente i baselines ViT addestrati con attenzione densa e altre tecniche sparse (come BigBird, Longformer, Top-k).
  • Su ImageNet-1K, raggiunge prestazioni paragonabili all'attenzione densa, pur calcolando solo il ~2% delle interazioni.
  • Rispetto ad altri metodi sparsi, Fibottention mantiene un'accuratezza superiore a parità di FLOP (FLOP-equivalency).

• Comprensione Video (Action Recognition):

  • Integrato in TimeSformer, Fibottention (variante Modified Wythoff) migliora l'accuratezza Top-1 su dataset come Toyota Smarthome e NUCLA, superando i baselines con attenzione densa e BigBird.

• Apprendimento Robotico (Robot Learning):

  • In compiti di behavioral cloning (Lift, Can, PushT), Fibottention ottiene i tassi di completamento dei compiti più alti, dimostrando la sua efficacia nel catturare dinamiche spaziali e temporali critiche con dati limitati.

• Robustezza:

  • I modelli con Fibottention mostrano una maggiore robustezza rispetto a corruzioni dell'immagine (noise, blur, ecc.) rispetto ai modelli ViT standard.

5. Significato e Implicazioni

Il lavoro di Fibottention rappresenta un passo avanti significativo nell'ottimizzazione dei Transformer per la visione artificiale:

• Superamento del Compromesso Efficienza-Prestazione: Dimostra che la sparsità non deve necessariamente comportare una perdita di accuratezza; al contrario, una sparsità strutturata e diversificata può agire come un inductive bias positivo, migliorando l'apprendimento delle rappresentazioni.
• Adattabilità ai Dati Limitati: La capacità di performare bene su dataset piccoli (come CIFAR) senza distillazione di conoscenza suggerisce che Fibottention è ideale per applicazioni reali dove la raccolta di grandi dataset è costosa o impossibile (es. robotica, IoT).
• Futuro: L'architettura proposta apre la strada a Transformer di prossima generazione capaci di gestire miliardi di token, rendendo fattibile l'uso di modelli complessi su hardware con risorse limitate.

In sintesi, Fibottention non è solo un metodo per ridurre i costi computazionali, ma un nuovo paradigma di progettazione dell'attenzione che sfrutta la diversità strutturale per migliorare la qualità della rappresentazione visiva.