Riepilogo Tecnico: FAR (Sostituzione dell'Attenzione che Preserva la Funzione per Inferenza Compatibile con IMC)

1. Enunciato del Problema

Le architetture Transformer, in particolare quelle che si basano sull'auto-attenzione, incontrano colli di bottiglia significativi in termini di efficienza quando vengono distribuite su hardware emergente di Computazione in Memoria (IMC), come le matrici incrociate ReRAM. Sebbene l'auto-attenzione eccellano sui processori digitali paralleli (GPU/TPU) consentendo l'integrazione globale dei token, le sue caratteristiche computazionali confliggono fondamentalmente con il modello di esecuzione IMC:

• Moltiplicazioni da Attivazione ad Attivazione: L'auto-attenzione si basa pesantemente su operazioni come $QK^\top$ e normalizzazione softmax, che richiedono una miscelazione dinamica e non locale delle attivazioni piuttosto che le moltiplicazioni vettore-matrice (VMM) con pesi stazionari che l'hardware IMC ottimizza.
• Sovraccarico di Memoria: La complessità quadratica ($O(T^2)$) delle interazioni tra token e la necessità di leggere ripetutamente attivazioni distribuite spazialmente portano a operazioni analogiche frammentate, estese conversioni Analogico-Digitale/Digitale-Analogico (ADC/DAC) e scarsa utilizzazione della matrice incrociata.
• Limitazioni Attuali: Gli acceleratori IMC esistenti spesso delegano l'attenzione a unità digitali, lasciando irrisolto il collo di bottiglia quadratico, o tentano di mappare l'attenzione direttamente su array analogici senza affrontare i costi intrinseci di movimento dei dati.

Contemporaneamente, analisi recenti suggeriscono che i livelli di attenzione mostrano una sostanziale ridondanza durante l'inferenza, con le mappe di attenzione che diventano più lisce e comprimibili attraverso la profondità. Questo motiva l'ipotesi che il ruolo funzionale dell'attenzione possa essere approssimato da moduli sequenziali che si allineano meglio alla località IMC e alla stazionarietà dei pesi.

2. Metodologia: Il Framework FAR

Gli autori propongono FAR (Sostituzione dell'Attenzione che Preserva la Funzione), un framework che sostituisce tutti i blocchi di auto-attenzione in un Vision Transformer preaddestrato (in particolare la famiglia DeiT) con moduli sequenziali, specificamente LSTM Bidirezionali Multi-testa (BiLSTM). L'approccio è progettato come una conversione architetturale "drop-in" che non richiede un addestramento da zero.

2.1 Strategia di Sostituzione

• Sostituzione a Blocchi: Ogni blocco di attenzione $A_l$ in un transformer preaddestrato viene sostituito da un sostituto apprendibile $A'_l$ (un BiLSTM Multi-testa). Tutti gli altri componenti (blocchi MLP, embedding delle patch, normalizzazione a strato) rimangono congelati.
• Equivalenza Funzionale tramite Distillazione: La sostituzione è supervisionata attraverso una distillazione a livello di strato. Per ogni strato $l$, una perdita di similarità ($L_{sim}$) minimizza la differenza tra l'output della testa di attenzione originale e la nuova testa BiLSTM:
  $$L_{sim}^{(l)} = ||A_l(x_l) - A'_l(x_l)||_2^2$$
  Ciò garantisce che il sostituto replichi la struttura rappresentativa dell'insegnante.
• Protocollo di Addestramento: Il processo prevede due fasi:
  1. Fase di Distillazione: Solo i moduli BiLSTM sostitutivi vengono addestrati utilizzando una combinazione di perdita di similarità e perdita di compito (classificazione), mentre il resto del modello è congelato.
  2. Fase di Finetuning: L'intero modello viene finetunato congiuntamente per recuperare eventuali cali residui di accuratezza.

2.2 Architettura BiLSTM Multi-testa

Per preservare il bias induttivo dell'attenzione multi-testa, il sostituto è strutturato come un BiLSTM Multi-testa:

• Proiezione e Divisione: L'embedding di input viene proiettato e diviso in $N$ sottospazi (corrispondenti al numero di teste di attenzione dell'insegnante).
• Elaborazione Bidirezionale: Ogni sottospazio viene elaborato da una testa BiLSTM separata, catturando sia le dipendenze in avanti che quelle all'indietro dei token.
• Concatenazione e Proiezione: Gli output vengono concatenati e proiettati nuovamente alla dimensione originale.
• Compatibilità IMC: A differenza dell'attenzione, questa struttura si basa sul riutilizzo ricorrente dei pesi e sul flusso di dati sequenziale, eliminando le interazioni tra tutte le coppie di attivazioni. Ciò si mappa naturalmente sulle matrici incrociate ReRAM dove i pesi sono stazionari e i dati fluiscono in sequenza.

2.3 Pruning Strutturato per Vincoli IMC

Per adattarsi ulteriormente agli array IMC con risorse limitate, gli autori applicano il pruning strutturato alle dimensioni nascoste delle teste BiLSTM:

• Estensione di DeepHoyer: Estendono il framework DeepHoyer per colpire le unità nascoste LSTM. Poiché le porte LSTM (input, forget, cell, output) condividono le unità nascoste, la rimozione di una singola unità richiede una rimozione coordinata attraverso tutte le matrici di peso associate ($W_{ih}$, $W_{hh}$ e pesi di proiezione).
• Sparsità di Gruppo: Viene applicata una misura di sparsità Hoyer differenziabile a gruppi di pesi corrispondenti a ciascuna unità nascosta, incoraggiando la rete a imparare quali unità sono ridondanti.
• Compressione Adattiva allo Strato: Il pruning viene eseguito indipendentemente per testa e direzione, permettendo al modello di adattare la propria capacità alla specifica ridondanza di ogni strato, risultando in moduli compatti che si adattano alle dimensioni degli array IMC.

3. Risultati Chiave

Il framework è stato valutato sulla famiglia DeiT (Tiny, Small, Base) su ImageNet e su vari compiti downstream (CIFAR-10/100, Cars, Flowers, iNaturalist).

• Preservazione dell'Accuratezza:
  • DeiT-Tiny: FAR-Tiny ha effettivamente superato il baseline DeiT-Tiny del +1,2% su ImageNet (73,3% contro 72,2%), suggerendo che il sostituto sequenziale agisce come un bias induttivo benefico per i modelli più piccoli.
  • Modelli Più Grandi: Per DeiT-Small e Base, FAR ha mantenuto un'accuranza competitiva con un divario modesto di circa 1–2% rispetto all'insegnante, dimostrando che il ruolo funzionale dell'attenzione è in gran parte riproducibile tramite ricorrenza sequenziale.
  • Trasferimento Downstream: I modelli FAR hanno mantenuto una forte trasferibilità ai compiti di classificazione downstream, indicando che le mappature sequenza-sequenza apprese generalizzano efficacemente.
• Robustezza al Pruning:
  • L'applicazione del pruning strutturato ha ridotto la dimensione nascosta media del 40–60% con un calo di accuratezza aggiuntivo di solo 1–2%.
  • I pattern di pruning non erano uniformi, con una maggiore ritenzione negli strati intermedi e un pruning più aggressivo alle estremità della rete, riflettendo l'eterogeneità interna nella ridondanza rappresentativa.
• Specializzazione per Testa: La visualizzazione delle mappe di interazione tra token ha mostrato che le teste FAR hanno ereditato con successo i ruoli semantici distinti delle teste di attenzione originali, concentrandosi su regioni specifiche degli oggetti invece di collassare in pattern ridondanti.

Analisi dell'Efficienza Hardware

Utilizzando un modello analitico IMC ReRAM, gli autori hanno stimato latenza ed energia:

• Latenza: FAR su IMC ReRAM è stimato essere ~18 volte più veloce di DeiT su IMC ReRAM (a causa dell'evitamento del sovraccarico quadratico dell'attenzione) e ~400 volte più veloce di DeiT su una GPU.
• Energia: FAR su IMC ReRAM è stimato essere ~3 volte più efficiente energeticamente di DeiT su IMC ReRAM e ~150 volte più efficiente di DeiT su una GPU.
• Meccanismo: Questi guadagni derivano dall'eliminazione delle moltiplicazioni da attivazione ad attivazione, dalla riduzione delle conversioni ADC/DAC e dall'abilitazione dell'esecuzione con pesi stazionari. Gli autori notano che escludere i costi softmax (che sono colli di bottiglia significativi per l'attenzione su IMC) rende queste stime conservative per FAR.

4. Significato e Affermazioni

Il documento afferma che FAR fornisce un'alternativa pratica ed efficiente per l'hardware per distribuire transformer preaddestrati su acceleratori edge basati su IMC senza la necessità di addestrare modelli da zero.

• Fattibilità della Sostituzione Completa: Il lavoro dimostra che l'attenzione può essere sostituita end-to-end al momento dell'inferenza mantenendo un'accuratezza pratica, sfidando la nozione secondo cui le interazioni tra tutte le coppie di token sono strettamente necessarie per compiti di visione ad alte prestazioni.
• Allineamento Hardware: Sostituendo l'attenzione con moduli sequenziali a pesi stazionari, FAR allinea il flusso di dati computazionale con i punti di forza fisici delle matrici incrociate ReRAM, riducendo significativamente il traffico di memoria e la latenza.
• Preservazione della Conoscenza Preaddestrata: Il framework dimostra che le ricche rappresentazioni semantiche apprese durante il preaddestramento su larga scala possono essere preservate e trasferite ad architetture strutturalmente diverse e compatibili con IMC attraverso la distillazione a livello di blocco.

In sintesi, FAR offre una via per ristrutturare l'inferenza Transformer attorno a moduli sequenziali compatibili con IMC, colmando il divario tra il dominio dei modelli basati su attenzione e i vincoli dell'hardware emergente incentrato sulla memoria.