Sintesi Tecnica: LL-ViT – Vision Transformer per l'Edge Deployment con Neuroni basati su Look-Up Table

Problematica

I Vision Transformer (ViT) hanno raggiunto prestazioni allo stato dell'arte nella computer vision, ma affrontano barriere significative per il deployment su dispositivi edge, in particolare sui Field-Programmable Gate Arrays (FPGA). Il loro ingente footprint computazionale, di memoria ed energetico eccede le capacità delle piattaforme edge commerciali. Ad esempio, varianti compatte come DeiT-T richiedono circa 20MB di archiviazione dei pesi, superando la memoria on-chip di molti FPGA.

Le strategie di ottimizzazione esistenti, come il caricamento dei pesi off-chip e la quantizzazione aggressiva, introducono dei compromessi: l'accesso frequente all'off-chip aumenta il consumo energetico, mentre una quantizzazione aggressiva spesso degrada l'accuratezza del modello. Inoltre, recenti soluzioni ibride che utilizzano l'esecuzione in pipeline su piattaforme high-end (ad esempio, AMD/Xilinx Versal) raggiungono un alto throughput ma a livelli di potenza (ad esempio, ~40W) non adatti a scenari edge alimentati a batteria.

Sebi recenti lavori su reti basate su Logica e Look-Up Table (LUT) (ad esempio, LogicNets, NeuraLUT, Differentiable Weightless Neural Networks) offrono modelli con footprint di memoria e calcolo ridotti, sono stati storicamente limitati a dataset piccoli e task semplici. Questi modelli tipicamente ottengono prestazioni scarse su benchmark standard di computer vision come CIFAR-10/100 e non sono stati integrati con successo nelle complesse architetture dei Vision Transformer.

Metodologia

Gli autori propongono LL-ViT (Learned-LUT based Vision Transformers), un nuovo algoritmo di co-design algoritmo-hardware che integra neuroni basati su LUT direttamente nell'architettura del transformer per ottimizzare l'inferenza edge.

1. Analisi del Carico di Lavoro e Motivazione

Gli autori caratterizzano le tipiche architetture ViT (specificamente DeiT-T) e identificano che i livelli Multilayer Perceptron (MLP) (channel mixer) sono il collo di bottiglia principale. Questi livelli contribuiscono per oltre il 60% al totale dei pesi del modello e per il 55% al totale delle operazioni Multiply-Accumulate (MAC). Questa osservazione motiva la sostituzione del blocco MLP standard con un'alternativa più efficiente, mantenendo il token mixer Multi-Head Self-Attention (MHA), che è meno dominante in termini di pesi.

2. Channel Mixer basato su LUT Appreso

Invece di sostituire semplicemente le moltiplicazioni con lookup di tabelle post-training, gli autori progettano un channel mixer basato su LUT apprendibile che viene addestrato end-to-end.

• Architettura: Il blocco proposto sostituisce il tipico MLP a due strati. Utilizza la codifica a termometro per convertire le attivazioni di input in sequenze di bit, che vengono poi elaborate attraverso strati configurabili di neuroni LUT.
• Differenziabilità: Per abilitare la backpropagation, gli autori impiegano tecniche di Extended Finite Difference (da Differentiable Weightless Neural Networks) per approssimare i gradienti per le voci della LUT.
• Sommatoria Condizionale: Un nuovo livello di sommatoria condizionale segue i neuroni LUT. Esso aggiunge i valori codificati all'output solo se l'output del corrispondente neurone LUT è attivo (1). Questo livello permette alla rete di produrre output a virgola mobile richiesti dal transformer pur mantenendo un percorso di inferenza privo di moltiplicazioni. Durante l'addestramento, questi valori codificati sono appresi in full precision (fp32) e quantizzati post-training (ad esempio, a int4) per corrispondere al resto della rete.

3. Design dell'Acceleratore FPGA

Gli autori co-progettano un acceleratore hardware specifico per LL-ViT:

• Elementi di Elaborazione (PE): Un PE dedicato è progettato per il channel mixer basato su LUT. Esso elabora le attivazioni di input riga per riga in modo pipelined utilizzando buffer ping-pong per evitare stall.
• Mappatura delle Risorse: I neuroni LUT sono mappati direttamente nei slice LUT all'interno del fabric logico dell'FPGA, eliminando la necessità di DSP o BRAM per l'archiviazione dei pesi in questi livelli. Ciò contrasta con gli acceleratori convenzionali che richiedono DSP per la moltiplicazione e BRAM per l'archiviazione dei pesi.
• Pesante Stazionari (Stationary Weights): Tutti i pesi del modello sono memorizzati on-chip in BRAM dedicate, eliminando l'accesso alla memoria off-chip durante l'inferenza.
• Token Mixer: Il blocco MHA è implementato utilizzando un array sistolico per le moltiplicazioni matriciali, interfacciato con il PE del channel mixer basato su LUT.

Contributi Chiave

1. Nuova Architettura: Proposta di un blocco channel-mixer basato su LUT apprendibile che si integra perfettamente nei Vision Transformer, sostituendo i pesanti livelli MLP.
2. Modello Ottimizzato per l'Edge: Sviluppo di un ViT ottimizzato per l'edge (LL-ViT) che combina il token mixing tramite self-attention con il channel mixing privo di moltiplicazioni, riducendo significativamente la richiesta computazionale e il consumo di memoria.
3. Co-Design Hardware: Design di un acceleratore FPGA a basso consumo che evita il movimento dei pesi off-chip e sfrutta le risorse LUT native degli FPGA per il channel mixer.
4. Performance su Task Complessi: Estensione delle reti neurali basate su LUT da dataset su piccola scala a complessi task di computer vision (CIFAR-10/100, TinyImageNet), dimostrando che i neuroni LUT possono apprendere l'invarianza posizionale e interazioni di feature complesse.

Risultati Sperimentali

Gli autori hanno valutato LL-ViT su un'FPGA AMD Xilinx Virtex (xcvu9p) contro un baseline completamente quantizzato (INT8) (I-ViT-T) e altri lavori precedenti.

• Accuratezza: LL-ViT raggiunge accuratezze comparabili al baseline:
  • CIFAR-10: 95.5% (vs 95.4% baseline)
  • CIFAR-100: 78.8% (vs 79.2% baseline)
  • TinyImageNet: 60.9% (vs 60.4% baseline)
  • Flowers-102: 91.6% (vs 91.3% baseline)
• Dimensione del Modello e Calcolo:
  • Riduzione del 60% dei pesi del modello (1.93 MB vs 5.06 MB).
  • Riduzione di >50% delle operazioni MAC (0.65 GMACs vs 1.31 GMACs).
  • La dimensione ridotta permette all'intero modello di risiedere nella memoria on-chip.
• Efficienza:
  • Miglioramento di 1.9× nell'efficienza energetica (2.14 mJ/inferenza vs 4.05 mJ per il baseline).
  • Latenza 1.3× inferiore (5.33 ms vs 6.93 ms).
  • Throughput: Raggiunge 1083 FPS con un budget di potenza di 10.9W.
• Confronto: LL-ViT supera i precedenti lavori basati su LUT (ad esempio, TreeLUT, DiffLogicNet) che riportano accuratezze significativamente inferiori (40–80% su CIFAR-10) e dimostra un'efficienza superiore rispetto ad altri acceleratori ViT (ad esempio, HG-PIPE, ViTA) a una frazione della potenza.

Significato e Rivendicazioni

Il paper sostiene che LL-ViT rappresenti un passo avanti significativo per rendere i Vision Transformer praticabili per il deployment edge. Puntando ai livelli MLP — la principale fonte di overhead di memoria e calcolo — con neuroni LUT apprendibili, gli autori dimostrano che è possibile:

1. Ridurre drasticamente la dimensione del modello e il consumo energetico senza sacrificare l'accuratezza su standard vision benchmark.
2. Utilizzare appieno le risorse FPGA mappando i calcoli neurali direttamente negli slice LUT, eliminando l'accesso alla memoria off-chip e riducendo la dipendenza dai DSP energivori.
3. Colmare il divario tra le reti neurali basate su LUT efficienti e le complesse architetture transformer, provando che i neuroni LUT possono essere addestrati per gestire le complessità dei task di visione precedentemente riservati a reti dense e pesanti in termini di moltiplicazioni.

Gli autori posizionano LL-ViT come una "promettente alternativa leggera" ai tradizionali ViT, aprendo la strada a "tiny ViT" che possono essere implementati su dispositivi edge con risorse limitate e alimentati a batteria. Notano che, sebbene la tecnica sia stata dimostrata su un baseline tiny ViT, i benefici strutturali sono destinati a scalare verso varianti più grandi.