Technische Samenvatting: LL-ViT – Edge Deployable Vision Transformers met Look Up Table Neuronen

Probleemstelling

Vision Transformers (ViTs) hebben de state-of-the-art prestaties bereikt in computer vision, maar worden geconfronteerd met aanzienlijke barrières voor implementatie op edge-apparaten, in het bijzonder Field-Programmable Gate Arrays (FPGA's). Hun grote computationele, geheugen- en energievoetafdruk overstijgen de capaciteiten van commerciële edge-platforms. Zo vereisen compacte varianten zoals DeiT-T ongeveer 20 MB aan gewichtsopslag, wat de on-chip geheugencapaciteit van veel FPGA's overschrijdt.

Bestaande optimalisatiestrategieën, zoals off-chip gewichtsladen en agressieve kwantisatie, introduceren trade-offs: frequente off-chip toegang verhoogt het energieverbruik, terwijl agressieve kwantisatie vaak de modelnauwkeurigheid verslechtert. Bovendien bereiken recente hybride oplossingen die gebruikmaken van gepipeleste uitvoering op high-end platforms (bijv. AMD/Xilinx Versal) een hoge doorvoer, maar tegen vermogensniveaus (bijv. ~40W) die ongeschikt zijn voor op batterijen werkende edge-scenario's.

Recente werken op het gebied van Logic en Look-Up Table (LUT) gebaseerde netwerken (bijv. LogicNets, NeuraLUT, Differentiable Weightless Neural Networks) bieden modellen met een gereduceerde geheugen- en compute-voetafdruk, maar zijn historisch gezien beperkt tot kleine datasets en eenvoudige taken. Deze modellen presteren doorgaans slecht op standaard computer vision benchmarks zoals CIFAR-10/100 en zijn niet succesvol geïntegreerd in de complexe architectuur van Vision Transformers.

Methodologie

De auteurs stellen LL-ViT (Learned-LUT based Vision Transformers) voor, een nieuw algoritme-hardware co-design dat LUT-neuronen direct in de transformer-architectuur integreert om te optimaliseren voor edge-inferentie.

1. Workload Analyse en Motivatie

De auteurs karakteriseren typische ViT-architecturen (specifiek DeiT-T) en identificeren dat de Multilayer Perceptron (MLP) lagen (channel mixers) de primaire bottleneck vormen. Deze lagen dragen meer dan 60% bij aan de totale modelgewichten en 55% aan de totale Multiply-Accumulate (MAC) operaties. Deze observatie motiveert het vervangen van de standaard MLP-block door een efficiënter alternatief, terwijl de Multi-Head Self-Attention (MHA) token mixer, die minder gewicht-dominant is, behouden blijft.

2. Learned LUT-gebaseerde Channel Mixer

In plaats van simpelweg vermenigvuldigingen te vervangen door table lookups na de training, ontwerpen de auteurs een leerbare LUT-gebaseerde channel mixer die end-to-end getraind wordt.

• Architectuur: De voorgestelde block vervangt de standaard twee-laagse MLP. Het maakt gebruik van thermometer encoding om input-activaties om te zetten in bitsequenties, die vervolgens worden verwerkt door configureerbare lagen van LUT-neuronen.
• Differentiabiliteit: Om backpropagation mogelijk te maken, gebruiken de auteurs Extended Finite Difference technieken (afkomstig van Differentiable Weightless Neural Networks) om gradiënten voor LUT-entries te benaderen.
• Conditionele Sommatie: Een nieuwe conditionele sommatielayer volgt de LUT-neuronen. Deze voegt gecodeerde waarden toe aan de output alleen als de overeenkomstige LUT-neuron output actief (1) is. Deze layer stelt het netwerk in staat om real-valued outputs te produceren die vereist zijn door de transformer, terwijl een multiplication-free inferentiepad behouden blijft. Tijdens de training worden deze gecodeerde waarden geleerd in full precision (fp32) en gepost-training gekwantiseerd (bijv. naar int4) om overeen te komen met de rest van het netwerk.

3. FPGA Accelerator Ontwerp

De auteurs co-ontwerpen een hardware-accelerator specifiek voor LL-ViT:

• Processing Elements (PE): Er is een speciale PE ontworpen voor de LUT-gebaseerde channel mixer. Deze verwerkt input-activaties rij-gewijs in een gepipelesteerde fashion met behulp van ping-pong buffers om stalls te voorkomen.
• Resource Mapping: De LUT-neuronen worden direct gemapt naar de LUT slices binnen de FPGA logic fabric, waardoor de noodzaak voor DSP's of BRAM's voor gewichtsopslag in deze lagen wordt geëlimineerd. Dit contrasteert met conventionele accelerators die DSP's nodig hebben voor vermenigvuldiging en BRAM's voor gewichtsopslag.
• Stationary Weights: Alle modelgewichten worden on-chip opgeslagen in toegewezen BRAM's, waardoor off-chip geheugentoegang tijdens inferentie wordt geëlimineerd.
• Token Mixer: De MHA-block wordt geïmplementeerd met behulp van een systolic array voor matrixvermenigvuldigingen, die interfaceert met de LUT-gebaseerde channel mixer PE.

Belangrijkste Bijdragen

1. Nieuwe Architectuur: Voorstel van een leerbare LUT-gebaseerde channel-mixer block die naadloos integreert in Vision Transformers door de rekenintensieve MLP-lagen te vervangen.
2. Edge-Geoptimaliseerd Model: Ontwikkeling van een edge-geoptimaliseerde ViT (LL-ViT) die self-attention token mixing combineert met multiplication-free channel mixing, wat de computationele vraag en het geheugengebruik aanzienlijk vermindert.
3. Hardware Co-Design: Ontwerp van een laag-vermogen FPGA accelerator die off-chip gewichtsverplaatsing vermijdt en gebruikmaakt van de natuurlijke LUT-resources van FPGA's voor de channel mixer.
4. Prestaties op Complexe Taken: Uitbreiding van LUT-gebaseerde neurale netwerken van kleinschalige datasets naar complexe computer vision taken (CIFAR-10/100, TinyImageNet) binnen een ViT-backbone, waarbij wordt aangetoond dat LUT-neuronen positionele invariantie en complexe feature interacties kunnen leren.

Experimentele Resultaten

De auteurs evalueerden LL-ViT op een AMD Xilinx Virtex FPGA (xcvu9p) tegenover een volledig gekwantiseerde (INT8) baseline (I-ViT-T) en andere eerdere werken.

• Nauwkeurigheid: LL-ViT bereikt nauwkeurigheden die vergelijkbaar zijn met de baseline:
  • CIFAR-10: 95.5% (vs. 95.4% baseline)
  • CIFAR-100: 78.8% (vs. 79.2% baseline)
  • TinyImageNet: 60.9% (vs. 60.4% baseline)
  • Flowers-102: 91.6% (vs. 91.3% baseline)
• Model Grootte & Compute:
  • 60% reductie in modelgewichten (1.93 MB vs. 5.06 MB).
  • >50% reductie in MAC-operaties (0.65 GMACs vs. 1.31 GMACs).
  • De gereduceerde grootte maakt het mogelijk dat het volledige model binnen het on-chip geheugen past.
• Efficiëntie:
  • 1.9× verbetering in energie-efficiëntie (2.14 mJ/inferentie vs. 4.05 mJ voor baseline).
  • 1.3× lagere latentie (5.33 ms vs. 6.93 ms).
  • Doorvoer: Bereikt 1083 FPS bij een vermogensbudget van 10.9W.
• Vergelijking: LL-ViT presteert beter dan eerdere LUT-gebaseerde werken (bijv. TreeLUT, DiffLogicNet) die aanzienlijk lagere nauwkeurigheden rapporteren (40–80% op CIFAR-10) en demonstreert superieure efficiëntie vergeleken met andere ViT-accelerators (bijv. HG-PIPE, ViTA) tegen een fractie van het vermogen.

Betekenis en Claims

Het artikel claimt dat LL-ViT een belangrijke stap voorwaarts vertegenwoordigt om Vision Transformers levensvatbaar te maken voor edge-deployment. Door de MLP-lagen — de primaire bron van geheugen- en compute-overhead — te targeten met leerbare LUT-neuronen, demonstreren de auteurs dat het mogelijk is om:

1. De modelgrootte en het energieverbruik drastisch te verminderen zonder de nauwkeurigheid op standaard vision benchmarks op te offeren.
2. FPGA-resources volledig te benutten door neurale berekeningen direct naar LUT slices te mappen, waardoor de noodzaak voor off-chip geheugentoegang wordt geëlimineerd en de afhankelijkheid van energieverslindende DSP's wordt verminderd.
3. De kloof te overbruggen tussen efficiënte LUT-gebaseerde neurale netwerken en complexe transformer-architecturen, waarmee wordt bewezen dat LUT-neuronen getraind kunnen worden om de complexiteit van visuele taken aan te kunnen die voorheen waren voorbehouden aan dense, multiplication-heavy netwerken.

De auteurs positioneren LL-ViT als een "veelbelovend lichtgewicht alternatief" voor traditionele ViTs, wat de weg vrijmaakt voor "tiny ViTs" die kunnen worden ingezet op hulpbron-beperkte, op batterijen werkende edge-apparaten. Zij merken op dat hoewel de techniek op een kleine ViT-baseline is gedemonstreerd, de structurele voordelen naar verwachting schaalbaar zijn naar grotere varianten.