🤖 AI

DeVIT: Low-Power Vision Transformer Acceleration Using Delta Computation

Dit artikel introduceert DeVIT, een energiezuinige versnellingmethode voor Vision Transformers die waarde-lokaliteit in gekwantiseerde modellen exploiteert om vermenigvuldigingsloze matrixvermenigvuldiging mogelijk te maken door middel van differentiële berekening.

Oorspronkelijke auteurs: Reyhaneh Hosseinzadeh, Parham Zilouchian Moghaddam, Mehdi Modarressi

Gepubliceerd 2026-08-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Reyhaneh Hosseinzadeh, Parham Zilouchian Moghaddam, Mehdi Modarressi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren om plaatjes te herkennen, zoals het spotten van een kat in een boom of een auto op een straat. Om dit te doen, gebruiken we speciale hersenachtige computerprogramma's die "Vision Transformers" worden genoemd. Deze programma's zijn ongelooflijk krachtig, maar ook enorme, hongerige beesten. Ze moeten miljarden kleine wiskundige berekeningen uitvoeren elke keer dat ze naar een foto kijken, en ze verslinden enorme hoeveelheden geheugen en batterijkracht. Vanwege dit probleem is het erg moeilijk om ze op kleine apparaten zoals telefoons of drones te plaatsen zonder dat ze oververhit raken of de energie opraken.

Om deze hongerige beesten te temmen, hebben wetenschappers geprobeerd de wiskunde simpeler te maken. Een populaire truc is "quantization" (kwantisatie), wat zoiets is als het afronden van de getallen die de robot gebruikt. In plaats van zeer precieze decimalen te gebruiken, gebruikt de robot slechts een beperkte set gehele getallen, zoals 0, 1, 2, tot en met 255. Dit bespaart ruimte, maar het stopt de robot er niet van om nog steeds miljarden vermenigvuldigingen uit te voeren. Echter, door deze afronding zit er een verborgen bonus aan: omdat de robot gedwongen wordt om slechts een beperkt aantal specifieke getallen te gebruiken, eindigt hij vaak met het steeds opnieuw gebruiken van dezelfde getallen. Het is alsof een chef-kok slechts vijf ingrediënten heeft; de kok zou steeds weer hetzelfde kruidenpotje gebruiken. De grote vraag is: kunnen we een robot bouwen die opmerkt dat hij op het punt staat om hetzelfde kruid weer te gebruiken en dan de arbeid overslaat, om zo energie te besparen?

Dit is precies waar de onderzoekers achter DeVIT (Delta-coded Vision Transformer) zich op wilden richten. Ze realiseerden zich dat omdat deze "Vision Transformers" gedwongen worden om een beperkt aantal getallen te gebruiken, de gewichten (de getallen die de robot vertellen waar hij naar moet kijken) vaak vlak naast elkaar liggen in waarde. Bijvoorbeeld, als de robot een getal moet vermenigvuldigen met 5, dan met 6, en daarna met 7, hoeft hij niet drie aparte, zware berekeningen uit te voeren. Hij kan eerst de eerste berekening doen, en dan een klein beetje optellen voor de volgende, en weer een klein beetje optellen voor de volgende.

Het DeVIT-team heeft een slimme manier uitgevonden om deze getallen te organiseren, zodat de robot deze "een beetje optellen"-truc kan gebruiken in plaats van volledige, zware vermenigvuldigingen. Ze sorteren de getallen in een lijn van klein naar groot en slaan alleen het verschil tussen hen op (de "delta"). Als het verschil klein is, kan de robot het getal simpelweg "verschuiven" (wat vergelijkbaar is met vermenigvuldigen met 2 of 4) en het optellen, in plaats van een complexe vermenigvuldiging uit te voeren. Als het verschil nul is (wat betekent dat het getal hetzelfde is als de vorige), hoeft de robot helemaal niets te doen—hij hergebruikt gewoon het vorige antwoord.

Door deze methode te gebruiken, lieten de onderzoekers zien dat ze de hoeveelheid wiskunde die de robot moet doen, konden terugbrengen naar slechts 0,53 van wat een niet-geoptimaliseerde versie nodig zou hebben. Dat betekent dat de robot minder dan de helft van het werk doet! In hun tests gebruikte dit nieuwe ontwerp 159,57 nJ (nanojoules) aan energie voor één belangrijke berekeningsstap. Dit is ongeveer 5,5% minder energie dan de beste bestaande "shift-and-add"-methoden waarmee ze het vergeleken.

Er is echter een addertje onder het gras. Om dit te laten werken, moesten de onderzoekers de getallen sorteren en extra informatie opslaan over waar ze thuishoren, wat een beetje extra geheugenruimte inneemt. Ook is er een kleine afruil wat betreft de nauwkeurigheid, omdat ze de verschillen benaderen. In hun experimenten met verschillende modellen daalde de nauwkeurigheid met een kleine hoeveelheid—soms tot wel 3,11 procentpunten voor beeldclassificatie of 2,53 mAP-punten voor objectdetectie. Hoewel dit een kleine prijs is voor een enorme energiebesparing, betekent het dat de methode nog niet voor elke situatie perfect is.

Kortom, DeVIT is als het geven van een referentielijst aan de robot. In plaats van telkens de wiskundige problemen vanaf nul opnieuw te berekenen, kijkt hij naar zijn gesorteerde lijst met getallen, ziet dat het volgende getal slechts een kleine stap verwijderd is, en neemt een kortere route. Dit maakt de robot sneller en veel energie-efficiënter, wat ons een stap dichter bij krachtige AI brengt die op alledaagse apparaten kan draaien zonder de batterij leeg te trekken.

Technische Samenvatting: DeVIT – Low-Power Vision Transformer Acceleratie via Delta-berekening

Probleemstelling
Vision Transformers (ViTs) hebben state-of-the-art prestaties bereikt in computer vision door gebruik te maken van self-attention om langetermijnafhankelijkheden te modelleren. De implementatie ervan op middelen-beperkte apparaten wordt echter gehinderd door substantiële computationele en geheugeneisen. In tegenstelling tot Convolutional Neural Networks (CNN's) vertonen ViTs een kwadratische complexiteit in sequentielengte voor self-attention, wat leidt tot enorme multiply-accumulate (MAC) belastingen. Bijvoorbeeld, een ViT-B/16 model vereist 17,6 miljard MACs voor één enkele 224×224 afbeelding, wat aanzienlijk meer is dan de 4,1 miljard MACs die nodig zijn voor ResNet-50. Hoewel kwantisatie (bijv. 8-bit) een standaardmethode is om de modelgrootte en complexiteit te verminderen, introduceert het een secundaire eigenschap: waarde-lokaliteit. In matrices met een lage bitbreedte zijn gewichten beperkt tot een beperkt bereik van discrete waarden, waardoor veel gewichten binnen een rij identiek of zeer dicht bij elkaar in waarde zijn. Bestaande hardware-accelerators slagen er vaak niet in om deze lokaliteit volledig uit te buiten om redundante vermenigvigingen te elimineren, met name in de dichte lineaire lagen (projecties en Feed-Forward Networks) die de ViT-berekening domineren.

Methodologie: DeVIT
Het artikel stelt DeVIT (Delta-coded Vision Transformer) voor, een acceleratiemethode die differentiele berekening gebruikt om dure vermenigvuldigingen te vervangen door shift-and-add operaties. De kernmethodologie omvat drie belangrijke stappen:

Gewichtssortering en Delta-codering:
In plaats van absolute gewichtswaarden op te slaan, sorteert DeVIT de gewichten binnen elke rij van de gewichtsmatrix in oplopende volgorde. Vervolgens slaat het de verschillen ( $\Delta W$ ) tussen opeenvolgende gesorteerde gewichten op in plaats van de gewichten zelf.
- Delta-berekening: De vermenigvuldiging van een input-element $a$ met een gesorteerd gewicht $W_2$ wordt berekend als $a \times W_2 = (a \times W_1) + (a \times \Delta W)$ , waarbij $W_1$ het voorgaande gewicht is.
- Shift-and-Add: Vanwege de waarde-lokaliteit zijn $\Delta W$ -waarden doorgaans klein (vaak 0, 1 of 2). Deze kleine verschillen worden benaderd als machten van twee, waardoor de vermenigvuldiging $a \times \Delta W$ kan worden vervangen door een eenvoudige bit-shift operatie.
- Zero Delta Skipping: Wanneer opeenvolgende gewichten identiek zijn, is $\Delta W = 0$ . Het systeem slaat de berekening voor deze instanties over en hergebruikt het vorige gedeeltelijke product, waardoor operaties voor redundante gewichten effectief worden geëlimineerd.
Input-Stationaire Dataflow:
Om het hergebruik van vermenigvuldigingsresultaten mogelijk te maken, hanteert DeVIT een input-stationaire executievolgorde. Input-elementen worden sequentieel opgehaald en hergebruikt voor alle vereiste berekeningen voor een specifieke rij gewichten. Dit zorgt ervoor dat een enkel input-operand wordt vermenigvuldigd met een reeks gesorteerde gewichten, wat de differentiële aanpak haalbaar maakt.
Partitioneringsstrategie:
Om bufferomvang en energieverbruik te beheren, worden de gewichtsmatrices gepartitioneerd in kleinere blokken (bijv. 64 of 16 elementen) voordat ze worden gesorteerd en gecodeerd.
- Trade-offs: Kleinere partities verminderen de opslag die nodig is voor bestemming-indices en output-buffers, maar verhogen lichtjes de magnitude van de deltas (waardoor de frequentie van nul/kleine deltas afneemt).
- Index-codering: Elke delta wordt gekoppeld aan een index die de oorspronkelijke kolompositie aangeeft om de correcte outputvolgorde te herstellen. De codering gebruikt een 4-bit delta-code (teken + 3-bit magnitude voor machten van twee) en een variabele breedte-index afhankelijk van de partitiegrootte.

Belangrijkste Bijdragen

Delta-gebaseerde Acceleratie voor ViTs: DeVIT is de eerste architectuur die differentiele berekening (voorheen verkend in CNN's zoals $\Delta$ NN) specif으로 aanpast aan de dichte, token-gebaseerde dataflow van Vision Transformers.
Multiplier-loze Matrixvermenigvuldiging: Door gewichtsmatrices te transformeren naar delta-gecodeerde formaten, zet de aanpak de dominante GEMM (General Matrix Multiply) operaties in ViTs om in basis shift-and-add processen, wat de hardwarecomplexiteit aanzienlijk vermindert.
Systeembewuste Optimalisatie: Het artikel introduceert een specifieke dataflow, partitioneringsstrategie en index-beheerschema die op maat zijn gemaakt voor de dichte projectie- en feed-forward lagen van ViTs, wat het onderscheidt van eerder werk dat zich richtte op sparsity of aandachtsmecanismen.
Hardware Implementatie: De auteurs presenteren een RTL-ontwerp dat is gesynthetiseerd in een 15 nm technologieproces, wat de praktische haalbaarheid van de aanpak aantoont.

Experimentele Resultaten
De auteurs evalueerden DeVIT op verschillende benchmarks, waaronder ViT-B/16, DeiT, Swin Transformer en DETR-ResNet-50, met behulp van 8-bit gekwantiseerde gewichten.

Computationele Last: DeVIT vermindert de genormaliseerde computationele last naar 0,53 van een niet-geoptimaliseerde baseline. Dit is lager dan de FACT methoden met respectievelijk attention-skip (0,70) en FC1-skip (0,61) configuraties, maar iets hoger dan de meest agressieve FC2-skip (0,47) van FACT.
Energie-efficiëntie: De gemeten single-GEMM energie voor DeVIT is 159,57 nJ. Dit is ongeveer 5,5% lager dan de laagste-energie ShiftAddLLM configuratie (168,84 nJ) die in de vergelijking is opgenomen.
Nauwkeurigheid: De methode behoudt een hoge nauwkeurigheid met minimale degradatie. Bijvoorbeeld, de ViT-B/16 Top-1 nauwkeurigheid daalt van 83,71% (FP32) naar 83,48% (DeVIT $\Delta$ -64). De grootste geobserveerde daling in nauwkeurigheid was 3,11 procentpunt voor Swin Top-1 en 2,53 mAP punten voor DETR in de 32-elementen partitie configuratie.

Betekenis en Claims
Het artikel claimt dat DeVIT de praktische inzetbaarheid van transformer-modellen voor beeldverwerkingstaken op een breder scala aan apparaten aanzienlijk verbetert door zowel de computationele last als het energieverbruik te verminderen tot voorbij wat met louter kwantisatie haalbaar is. Door gebruik te maken van waarde-lokaliteit via differentiele berekening, vereenvoudigt DeVIT de essentiële matrixvermenigvuldigingsoperaties in transformer-lagen tot shift-and-add processen zonder dat complexe dynamische scheduling of per-input voorspelling nodig is. De auteurs positioneren DeVIT als een complementaire, systeembewuste optimalisatie die zich richt op de dichte lineaire lagen — de primaire bottleneck in ViTs — en biedt een gebalanceerde trade-off tussen hardware-efficiëntie, geheugengebruik en modelnauwkeurigheid.

Meer zoals dit