💻 computer science

FTerViT: Fully Ternary Vision Transformer

Dit artikel introduceert FTerViT, een volledig ternair Vision Transformer dat alle gewichten en normalisatieparameters kwantiseert om aanzienlijke geheugencompressie te bereiken en efficiënte implementatie op apparaten op microcontrollers mogelijk te maken, terwijl er een concurrerende ImageNet-1K-accuraatheid wordt behouden.

Oorspronkelijke auteurs: Szymon Ruciński, Pietro Bonazzi, Engin Türetken, Simon Narduzzi, Michele Magno, Nadim Maamari

Gepubliceerd 2026-05-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Szymon Ruciński, Pietro Bonazzi, Engin Türetken, Simon Narduzzi, Michele Magno, Nadim Maamari

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een briljante, hoogopgeleide bibliothecaris (de Vision Transformer of ViT) voor die naar een afbeelding kan kijken en je precies kan vertellen wat het is. Deze bibliothecaris is ongelooflijk slim, maar draagt een enorme bibliotheek van boeken in zijn hoofd. Als je probeert deze bibliothecaris in een tiny rugzak te stoppen (een microcontroller zoals die in een smartwatch of een goedkope camera), scheurt de rugzak open omdat de boeken te zwaar zijn en te veel ruimte innemen.

Meestal proberen ingenieurs, om een slimme AI in een klein apparaat te passen, de boeken te verkleinen. Ze zetten de tekst misschien om in een kortere code, maar ze laten vaak de belangrijkste, delicate pagina's (zoals de kaft, de inhoudsopgave en de samenvatting) in hun originele, omvangrijke formaat achter. Het artikel stelt dat dit vergelijkbaar is met het proberen een zware encyclopedie in een zak te proppen door alleen de middelste hoofdstukken te verkleinen; de kaft en de inhoudsopgave wegen nog steeds te veel.

Hier is wat de auteurs van FTerViT deden om dit op te lossen:

1. De "Drie-Kleuren" Woordenlijst

In plaats van complexe getallen (zoals 3,14159...) te gebruiken om informatie op te slaan, dwongen de auteurs de AI om slechts drie simpele symbolen te gebruiken: -1, 0 en +1.

Denk hierbij aan een woordenlijst waar elk woord wordt vervangen door een rode, groene of blauwe stip.
Door alleen deze drie opties te gebruiken, kunnen ze de informatie ongelooflijk strak inpakken. Het is als het vouwen van een gigantische kaart tot een klein vierkantje.
Ze noemen dit Ternair (wat "drie" betekent).

2. De "Kwetsbare" Delen

Eerdere pogingen om deze AI-modellen te verkleinen bleven steken. Ze verkleinden het hoofdherken (de "encoder"), maar lieten de Patch Embedding (hoe de AI de eerste glimp van de afbeelding ziet), de LayerNorm (hoe de AI zijn gedachten in evenwicht brengt) en de Classificator (de uiteindelijke besluitvormer) achter in hun zware, volledige formaat.

De auteurs realiseerden zich dat deze overgebleven zware delen op een klein apparaat eigenlijk de meeste ruimte innemen, zelfs al zijn ze klein in aantal.
FTerViT is de eerste die alles verkleint, inclusief deze kwetsbare delen, naar het simpele -1, 0, +1-formaat.

3. De "Leraar en Leerling" Truc

Het verkleinen van een gigantisch brein tot een klein brein zorgt er meestal voor dat het vergeet hoe het moet denken, waardoor het domme fouten maakt. Om dit op te lossen, gebruikten de auteurs een techniek genaamd Kennisdistillatie.

Stel je een Meesterkok (de originele, zware AI) voor die een Jonge Kok (de kleine, verkleinde AI) leert.
In plaats van de Jonge Kok alleen te vertellen "Dit is een kat", laat de Meesterkok zien hoe hij de kat ziet. "Kijk naar de oren, de snorharen, de vorm."
De Jonge Kok leert door het denkproces van de Meester na te bootsen, niet alleen het uiteindelijke antwoord. Hierdoor bleef de kleine AI slim, zelfs nadat hij tot zijn absolute kleinste formaat was verkleind.

4. Het Resultaat: Een Slimme AI in een $10 Camera

De auteurs testten dit op een zeer goedkope, veelvoorkomende microcontroller-chip genaamd de ESP32-S3 (te vinden in apparaten die ongeveer $10 kosten).

Voorheen: De originele AI was 88,3 MB. Hij was te groot om zelfs maar op de chip te passen.
Na: Hun nieuwe FTerViT-model is slechts 5,81 MB. Hij past perfect.
Prestaties: Hoewel hij klein is, is hij nog steeds erg slim. Hij identificeert afbeeldingen correct in ongeveer 79,6% van de gevallen. Dit is veel beter dan eerdere pogingen om AI te verkleinen, die vaak daalden tot 74% of lager.

5. Waarom Dit Belangrijk Is voor Je Zak

Het artikel toont aan dat je geen supercomputer nodig hebt om slimme visie uit te voeren. Je kunt het uitvoeren op een apparaat met 8 MB aan geheugen (ongeveer de grootte van een klein tekstbestand).

Snelheid: Omdat de data zo klein is, hoeft het apparaat niet zo hard te werken om informatie op te halen. Het werkt sneller en verbruikt minder batterij.
Efficiëntie: De auteurs bouwden een aangepaste "motor" (software) die deze kleine AI volledig op de chip uitvoert, zonder dat er verbinding nodig is met het internet of een cloudserver.

Samenvattend: Het artikel introduceert een manier om de meest geavanceerde AI-modellen voor beeldherkenning te verkleinen tot de grootte van een klein steentje, waardoor ze kunnen draaien op goedkope, batterij-aangedreven apparaten die eerder te zwak waren om ze te verwerken. Ze deden dit door de wiskunde te vereenvoudigen tot slechts drie getallen en het gebruik van een "leraar" om het kleine model te leren hoe het correct moet denken.

Technische Samenvatting: FTerViT: Fully Ternary Vision Transformer

Probleemstelling

Vision Transformers (ViTs) zijn krachtige beeldclassificatoren, maar zijn over het algemeen niet geschikt voor microcontroller-klasse apparaten vanwege hun aanzienlijke geheugenbehoefte. Een standaard compacte ViT zoals DeiT-Small vereist ongeveer 88,3 MB in FP32-precisie, terwijl typische microcontroller-eenheden (MCU's) slechts enkele megabytes extern RAM bieden. Deze discrepantie verhindert de implementatie van altijd-aan, laagvermogen visuele toepassingen op randapparaten zonder cloud-uitbesteding.

Hoewel ternaire kwantisatie (het beperken van gewichten tot $\{-1, 0, +1\}$ ) een theoretische compressie van 16 $\times$ biedt ten opzichte van FP32, ternariseren bestaande state-of-the-art methoden alleen de transformer-encoderlagen. Ze behouden de patch-embedding, LayerNorm-parameters en classifier-koppen in volledige precisie (FP32) of lagere-bit gehele getallen (INT8). In compacte modellen worden deze resterende componenten in volledige precisie de dominante bottleneck, waarbij ze tot 38% van de modelgrootte in beslag nemen, ondanks dat ze slechts een klein percentage van de parameters vertegenwoordigen. Bovendien leidden eerdere pogingen om deze gevoelige componenten volledig te ternariseren (bijvoorbeeld TerViT) tot aanzienlijke nauwkeurigheidsdalingen (tot 22,4 procentpunten), grotendeels vanwege de bekende gevoeligheid van de eerste en laatste lagen voor kwantisatie.

Methodologie

De auteurs stellen FTerViT voor, de eerste volledig ternaire Vision Transformer waarbij alle gewichtsmatrices en normalisatieparameters zijn beperkt tot $\{-1, 0, +1\}$ . De aanpak bestaat uit twee hoofdpilaren: nieuwe ternaire operatoren en een gespecialiseerd trainingsprotocol.

1. Ternaire Primitieven

Om FP32-bottlenecks te elimineren, vervangen de auteurs standaardcomponenten door dedicated ternaire modules:

TernaryBitLinear: Wordt gebruikt voor volledig verbonden lagen. Het kwantiseert gewichten naar $\{-1, 0, +1\}$ met behulp van per-tensor absolute gemiddelde ($absmean$) schaling en afgeronde afronding. Activaties worden gekwantiseerd naar 8-bit gehele getallen met behulp van per-token absolute maximumschaling.
TernaryBitConv2d: Specifiek ontworpen voor de patch-embedding-laag. Het past per-kanaal schaling toe om heterogene filtergroottes te verwerken, waarmee de gevoeligheid van de patch-embedding-laag wordt aangepakt, welke door eerdere werken is geïdentificeerd als de meest kritieke component.
TernaryLayerNorm: Ternariseert de leerbare affiene parameters ( $\gamma$ en $\beta$ ) van LayerNorm met behulp van hetzelfde $absmean$-schema. Per-token statistieken (gemiddelde en variantie) en biaswaarden blijven in FP32 omdat hun aantal parameters verwaarloosbaar is, maar hun ternarisatie zou positionele informatie vernietigen.

2. Trainingsprotocol

Het model wordt getraind met behulp van een tweefasige Kennisdistillatie (KD)-strategie:

Fase 1 (Training): De ternaire student wordt geïnitieerd vanuit een vooraf getrainde FP32-leraar en getraind met Quantization-Aware Distillation (QAD) met een leersnelheid van $10^{-4}$ (cosine decay) gedurende 250 epochen. De verliesfunctie maakt gebruik van alleen de forward-KL-divergentieterm tussen de logits van student en leraar, en vermijdt cross-entropy, wat kan conflicteren met KL in low-bit netwerken.
Fase 2 (Herstel): Een lichtgewicht fijnafstelfase waarbij de leersnelheid wordt herstart op $10^{-5}$ (cosine decay) gedurende 10 epochen. Deze fase maakt het mogelijk om schalen te kalibreren en nauwkeurigheid te herstellen die verloren is gegaan tijdens de initiële verzadiging van Fase 1.

Belangrijkste Bijdragen

Eerste Volledig Ternaire ViT: De auteurs tonen aan dat de meest fragiele componenten van ViTs (patch-embedding, LayerNorms en classifier-kop) succesvol kunnen worden ternariseerd naar $\{-1, 0, +1\}$ wanneer ze worden getraind met kennisdistillatie, waardoor de grenzen worden verlegd van wat voorheen als kwantiseerbaar werd beschouwd.
Nieuwe Operatoren: Introductie van TernaryBitConv2d met per-kanaal schaling en TernaryLayerNorm om de specifieke gevoeligheid van niet-encoderlagen te behandelen.
Trainingsstrategie: Een eenvoudige maar effectieve twee-fasen trainingsstrategie (training met hoge LR gevolgd door herstel met lage LR) die snellere convergentie en aanzienlijk hogere uiteindelijke nauwkeurigheid mogelijk maakt in vergelijking met eerdere ternaire ViT-benaderingen.
Implementatie op Apparaat: De eerste zelfstandige C-implementatie van een ternaire Vision Transformer op een resource-beperkte dual-core ESP32-S3 microcontroller (8 MB PSRAM).

Experimentele Resultaten

De methode werd geëvalueerd op ImageNet-1K en andere benchmarks:

Nauwkeurigheid en Compressie:
- FTerViT-DeiT-III-S (384 $\times$ 384): Bereikt 82,43% top-1 nauwkeurigheid bij 6,09 MB (14,6 $\times$ compressie), met slechts een verlies van 2,42 procentpunten ten opzichte van zijn FP32-leraar. Dit presteert beter dan eerdere ternaire ViT-methoden (bijvoorbeeld TerViT) met tot 8 procentpunten.
- FTerViT-DeiT-III-S (224 $\times$ 224): Bereikt 79,64% top-1 bij 5,81 MB.
- FTerViT-DeiT-S (224 $\times$ 224): Bereikt 77,47% top-1 bij 5,81 MB, en overtreft TerViT-DeiT-S met 3,27 procentpunten.
- CIFAR-benchmarks: DeiT-Tiny-varianten bereiken 97,43% (CIFAR-10) en 86,01% (CIFAR-100) met slechts 1,53 MB opslagruimte.
Analyse van Componentgevoeligheid:
- Taylor eerste-orde en Hessian-trace-analyses bevestigen dat LayerNorms en patch-embeddings de modelbelangrijkheid domineren (respectievelijk 34–39% en 4,6%) ondanks dat ze <0,2% van de parameters in beslag nemen. Dit verklaart waarom eerdere methoden ze in hogere precisie lieten en waarom hun succesvolle ternarisatie cruciaal is.
Implementatie op Apparaat (ESP32-S3):
- Het 5,81 MB model past volledig in de 8 MB PSRAM van de ESP32-S3, met ongeveer 4,5 MB vrij voor camera- en LCD-buffers.
- Prestaties: Een forward pass duurt 21,06 seconden.
- Efficiëntie: In vergelijking met FP32 is de ingepakte 2-bit ternaire inferentie 1,71 $\times$ sneller (804 ms versus 1376 ms voor een specifieke laag) en verlaagt het energieverbruik boven idle met 55% (59 mJ versus 130 mJ).

Betekenis

Het artikel beweert dat FTerViT de kloof tussen standaard ViT-nauwkeurigheid en de strikte geheugenbeperkingen van microcontroller-schaal implementatie aanzienlijk verkleint. Door de volledige architectuur succesvol te ternariseren, inclusief de eerder "onaantastbare" patch-embeddings en normalisatielagen, stellen de auteurs de implementatie van nauwkeurige visiemodellen op commodity, goedkope ($10) MCU's mogelijk. Het werk valideert dat met de juiste trainingsstrategie (kennisdistillatie binnen dezelfde architectuur en twee-fasen herstel) de gevoeligheid van deze componenten kan worden beheerd, waardoor volledig ternaire ViTs een praktische realiteit worden voor edge AI. De auteurs merken op dat de nauwkeurigheidskloof met FP32 omgekeerd evenredig is met de modelcapaciteit, waarbij grotere modellen (DeiT-III-S384) minder relatief nauwkeurigheidsverlies lijden dan kleinere modellen.