🤖 AI

I-Segmenter: Integer-Only Vision Transformer for Efficient Semantic Segmentation

Het artikel introduceert I-Segmenter, het eerste volledig op gehele getallen gebaseerde Vision Transformer-framework voor semantische segmentatie dat innovatieve technieken zoals $\lambda$ -ShiftGELU en decoderecties die uitsluitend op gehele getallen werken gebruikt om significante reducties in modelgrootte en inferentielatentie te bereiken, terwijl een concurrerende nauwkeurigheid behouden blijft, zelfs onder extreme one-shot post-training kwantisatie.

Oorspronkelijke auteurs: Jordan Sassoon, Michal Szczepanski, Martyna Poreba

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jordan Sassoon, Michal Szczepanski, Martyna Poreba

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, hoogwaardige chef bent (een Vision Transformer) die een foto kan bekijken en elk object erin met perfect detail kan beschrijven. Deze chef is geweldig in "semantische segmentatie"—in feite het tekenen van een perfecte omtrek rond elke auto, boom en persoon in een afbeelding.

Echter, deze chef heeft twee grote problemen:

Hij is een glutton (een vraatzuchtige): Hij heeft een enorme keuken nodig (enorm geheugen) en veel energie om te koken.
Hij is te chique: Hij kent alleen maar precisie, vloeibare metingen (kommagetallen/floating-point getallen). Als je hem eenvoudige, hele getallen geeft (integers), raakt hij in de war, laat hij ingrediënten vallen en verpest hij het gerecht.

Het paper introduceert I-Segmenter, een nieuwe manier om deze chef te trainen om in een piepkleine, door middelen beperkte keuken te werken (zoals een smartphone of een kleine robot) zonder zijn kookvaardigheden te verliezen.

Hier is hoe ze het hebben gedaan, uitgelegd via eenvoudige analogieën:

1. De "Integer-Only" Keuken

De meeste AI-modellen spreken "Floating-Point" (zoals 3,14159...). Dit is precies, maar zwaar. Het paper wilde het model dwingen om alleen "Integers" te spreken (hele getallen zoals 1, 2, 3).

Het Probleem: Wanneer je een complex recept in hele getallen probeert te dwingen, treden er kleine fouten op. In een normale keuken is een kleine fout niet erg. Maar in een Vision Transformer stapelen deze kleine fouten zich op als een sneeuwbal die een heuvel afrolt, wat uiteindelijk de uiteindelijke afbeelding vernietigt.
De Oplossing: De auteurs hebben de hele "keuken" (de architectuur van het model) opnieuw opgebouwd, zodat elke stap—mengen, hakken, verhitten—alleen maar hele getallen gebruikt. Ze hebben zelfs de manier veranderd waarop het model zijn "recepten" (gewichten) opslaat, zodat ze minder ruimte innemen.

2. De "Magische Kruiden" (λ-ShiftGELU)

De grootste boosdoener in de keuken was een specifieke specerij genaamd GELU. In het originele model heeft deze specerij een vreemde vorm: het grootste deel is een klein snufje, maar af en toe is er een enorme, zeldzame brok (een "long-tailed" distributie).

De Oude Manier: Wanneer je probeert deze specerij te meten met een simpel liniaal (uniforme kwantisatie), mis je ofwel het kleine snufje, of je verplettert de grote brok. De smaak raakt verpest.
De Nieuwe Manier: De auteurs hebben een nieuw hulpmiddel uitgevonden genaamd λ-ShiftGELU. Denk aan dit als een speciale, verstelbare meetbeker. Het rekt de liniaal uit om zowel de kleine snufjes als de enorme brokken aan te kunnen zonder te breken. Dit stelde het model in staat om accuraat te blijven, zelfs wanneer het gedwongen werd om eenvoudige hele getallen te gebruiken.

3. Het Vereenvoudigen van het "Opmaken van de Borden" (Decoder Veranderingen)

Nadat de chef het eten heeft gekookt, moet hij het bord perfect opmaken om overeen te komen met de originele foto. Het originele model gebruikte chique, vloeibare instrumenten om de randen te verzachten (bilineaire interpolatie) en een complexe schaal om het bord in balans te houden (L2-normalisatie).

De Verandering: De auteurs hebben deze vervangen door eenvoudigere instrumenten. In plaats van vloeibare verzachting gebruikten ze Nearest-Neighbor, wat is als het maken van een foto naar het dichtstbijzijnde roosterpunt. Het is blokkeriger, maar werkt perfect met hele getallen. Ze hebben ook de complexe schaal volledig verwijderd.
De Afweging: De randen van de afbeelding zijn iets "karteliger" (zoals een gepixelde afbeelding), maar het model draait veel sneller en gebruikt veel minder geheugen, waardoor het de moeite waard is.

4. De Resultaten: Snel, Klein en Verrassend Goed

Het paper testte deze nieuwe "I-Segmenter" op twee grote datasets (ADE20K en Cityscapes). Dit is wat ze ontdekten:

Grootte: Het model werd 3,8 keer kleiner. Het is alsof je een koffer inkrimpt tot de grootte van een handbagagekoffer.
Snelheid: Het draait tot wel 1,2 keer sneller op geoptimaliseerde hardware.
Nauwkeurigheid: Ondanks dat ze het model dwongen om eenvoudige wiskunde te gebruiken, verloor het slechts ongeveer 5% van zijn nauwkeurigheid vergeleken met het superprecieze origineel. Dat is een kleine prijs om te betalen voor het feit dat het op een klein apparaat kan draaien.
Het "One-Shot" Wonder: Normaal gesproken heb je honderden voorbeelden nodig om een model te leren met eenvoudige wiskunde te werken om het te kalibreren. De auteurs ontdekten dat ze met hun nieuwe "Magische Kruiden" het model konden kalibreren met slechts één enkele afbeelding en nog steeds geweldige resultaten behaalden.

Samenvatting

Het paper zei niet alleen "we hebben het kleiner gemaakt." Ze bouwden een volledig nieuw systeem (I-Segmenter) dat de taal van eenvoudige, hele getallen spreeelt. Ze fixten de "pittige" delen van de wiskunde die normaal gesproken breken bij vereenvoudiging, en ze vervingen de chique keukeninstrumenten voor robuuste, integer-vriendelijke gereedschappen.

Het resultaat is een Vision Transformer die eindelijk kan draaien op de kleine, batterijgestuurde apparaten die we dagelijks gebruiken, zonder dat er een supercomputer in de cloud nodig is.

Technische Samenvatting: I-Segmenter: Integer-only Vision Transformer voor Efficiënte Semantische Segmentatie

Probleemstelling

Vision Transformers (ViTs) hebben state-of-the-art resultaten bereikt in semantische segmentatie, maar kampen met aanzienlijke barrières voor implementatie op hulpbron-beperkte edge-apparaten vanwege een hoge geheugenvoetafdruk en computationele kosten. Hoewel kwantisatie een weg naar efficiëntie biedt, zijn ViT-gebaseerde segmentatiemodellen berucht fragiel onder precisiebeperkingen met lage precisie. In tegenstelling tot beeldclassificatie vereist semantische segmentatie dichte pixel-niveau voorspellingen, waardoor kwantisatiefouten zich ophopen door diepe encoder-decoder pipelines.

Specifieke uitdagingen zijn onder meer:

Niet-lineaire Gevoeligheid: Operaties zoals Softmax en GELU zijn zeer gevoelig voor precisieverlies. Kleine fouten in logits kunnen leiden tot grote verschuivingen in attention-gewichten, en de langgestrekte activatieverdelingen van GELU worden slecht afgehandeld door uniforme kwantisatie.
Decoder Complexiteit: De toevoeging van decoder-koppen die betrokken zijn bij multi-schaal aggregatie en interpolatie (bijv. bilineaire upsampling) versterkt de fouten die vanuit de backbone worden gepropageerd verder.
Operator Heterogeniteit: ViTs bevatten diverse operatoren (Linear, MatMul, LayerNorm, GELU, Softmax) met verschillende distributionele vormen, wat een uniforme integer-only strategie moeilijk maakt.
Bestaande Beperkingen: Huidige kwantisatiemethoden vertrouwen vaak op mixed-precision fallbacks (FP32) voor kritieke operaties of falen om nauwkeurigheid te behouden in Post-Training Quantization (PTQ) settings, vooral met minimale kalibratiedata.

Methodologie

De auteurs introduceren I-Segmenter, het eerste volledig integer-only ViT segmentatieframework. Gebouwd op de Segmenter architectuur, vervangt de methode systematisch alle floating-point (FP32) operaties door integer-only tegenhangers om end-to-end integer executie mogelijk te maken.

1. Kern Kwantisatie Framework

Symmetrische Uniforme Kwantisatie: Alle parameters (gewichten, biases, embeddings) en activaties worden gekwantiseerd met behulp van symmetrische uniforme kwantisatie.
Dyadische Rekenkunde: Schalingsfactoren worden benaderd als ratio's van integers en machten van twee ( $S \approx b/2^c$ ), waardoor schalingoperaties kunnen worden geïmplementeerd via integer vermenigvuldiging en bit-shifting, wat floating-point divisie vermijdt.
Precisiebeheer:
- Linear layers gebruiken INT8 gewichten en biases, waarbij producten worden geaccumuleerd in INT32.
- Residual connections behouden INT16 precisie om signaalgetrouwheid te bewaren.
- De meest gevoelige operatie, Shiftmax (integer Softmax), wordt uitgevoerd in INT16.

2. Nieuwe Activatie: $\lambda$ -ShiftGELU

De auteurs stellen vast dat standaard integer benaderingen van GELU (bijv. ShiftGELU) significante fouten introduceren, met name voor negatieve waarden en uitschieters. Ze stellen $\lambda$ -ShiftGELU voor, een aangepaste activatiefunctie die:

Een instelbare scalaire parameter $\lambda$ introduceert om de ondergrens van de inputverdeling tijdens de exponentiële benadering te versoepelen.
Het te restrictieve afklemmen van informatieve negatieve waarden voorkomt dat in eerdere methoden werd gevonden.
Geoptimaliseerde parameters ( $\lambda=6$ , $k_{inter}=23$ ) balanceren precisie en computationele efficiëntie, wat de Root Mean Squared Error (RMSE) aanzienlijk vermindert ten opzichte van de baseline ShiftGELU.

3. Architecturale Aanpassingen voor Integer-Only Executie

Om ervoor te zorgen dat de gehele computationele graaf integer-only blijft, hebben de auteurs de Segmenter decoder aangepast:

Verwijdering van L2 Normalisatie: De L2 normalisatie laag, die complexe niet-lineaire benaderingen vereist, is verwijderd. De functie ervan om distributies te verzachten, wordt vervangen door symmetrische uniforme kwantisatie van de geprojecteerde matrices.
Nearest-Neighbor Upsampling: Bilineaire interpolatie, die steunt op floating-point rekenkunde, wordt vervangen door nearest-neighbor upsampling. Hoewel dit enige discretisatie-artefacten introduceert, garandeert het strikte integer compatibiliteit.
Embedding Kwantisatie: In tegen tegenstelling tot sommige eerdere werken, kwantiseert I-Segmenter klasse- en positionele embeddings, waardoor er geen floating-point data overblijft in de modelopslag of executie.

Belangrijkste Bijdragen

I-Segmenter Framework: Het eerste end-to-end integer-only ViT segmentatieframework, dat implementatie op hardware geoptimaliseerd voor integer rekenkunde mogelijk maakt (bijv. ARM Cortex-M, Google Edge TPU).
$\lambda$ -ShiftGELU: Een nieuwe activatiefunctie die de beperkingen van uniforme kwantisatie op long-tailed distributies mitigeert, wat zowel Quantization-Aware Training (QAT) als Post-Training Quantization (PTQ) stabiliseert.
Systematische Architecturale Herontwerp: Een uitgebreide aanpassing van ViT componenten (verwijderen van L2 Norm, vervangen van bilineaire interpolatie) om echte integer-only inferentie te bereiken zonder mixed-precision fallbacks.
One-Shot PTQ Capaciteit: Demonstratie dat het framework concurrerende nauwkeurigheid bereikt, zelfs met één enkele kalibratie-afbeelding, wat de kosten van implementatie drastisch vermindert.

Experimentele Resultaten

Experimenten werden uitgevoerd op ADE20K en Cityscapes datasets met ViT-Tiny, Small, Base, en Large backbones.

Nauwkeurigheid:
- PTQ: Met $\lambda$ -ShiftGELU bereikt I-Segmenter nauwkeurigheid binnen een redelijke marge van de FP32 baseline (gemiddelde daling van ~5.1%). Opvallend genoeg levert one-shot PTQ ( $S=1$ ) resultaten die vergelijkbaar zijn met het gebruik van 500 kalibratiesamples.
- QAT: Verkleint de nauwkeurigheidsgap verder, met reducties die niet meer dan 3.5 mIoU punten bedragen op ADE20K.
- Vergelijking: $\lambda$ -ShiftGELU presteert aanzienlijk beter dan de baseline ShiftGELU, die bezwijkt onder PTK-condities.
Efficiëntie:
- Modelgrootte: Reducties van tot wel 3.8 $\times$ vergeleken met FP32 modellen.
- Inferentie Snelheid: Tot 1.2 $\times$ snellere inferentie op geoptimaliseerde runtimes (TensorRT, TVM).
- Geheugenverkeer: Een reductie van 2.3 $\times$ –3.3 $\times$ in totale bits gelezen/geschreven voor sleuteloperaties.
Implementatie:
- TVM Backend: De enige backend die strikte integer-only executie afdwingt tot aan de kernel berekeningen. Hoewel TVM compilatie een kleine 1–2 mIoU daling introduceerde door vertalingnuances, bleef het model competitief.
- Kalibratiekosten: PTQ kalibratie duurt ongeveer 1 seconde voor one-shot settings, vergeleken met uren voor QAT.

Betekenis en Claims

Het artikel claimt dat I-Segmenter een cruciale stap vertegenwoordigt naar de praktische implementatie van Vision Transformers op edge-apparaten. Door te bewijzen dat volledig integer-only inferentie haalbaar is voor dense predictie taken zonder catastrofaal nauwkeurigheidsverlies, adresseert het werk een belangrijke bottleneck in AI-implementatie.

De auteurs benadrukken dat hun aanpak bijzonder significant is voor:

Real-world implementatie: De mogelijkheid om op beperkte hardware (NPUs, microcontrollers) te implementeren zonder complexe mixed-precision hardware ondersteuning te vereisen.
Efficiëntie: De drastische reductie in modelgrootte en geheugenbandbreedte vereisten.
Robuustheid: De demonstratie dat zorgvuldige architecturale aanpassing (specifiek $\lambda$ -ShiftGELU en de verwijdering van floating-point afhankelijke lagen) de inherente fragiliteit van ViTs onder low-bit kwantisatie kan overwinnen.

Het artikel concludeert dat hoewel verdere arbeid nodig is om integer-only upsampling en normalisatie benaderingen te verbeteren om de resterende nauwkeurigheidsgap te dichten, I-Segmenter succesvol het potentieel van integer-only implementatie voor semantische segmentatie ontsluit.