🤖 AI

Where Do Tokens Go? Understanding Pruning Behaviors in STEP at High Resolutions

Het artikel stelt STEP voor, een hybride token-reductieframework dat dynamische superpatch-merging en early-exit-pruning via een lichtgewicht CNN-beleid combineert, wat de rekenkundige efficiëntie en doorvoer van Vision Transformers bij semantische segmentatietaken met hoge resolutie aanzienlijk verbetert met minimale nauwkeurigheidsverlies.

Oorspronkelijke auteurs: Michal Szczepanski, Martyna Poreba, Karim Haroun

Gepubliceerd 2026-05-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Michal Szczepanski, Martyna Poreba, Karim Haroun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een rondleider bent die een enorme groep toeristen (de "tokens") door een gigantische, complexe stad (een hoogresolutieafbeelding) leidt om specifieke bezienswaardigheden te vinden (semantische segmentatie).

In een traditionele Vision Transformer (ViT) behandelt de gids elke enkele baksteen, elk enkel blaadje en elk grassprietje in de stad als een apart persoon om te managen. Zelfs als een heel park slechts uit groen gras bestaat, stopt de gids om met elk individueel grassprietje apart te praten. Dit is ongelooflijk traag en vermoeiend, vooral wanneer de stad enorm is (hoge resolutie).

Het artikel introduceert een nieuwe methode genaamd STEP (SuperToken and Early-Pruning) om deze rondleiding veel sneller te maken zonder de belangrijke details te verliezen. Dit gebeurt op twee slimme manieren:

1. De "Groeperings"-strategie (SuperTokens)

In plaats van elk klein stukje van de afbeelding als een apart persoon te behandelen, gebruikt STEP een slimme assistent genaamd dCTS. Deze assistent kijkt naar de stad en zegt: "Hé, dit hele blok lucht is gewoon blauw, en dit hele veld is gewoon groen. Laten we ze samenvoegen!"

De Analogie: Stel je voor dat in plaats van 4.000 individuele toeristen te managen, de assistent 100 mensen die in een park staan, groepeert tot één "Super-Groep". Nu hoeft de gids alleen met die ene groepsvertegenwoordiger te praten in plaats van met 100 individuen.
Het Resultaat: De gids kan saaie, uniforme gebieden overslaan (zoals de lucht of een kale muur) en hun energie richten op de complexe delen van de stad (zoals een drukke markt of een gebouw met veel ramen). Het artikel vond dat dit alleen al het aantal mensen dat de gids moet managen met 2,5 keer kan verminderen.

2. De "Vroege Uitgang"-strategie (Pruning)

Naarmate de rondleiding doorgaat, begrijpen sommige toeristen heel snel precies waar ze zijn. Misschien ziet een toerist een "Pizza"-bord en weet direct: "Ik ben in de pizzawijk!" Ze hoeven niet de rest van het speech van de rondleider te horen.

De Analogie: STEP installeert "uitgangen" op verschillende punten langs het rondleidingpad. Als een toerist 100% zeker is van hun locatie, mogen ze de rondleiding vroegtijdig verlaten. Ze stoppen met lopen en stoppen met luisteren, waardoor de gids de energie bespaart om de rest van de route aan hen uit te leggen.
Het Resultaat: De gids hoeft alleen de "verwarde" of "onzekere" toeristen voor de volledige duur van de rondleiding vast te houden. Het artikel toont aan dat tot 40% van de toeristen vroegtijdig naar huis kan worden gestuurd, wat een enorme hoeveelheid tijd en energie bespaart.

De Grote Geheel Resultaten

Toen de onderzoekers dit testten op een supercomputer (een NVIDIA A100 GPU) met zeer grote, gedetailleerde kaarten (afbeeldingen tot 1024x1024 pixels):

Snelheid: De rondleiding werd veel sneller. In sommige gevallen kon de gids de stad 3,4 keer sneller verwerken dan de oude methode.
Efficiëntie: De computer hoefde niet zoveel wiskunde te doen. De werklast daalde met tot 4 keer.
Nauwkeurigheid: Het beste deel is dat de gids niet verdwaalde. Zelfs met minder mensen en kortere rondleidingen vond de gids de bezienswaardigheden bijna even nauwkeurig als voorheen (slechts een kleine daling in nauwkeurigheid, minder dan 2%).

De Haken (De "Verkeersopstopping")

Het artikel merkte ook een grappig neveneffect op. Hoewel de gids minder mensen te managen had, werd de snelheid niet altijd rechtstreeks sneller.

De Analogie: Stel je voor dat de gids in een auto zit. Zelfs als er minder passagiers zijn, als de bestuurder constant moet stoppen, een kaart moet controleren en moet beslissen wie de auto mag verlaten, kan de auto nog steeds traag bewegen. De daad van "controleren wie klaar is om te vertrekken" (het pruning-mechanisme) creëert een beetje verkeer en verwarring die de dingen enigszins vertraagt.
De Conclusie: De methode is ongelooflijk efficiënt in het verminderen van het werk (wiskunde), maar het proces van beslissen wie wordt afgesneden moet soepeler zijn om de maximale snelheidswinst te behalen.

Kortom: STEP is als een slimme rondleider die vergelijkbare toeristen groepeert en de zelfverzekerde er vroeg laat vertrekken. Dit maakt het verkennen van enorme, gedetailleerde steden veel sneller en minder vermoeiend, terwijl het werk nog steeds correct wordt afgerond.

Technische Samenvatting: STEP (SuperToken en Vroege-Pruning) voor Hoge-Resolutie Semantische Segmentatie

1. Probleemstelling

Vision Transformers (ViTs) hebben state-of-the-art prestaties behaald in semantische segmentatie vanwege hun vermogen om lange-afstandsafhankelijkheden te vangen. Hun praktische implementatie wordt echter gehinderd door hoge rekenkundige en geheugenkosten, die voornamelijk worden gedreven door de kwadratische complexiteit van het self-attention-mechanisme ten opzichte van de afbeeldingsresolutie. Naarmate de invoerresolutie toeneemt (bijvoorbeeld naar 1024×1024), groeien de rekenkosten en het geheugengebruik aanzienlijk.

Bestaande strategieën voor tokenreductie lopen tegen specifieke beperkingen aan bij dichte voorspellingstaken:

Methoden op patch-niveau (bijvoorbeeld CTS) vertrouwen vaak op vaste hyperparameters (bijvoorbeeld een vast aantal samengevoegde patches), wat leidt tot suboptimale prestaties op complexe afbeeldingen (te veel samenvoegen) of eenvoudige afbeeldingen (te weinig samenvoegen).
Token-level pruning (harde pruning) is vaak ongeschikt voor semantische segmentatie omdat het tokens permanent verwijdert, terwijl dichte voorspelling vereist dat ruimtelijke informatie behouden blijft voor output op pixelniveau.
Hybride benaderingen missen vaak aanpasbaarheid aan variërende afbeeldingsinhoud of slagen er niet in om de specifieke schaalbaarheidsuitdagingen van invoer met hoge resolutie aan te pakken.

Het artikel stelt dat een evenwicht moet worden gevonden tussen rekenkundige efficiëntie en behoud van nauwkeurigheid, met name voor scenario's met hoge resolutie waar standaard rastergebaseerde verwerking inefficiënt is.

2. Methodologie: STEP Framework

De auteurs stellen STEP (SuperToken en Vroege-Pruning) voor, een hybride framework voor tokenreductie dat is ontworpen om de efficiëntie van ViT te verbeteren zonder de nauwkeurigheid significant te compromitteren. STEP werkt op twee complementaire niveaus:

2.1 Dynamische CTS (dCTS): Adaptieve Patch Samenvoeging

In tegenstelling tot statische samenvoegingsstrategieën introduceert STEP dCTS, een lichtgewicht, klasse-onafhankelijk beleidsnetwerk gebaseerd op EfficientNetLite0.

Mechanisme: Het netwerk evalueert groepen aangrenzende patches (vensters van $2\times2$ , $4\times4$ , $8\times8$ en $16\times16$ ) om een gelijkenis-score $S \in [0,1]$ te voorspellen.
Beslissingslogica: Als de gelijkenis-score een vooraf gedefinieerde drempel $\tau$ overschrijdt, worden de patches samengevoegd tot een superpatch. Dit proces volgt een grof-naar-fijn hiërarchie om conflicten tussen geneste groepen te voorkomen.
Output: Het resultaat is een raster van superpatches met niet-uniforme maten. Deze worden via bilineaire interpolatie herschaald naar een standaardresolutie (16×16) en geprojecteerd in de embeddingruimte als supertokens.
Voordeel: Hierdoor kan het aantal tokens dynamisch worden aangepast aan de semantische homogeniteit van de afbeeldingsinhoud (bijvoorbeeld het samenvoegen van grote achtergrondgebieden terwijl de resolutie bij objectgrenzen behouden blijft).

2.2 Vroege-Pruning Mechanisme

STEP integreert een early-exit-strategie die is geïnspireerd op DToP (Dynamic Token Pruning) om de verwerking van "makkelijke" tokens te stoppen.

Architectuur: De ViT-encoder is verdeeld in $S$ stadia. Elk stadium bevat een auxiliaire decoderingskop (met behulp van de Attention-to-Mask-module) die een betrouwbaarheidsscore voor elke token berekent.
Pruning Logica: Tokens met betrouwbaarheidsscores die een drempel $\tau$ overschrijden, worden gemaskeerd en gestopt met het doorgeven naar volgende lagen. Alleen tokens met lage betrouwbaarheid (uitdagende tokens) gaan door de diepere lagen.
Integratie: Deze strategie is complementair aan dCTS; terwijl dCTS de initiële sequentielengte verkleint, verkort vroege pruning progressief de set actieve tokens naarmate het netwerk dieper wordt.

3. Belangrijkste Bijdragen

Het artikel schetst de volgende specifieke bijdragen:

Nieuw Hybride Framework: Het voorstellen van STEP, dat dynamische patch-samenvoeging (dCTS) combineert met vroege token-pruning om efficiëntie in semantische segmentatie aan te pakken.
Evaluatie bij Hoge Resolutie: Uitgebreide experimenten op afbeeldingen met hoge resolutie (tot 1024×1024) met ViT-Base en ViT-Large backbones. De auteurs beweren dat dit de eerste poging is om token-pruningstrategieën systematisch te evalueren specifiek in de context van semantische segmentatie met hoge resolutie.
Uitgebreide Analyse: Gedetailleerde ablatiestudies over drempelparameters voor samenvoeging, optimale plaatsing van auxiliaire pruning-koppen, en de afwegingen tussen rekenkundige complexiteit (GFLOPs), inferentiesnelheid (FPS) en nauwkeurigheid (mIoU).
Demonstratie van Schaalbaarheid: Bewijs dat STEP concurrerende nauwkeurigheid behoudt terwijl het de rekenkundige complexiteit en inferentietijd aanzienlijk verlaagt, met name naarmate de afbeeldingsresolutie en modelgrootte toenemen.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de COCOStuff10k, ADE20K en Cityscapes datasets met NVIDIA A100 GPU's.

4.1 Prestaties bij Standaard Resolutie (512×512)

dCTS alleen: Wanneer toegepast op ViT-Large, verlaagt dCTS het aantal tokens met een factor 2,5 ten opzichte van standaard 16×16 patching. Dit levert een 2,6× vermindering van de rekenkosten en een 3,4× toename van de doorvoer op met een minimale daling in nauwkeurigheid.
Volledige STEP: Het toepassen van zowel dCTS als vroege pruning bereikt tot een 4× vermindering van de rekenkundige complexiteit en een 1,7× winst in inferentiesnelheid, met een maximale daling in nauwkeurigheid van niet meer dan 2,0%.
Configuratie: Een enkele pruning-kop geplaatst op de 16e of 18e laag van ViT-Large bood een gunstige afweging tussen efficiëntie en latentie in vergelijking met configuraties met meerdere koppen.

4.2 Prestaties bij Hoge Resolutie (768×768 en 1024×1024)

Schaalbaarheid: Naarmate de resolutie toeneemt, lijdt standaard SegViT aan dramatische toenames in GFLOPs en dalingen in FPS. STEP-configuraties handhaven een stabiele afweging.
ViT-Large bij 1024×1024: De dCTS-variant alleen verlaagde GFLOPs van 2086 naar 802 (2,6× minder complex) en verhoogde FPS van 12 naar 41 (3,4× sneller), met slechts een marginale daling in mIoU.
Token Pruning Dynamiek: Tot 40% van de tokens kan met vertrouwen worden voorspeld en gestopt voordat ze de laatste encoderlaag bereiken. In instellingen met hoge resolutie met ViT-Large wordt gemiddeld 48% van de tokens vroeg gestopt.

4.3 Observaties over Doorvoer versus FLOPs

De auteurs merken een kritieke bevinding op: Doorvoer (FPS) schaalt niet lineair met FLOP-reducties.

Hoewel GFLOPs aanzienlijk afnemen, is de winst in inferentiesnelheid soms beperkt (bijvoorbeeld leidt een 4× GFLOP-reductie niet altijd tot een 4× FPS-toename).
Oorzaak: De maskeringoperaties die vereist zijn voor vroege pruning introduceren knelpunten door onregelmatige controleflow, dynamische geheugentoegangspatronen en variabiliteit in tensorvormen. Het artikel suggereert dat hardware-inefficiënties, zoals onnodige geheugenoverdrachten van GPU naar CPU, de verwachte prestatiewinsten kunnen verminderen.

5. Betekenis en Claims

Het artikel beweert dat STEP een belangrijke stap voorwaarts is om ViTs levensvatbaar te maken voor dichte voorspellingstaken met hoge resolutie.

Eerste in zijn Kinds: De auteurs stellen dat dit het eerste werk is dat token-pruning systematisch beoordeelt over verschillende resolutieniveaus in semantische segmentatie.
Efficiëntie-Nauwkeurigheid Balans: STEP toont aan dat het mogelijk is om aanzienlijke rekenkundige besparingen (tot 4×) en snelheidswinsten te realiseren terwijl de nauwkeurigheidsdaling binnen acceptabele grenzen blijft (<2,0%).
Aanpasbaarheid: De dCTS-module blijkt bijzonder robuust, waarbij het samenvoegingspercentage wordt aangepast aan de complexiteit van de afbeelding zonder vaste hyperparameters te vereisen, waardoor het geschikt is voor diverse real-world scènes.

De auteurs concluderen dat hoewel STEP duidelijke voordelen biedt in efficiëntie en schaalbaarheid, toekomstig werk de hardware-niveau inefficiënties van het pruning-mechanisme zelf moet aanpakken om de voorspelde doorvoerwinsten uit FLOP-reducties volledig te realiseren.