🤖 AI

Where Do Tokens Go? Understanding Pruning Behaviors in STEP at High Resolutions

Das Papier schlägt STEP vor, ein hybrides Token-Reduktionsframework, das dynamisches Superpatch-Merging und Early-Exit-Pruning über eine leichte CNN-Richtlinie kombiniert, was die Recheneffizienz und den Durchsatz von Vision-Transformern bei hochauflösenden semantischen Segmentierungsaufgaben mit minimalem Genauigkeitsverlust erheblich verbessert.

Ursprüngliche Autoren: Michal Szczepanski, Martyna Poreba, Karim Haroun

Veröffentlicht 2026-05-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Michal Szczepanski, Martyna Poreba, Karim Haroun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Reiseleiter, der eine riesige Gruppe von Touristen (die „Tokens") durch eine gigantische, komplexe Stadt (ein hochauflösendes Bild) führt, um bestimmte Sehenswürdigkeiten zu finden (semantische Segmentierung).

In einem herkömmlichen Vision Transformer (ViT) behandelt der Reiseleiter jeden einzelnen Ziegelstein, jedes einzelne Blatt und jede Grashalme in der Stadt als separate Person, die er betreuen muss. Selbst wenn ein ganzer Park nur aus grünem Gras besteht, hält der Reiseleiter an, um mit jedem einzelnen Grashalm einzeln zu sprechen. Dies ist unglaublich langsam und ermüdend, besonders wenn die Stadt riesig ist (hohe Auflösung).

Die Arbeit stellt eine neue Methode namens STEP (SuperToken und Early-Pruning) vor, um diese Tour viel schneller zu machen, ohne wichtige Details zu verlieren. Dies geschieht auf zwei clevere Arten:

1. Die „Gruppierungs"-Strategie (SuperTokens)

Anstatt jedes winzige Stück des Bildes als separate Person zu behandeln, nutzt STEP einen intelligenten Assistenten namens dCTS. Dieser Assistent betrachtet die Stadt und sagt: „Hey, dieser ganze Block Himmel ist nur blau, und dieses ganze Feld ist nur grün. Lassen Sie uns sie zusammenfassen!"

Die Analogie: Stellen Sie sich vor, anstatt 4.000 einzelne Touristen zu managen, gruppiert der Assistent 100 Personen, die in einem Park stehen, zu einer einzigen „Super-Gruppe". Jetzt muss der Reiseleiter nur noch mit diesem einen Gruppenvertreter sprechen, anstatt mit 100 Einzelpersonen.
Das Ergebnis: Der Reiseleiter kann langweilige, einheitliche Bereiche (wie den Himmel oder eine leere Wand) überspringen und seine Energie auf die komplexen Teile der Stadt konzentrieren (wie einen belebten Markt oder ein Gebäude mit vielen Fenstern). Die Arbeit ergab, dass dies allein die Anzahl der Personen, die der Reiseleiter betreuen muss, um den Faktor 2,5 reduziert.

2. Die „Früher-Ausgang"-Strategie (Pruning)

Während die Tour weitergeht, finden einige Touristen sehr schnell heraus, wo genau sie sich befinden. Vielleicht sieht ein Tourist ein „Pizza"-Schild und weiß sofort: „Ich bin im Pizzaviertel!" Sie müssen den Rest der Rede des Reiseleiters nicht mehr hören.

Die Analogie: STEP installiert „Ausgangstüren" an verschiedenen Punkten entlang des Tourweges. Wenn ein Tourist zu 100 % sicher ist, wo er sich befindet, darf er die Tour vorzeitig verlassen. Sie hören auf zu laufen und aufzuhören zu hören, was dem Reiseleiter die Energie spart, ihnen den Rest der Route zu erklären.
Das Ergebnis: Der Reiseleiter muss nur noch die „verwirrten" oder „unsicheren" Touristen für die gesamte Dauer der Tour mitführen. Die Arbeit zeigt, dass bis zu 40 % der Touristen frühzeitig nach Hause geschickt werden können, was eine enorme Menge an Zeit und Energie spart.

Die Gesamtergebnisse

Als die Forscher dies auf einem Supercomputer (einer NVIDIA A100 GPU) mit sehr großen, detaillierten Karten (Bilder bis zu 1024x1024 Pixeln) testeten:

Geschwindigkeit: Die Tour wurde viel schneller. In einigen Fällen konnte der Reiseleiter die Stadt 3,4-mal schneller verarbeiten als mit der alten Methode.
Effizienz: Der Computer musste nicht mehr so viel rechnen. Die Arbeitslast sank um bis zum Faktor 4.
Genauigkeit: Das Beste ist, dass der Reiseleiter sich nicht verlor. Selbst mit weniger Personen und kürzeren Touren fand der Reiseleiter die Sehenswürdigkeiten fast genauso genau wie zuvor (nur ein winziger Genauigkeitsverlust von weniger als 2 %).

Der Haken (Das „Stau"-Problem)

Die Arbeit bemerkte auch einen lustigen Nebeneffekt. Obwohl der Reiseleiter weniger Personen zu betreuen hatte, wurde die Geschwindigkeit nicht immer linear schneller.

Die Analogie: Stellen Sie sich vor, der Reiseleiter ist in einem Auto. Auch wenn es weniger Passagiere gibt, wenn der Fahrer ständig anhalten, eine Karte prüfen und entscheiden muss, wer das Auto verlassen darf, bewegt sich das Auto vielleicht immer noch langsam. Der Akt des „Prüfens, wer bereit ist zu gehen" (der Pruning-Mechanismus) erzeugt ein wenig Verkehr und Verwirrung, die die Dinge leicht verlangsamen.
Die Schlussfolgerung: Die Methode ist unglaublich effizient darin, die Arbeit (Mathematik) zu reduzieren, aber der Prozess der Entscheidung, wen man abschneidet, muss flüssiger sein, um den maximalen Geschwindigkeitsgewinn zu erzielen.

Kurz gesagt: STEP ist wie ein intelligenter Reiseleiter, der ähnliche Touristen zusammenfasst und die Selbstbewussten frühzeitig gehen lässt. Dies macht das Erkunden riesiger, detaillierter Städte viel schneller und weniger anstrengend, während die Aufgabe dennoch korrekt erledigt wird.

Technische Zusammenfassung: STEP (SuperToken und Early-Pruning) für hochauflösende semantische Segmentierung

1. Problemstellung

Vision Transformer (ViTs) haben aufgrund ihrer Fähigkeit, langreichweitige Abhängigkeiten zu erfassen, state-of-the-art-Leistung bei der semantischen Segmentierung erreicht. Ihre praktische Einsatzfähigkeit wird jedoch durch hohe Rechen- und Speicherkosten behindert, die primär durch die quadratische Komplexität des Self-Attention-Mechanismus in Relation zur Bildauflösung bedingt sind. Mit steigender Eingangsauflösung (z. B. auf 1024×1024) wachsen die Rechenkosten und der Speicherverbrauch erheblich.

Bestehende Strategien zur Token-Reduktion stoßen bei dichten Vorhersageaufgaben auf spezifische Grenzen:

Patch-basierte Methoden (z. B. CTS) verlassen sich häufig auf feste Hyperparameter (z. B. eine feste Anzahl zusammengeführter Patches), was zu suboptimaler Leistung bei komplexen Bildern (Über-Zusammenführung) oder einfachen Bildern (Unter-Zusammenführung) führt.
Token-basiertes Pruning (hartes Pruning) ist für die semantische Segmentierung oft ungeeignet, da es Token dauerhaft entfernt, während dichte Vorhersagen die Erhaltung räumlicher Informationen für pixelgenaue Ausgaben erfordern.
Hybridansätze fehlt häufig die Anpassungsfähigkeit an variierende Bildinhalte, oder sie adressieren nicht die spezifischen Skalierbarkeitsprobleme hochauflösender Eingaben.

Die Arbeit geht davon aus, dass ein Gleichgewicht zwischen Recheneffizienz und Genauigkeitserhaltung gefunden werden muss, insbesondere für hochauflösende Szenarien, in denen eine standardmäßige rasterbasierte Verarbeitung ineffizient ist.

2. Methodik: STEP-Framework

Die Autoren schlagen STEP (SuperToken and Early-Pruning) vor, ein hybrides Framework zur Token-Reduktion, das die Effizienz von ViTs steigern soll, ohne die Genauigkeit signifikant zu beeinträchtigen. STEP arbeitet auf zwei komplementären Ebenen:

2.1 Dynamisches CTS (dCTS): Adaptive Patch-Zusammenführung

Im Gegensatz zu statischen Zusammenführungsstrategien führt STEP dCTS ein, ein leichtgewichtiges, klassenunabhängiges Policy-Netzwerk basierend auf EfficientNetLite0.

Mechanismus: Das Netzwerk bewertet Gruppen benachbarter Patches (Fenster von $2\times2$ , $4\times4$ , $8\times8$ und $16\times16$ ), um einen Ähnlichkeitswert $S \in [0,1]$ vorherzusagen.
Entscheidungslogik: Überschreitet der Ähnlichkeitswert einen vordefinierten Schwellenwert $\tau$ , werden die Patches zu einem Superpatch zusammengeführt. Dieser Prozess folgt einer grob-zu-fein-Hierarchie, um Konflikte zwischen verschachtelten Gruppen zu vermeiden.
Ausgabe: Das Ergebnis ist ein Gitter aus Superpatches mit nicht-uniformen Größen. Diese werden mittels bilinearer Interpolation auf eine Standardauflösung (16×16) skaliert und als Supertoken in den Embedding-Raum projiziert.
Vorteil: Dies ermöglicht eine dynamische Anpassung der Tokenanzahl an die semantische Homogenität des Bildinhalts (z. B. Zusammenführung großer Hintergrundbereiche bei gleichzeitiger Erhaltung der Auflösung an Objektgrenzen).

2.2 Early-Pruning-Mechanismus

STEP integriert eine Early-Exit-Strategie, inspiriert von DToP (Dynamic Token Pruning), um die Verarbeitung „einfacher" Token zu stoppen.

Architektur: Der ViT-Encoder ist in $S$ Stufen unterteilt. Jede Stufe enthält einen auxilliären Decoding-Kopf (unter Verwendung des Attention-to-Mask-Moduls), der einen Konfidenzwert für jeden Token berechnet.
Pruning-Logik: Token mit Konfidenzwerten, die einen Schwellenwert $\tau$ überschreiten, werden maskiert und davon abgehalten, zu nachfolgenden Schichten weitergeleitet zu werden. Nur Token mit niedriger Konfidenz (herausfordernde Token) durchlaufen die tieferen Schichten.
Integration: Diese Strategie ergänzt dCTS; während dCTS die anfängliche Sequenzlänge reduziert, verkürzt das Early-Pruning die Menge der aktiven Token progressiv, je tiefer das Netzwerk wird.

3. Hauptbeiträge

Die Arbeit skizziert folgende spezifische Beiträge:

Neues hybrides Framework: Die Vorstellung von STEP, das dynamische Patch-Zusammenführung (dCTS) mit Early Token Pruning kombiniert, um die Effizienz bei der semantischen Segmentierung zu adressieren.
Evaluation bei hoher Auflösung: Umfassende Experimente an hochauflösenden Bildern (bis zu 1024×1024) unter Verwendung von ViT-Base- und ViT-Large-Backbones. Die Autoren behaupten, dies sei der erste Versuch, Token-Pruning-Strategien systematisch im Kontext der hochauflösenden semantischen Segmentierung zu evaluieren.
Umfassende Analyse: Detaillierte Ablationsstudien zu Schwellenwertparametern für die Zusammenführung, der optimalen Platzierung auxilliärer Pruning-Köpfe sowie den Trade-offs zwischen Rechenkomplexität (GFLOPs), Inferenzgeschwindigkeit (FPS) und Genauigkeit (mIoU).
Skalierbarkeitsnachweis: Belege dafür, dass STEP wettbewerbsfähige Genauigkeit beibehält, während es die Rechenkomplexität und die Inferenzzeit signifikant reduziert, insbesondere mit steigender Bildauflösung und Modellgröße.

4. Experimentelle Ergebnisse

Experimente wurden auf den Datensätzen COCOStuff10k, ADE20K und Cityscapes unter Verwendung von NVIDIA A100-GPUs durchgeführt.

4.1 Leistung bei Standardauflösung (512×512)

dCTS allein: Bei Anwendung auf ViT-Large reduziert dCTS die Tokenanzahl im Vergleich zur Standard-Patching mit 16×16 um den Faktor 2,5. Dies ergibt eine 2,6-fache Reduktion der Rechenkosten und eine 3,4-fache Steigerung des Durchsatzes bei minimalem Genauigkeitsverlust.
Vollständiges STEP: Die Anwendung von sowohl dCTS als auch Early Pruning erzielt bis zu eine 4-fache Reduktion der Rechenkomplexität und einen 1,7-fachen Gewinn an Inferenzgeschwindigkeit, mit einem maximalen Genauigkeitsverlust von nicht mehr als 2,0 %.
Konfiguration: Ein einzelner Pruning-Kopf, platziert in der 16. oder 18. Schicht von ViT-Large, bot im Vergleich zu Multi-Kopf-Konfigurationen einen günstigen Trade-off zwischen Effizienz und Latenz.

4.2 Leistung bei hoher Auflösung (768×768 und 1024×1024)

Skalierbarkeit: Mit steigender Auflösung erleidet das Standard-SegViT dramatische Anstiege bei den GFLOPs und Einbußen bei der FPS. STEP-Konfigurationen halten einen stabilen Trade-off aufrecht.
ViT-Large bei 1024×1024: Die dCTS-Variante allein reduzierte die GFLOPs von 2086 auf 802 (2,6-fach weniger komplex) und erhöhte die FPS von 12 auf 41 (3,4-fach schneller), mit nur einem marginalen mIoU-Verlust.
Token-Pruning-Dynamik: Bis zu 40 % der Token können sicher vorhergesagt und gestoppt werden, bevor sie die letzte Encoderschicht erreichen. In hochauflösenden Einstellungen mit ViT-Large werden durchschnittlich 48 % der Token frühzeitig gestoppt.

4.3 Beobachtungen zu Durchsatz vs. FLOPs

Die Autoren stellen eine kritische Feststellung fest: Der Durchsatz (FPS) skaliert nicht linear mit FLOP-Reduktionen.

Während die GFLOPs signifikant sinken, ist der Gewinn an Inferenzgeschwindigkeit manchmal begrenzt (z. B. führt eine 4-fache GFLOP-Reduktion nicht immer zu einer 4-fachen FPS-Steigerung).
Ursache: Die für das Early Pruning erforderlichen Maskierungsoperationen führen zu Engpässen aufgrund von unregelmäßigem Kontrollfluss, dynamischen Speicherzugriffsmustern und Variabilität der Tensorformen. Die Arbeit schlägt vor, dass Hardware-Ineffizienzen, wie unnötige Speichertransfers von GPU zu CPU, die erwarteten Leistungsgewinne mindern könnten.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass STEP einen bedeutenden Schritt darstellt, um ViTs für Aufgaben der hochauflösenden dichten Vorhersage praktikabel zu machen.

Erste ihrer Art: Die Autoren betonen, dass dies die erste Arbeit ist, die Token-Pruning über verschiedene Auflösungsebenen hinweg in der semantischen Segmentierung systematisch bewertet.
Balance zwischen Effizienz und Genauigkeit: STEP zeigt, dass es möglich ist, erhebliche Recheneinsparungen (bis zu 4-fach) und Beschleunigungen zu erzielen, während die Genauigkeitsdegradation innerhalb akzeptabler Grenzen (<2,0 %) gehalten wird.
Anpassungsfähigkeit: Das dCTS-Modul erweist sich als besonders robust, passt die Zusammenführungsraten an die Bildkomplexität an, ohne feste Hyperparameter zu benötigen, und eignet sich somit für diverse reale Szenen.

Die Autoren schließen, dass STEP zwar klare Vorteile in Bezug auf Effizienz und Skalierbarkeit bietet, zukünftige Arbeiten jedoch die Ineffizienzen auf Hardware-Ebene des Pruning-Mechanismus selbst adressieren müssen, um die durch FLOP-Reduktionen vorhergesagten potenziellen Durchsatzgewinne vollständig zu realisieren.