🤖 AI

Why Training-Free Token Reduction Collapses: The Inherent Instability of Pairwise Scoring Signals

Deze paper legt uit dat training-vrije tokenreductie-methoden voor Vision Transformers falen door de inherente instabiliteit van paarsgewijze scores, en introduceert CATIS, een methode die gebruikmaakt van unaire signalen om bij hoge compressie de nauwkeurigheid aanzienlijk te behouden.

Oorspronkelijke auteurs: Yang Shanglin

Gepubliceerd 2026-04-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yang Shanglin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kern: Waarom "Slimme" AI soms dom wordt

Stel je voor dat een Vision Transformer (een type AI dat beelden bekijkt) een grote vergadering is. In plaats van één spreker, zitten er honderden mensen (de "tokens") in de kamer. Iedereen heeft een stukje informatie over het beeld.

Om de vergadering sneller te laten verlopen, willen we mensen wegsturen die niet veel toevoegen. Dit heet Token Reduction. Er zijn al methodes bedacht om dit te doen zonder de AI opnieuw te hoeven trainen (zogenoemd "training-free").

Maar er is een groot probleem: zodra je te veel mensen wegstuurt (bijvoorbeeld 60% of meer), stort de hele vergadering in. De AI wordt plotseling heel dom, alsof ze de taal niet meer spreekt. Dit gebeurt bij alle bestaande methodes op precies hetzelfde moment, ongeacht hoe slim ze zijn ontworpen.

Deze paper legt uit waarom dat gebeurt en biedt een nieuwe oplossing.

De Oorzaak: Twee Fouten in het Systeem

De auteurs zeggen dat er twee problemen zijn die samenwerken om de AI te laten crashen.

1. De "Golf van Fouten" (De Versterker)

Stel je voor dat je in de eerste ronde van de vergadering één persoon wegstuurt die eigenlijk wel belangrijk was. De volgende ronde moet nu beslissen wie er weg mag, maar ze werken met een onvolledig verslag van de vorige ronde.

Het probleem: Elke keer als je iemand wegstuurt, wordt het verslag van de vergadering een beetje "vervormd".
De versterking: De volgende ronde kijkt naar dit al vervormde verslag om weer iemand weg te sturen. Omdat het verslag al fout is, maken ze een nieuwe fout. Die fout wordt weer doorgegeven aan de volgende ronde.
Het resultaat: Het is als een domino-effect of een microfoon die in een luidspreker wordt gehouden. Een klein foutje aan het begin wordt bij elke ronde (laag) harder en harder, tot het hele systeem uit elkaar valt. Hoe dieper de vergadering gaat (meer lagen), hoe sneller dit gebeurt.

2. De "Verkeerde Kompasnaald" (De Instabiele Signalen)

Hoe weten de methodes wie ze moeten wegsturen? Ze gebruiken een paarsgewijze vergelijking. Ze kijken naar twee mensen en vragen: "Lijken jullie op elkaar?" Als ja, sturen ze er één weg.

Het probleem: In de diepe lagen van de vergadering (de late rondes) beginnen alle mensen op elkaar te lijken. Hun stemmen klinken allemaal hetzelfde (dit noemen ze "homogenisatie").
De instabiliteit: Als je twee mensen vergelijkt die allebei heel vaag klinken, is het heel moeilijk om te zeggen wie nu echt belangrijk is. Een klein ruisje in hun stem maakt dat de vergelijking volledig willekeurig wordt. Het is alsof je probeert twee identieke koppen koffie te onderscheiden op basis van een wazige foto.
De conclusie: De methodes vertrouwen op een kompas dat in de diepe lagen volledig doordraait. Ze sturen de verkeerde mensen weg.

De Oplossing: CATIS (De Nieuwe Vergaderingsleider)

De auteurs hebben een nieuwe methode bedacht, genaamd CATIS, die deze twee problemen oplost door drie slimme regels toe te passen:

Regel 1: Gebruik een "Universeel Kompas" (Unary Signals)

In plaats van mensen met elkaar te vergelijken (paarsgewijs), kijkt CATIS naar iedereen afzonderlijk in relatie tot de hele groep.

De metafoor: In plaats van te vragen "Lijken jij en jij op elkaar?", vraagt CATIS: "Hoe uniek ben jij vergeleken met het gemiddelde van de hele kamer?"
Waarom het werkt: Als je kijkt naar het gemiddelde van 100 mensen, is dat gemiddelde heel stabiel. Een klein ruisje bij één persoon maakt het gemiddelde niet kapot. Dit maakt het kompas veel stabieler, zelfs in de diepe lagen.

Regel 2: De "Triage" (De Drie Groepen)

CATIS deelt de mensen in drie groepen in, gebaseerd op hun zekerheid:

De Onmisbaren (Beschermde groep): Mensen die heel zeker belangrijk zijn. Deze worden nooit weggestuurd. Ze zijn veilig.
De Onzekerlingen (De "Moeilijke" groep): Mensen die misschien belangrijk zijn, misschien niet. Deze worden samengevoegd (gemerged) met iemand anders.
De Overbodigen (De "Weg" groep): Mensen die duidelijk niets toevoegen. Deze worden direct weggestuurd.

Waarom het werkt: Door de belangrijkste mensen te beschermen, voorkom je dat de "golf van fouten" (zie punt 1) überhaupt begint. En door de onzekere mensen apart te houden, voorkom je dat je per ongeluk iemand wegstuurt die wel belangrijk was.

Regel 3: De "Momentum" (Kijk naar de trend)

CATIS kijkt niet alleen naar het moment, maar ook naar hoe belangrijk iemand was in de vorige ronde.

De metafoor: Als iemand in de vorige ronde al heel belangrijk leek, en dat blijft zo, dan is hij waarschijnlijk echt belangrijk. Als iemand plotseling belangrijk lijkt, maar dat was gisteren niet zo, dan is het misschien een flauwekul. Dit helpt om de juiste mensen te kiezen.

Het Resultaat: Een Wonder

De testresultaten zijn indrukwekkend:

De oude methodes: Als je 63% van de rekenkracht weghaalt (door veel tokens weg te sturen), zakt de nauwkeurigheid van de AI naar 43-65%. De AI is bijna nutteloos.
CATIS: Met dezelfde 63% minder rekenkracht, blijft de nauwkeurigheid 81% (bijna net zo goed als de originele, volle AI).

Samenvattend:
De oude methodes waren als een groep mensen die probeerden een vergadering te versnellen door willekeurig mensen weg te sturen op basis van vaag gelijkenis. Dat leidde tot chaos.
CATIS is als een slimme vergaderingsleider die:

Iedereen individueel beoordeelt in plaats van ze met elkaar te vergelijken.
De belangrijkste sprekers altijd laat blijven.
Alleen de duidelijk overbodige mensen wegstuurt.

Hierdoor kan de vergadering (de AI) veel sneller en efficiënter worden, zonder dat de kwaliteit van het gesprek (de nauwkeurigheid) in elkaar stort.

1. Het Probleem: De "Cliff-like" Collapse

Bestaande methoden voor training-free token reduction (zoals ToMe, ToFu, PiToMe en MCTF) voor Vision Transformers (ViT's) presteren goed bij matige compressie. Ze verwijderen redundante tokens tijdens de inferentie zonder de modelgewichten aan te passen. Echter, bij agressieve compressie (hoge verhouding van verwijderde tokens) ondervinden al deze methoden een plotselinge, "klim-achtige" daling in nauwkeurigheid (collapse).

De auteurs stellen dat dit fenomeen niet het gevolg is van specifieke ontwerpkeuzes van de individuele methoden, maar van een gemeenschappelijke structurele oorzaak:

Positieve feedback-lus: Laag-voor-laag tokenreductie creëert een cumulatieve vervorming die door het netwerk wordt versterkt.
Instabiliteit van paarsgewijze signalen: Alle bestaande methoden vertrouwen op paarsgewijze token-similariteit (pairwise similarity) voor het bepalen van token-importance. Deze signalen worden in de diepere lagen van het netwerk inherent onstabiel en willekeurig.

2. Methodologie en Diagnose Framework

De auteurs ontwikkelen een diagnostisch raamwerk om de collapse te analyseren, bestaande uit twee kerncomponenten en twee nieuwe statistieken:

A. De Error Amplifier (Signaal-agnostisch)

Elke laag-voor-laag reductie introduceert een fout die de context voor volgende lagen verandert.

Mechanisme: Suboptimale samenvoegingen (merges) of verwijderingen (evictions) leiden tot vervormde vectoren. Deze vervorming vermindert de kwaliteit van de importance-schatting in de volgende laag, wat leidt tot nog meer fouten.
Formalisatie: Dit wordt gemodelleerd als een recurrente vergelijking ( $\Delta(l+1) = \Delta(l) + \epsilon(l) \cdot r \cdot \delta$ ).
Voorspelling: De cumulatieve vervorming groeit exponentieel met de diepte ( $L$ ). Dit leidt tot de voorspelling dat de kritieke reductie-ratio ( $r_{crit}$ ) omgekeerd evenredig is met de modeldiepte: $r_{crit} \propto 1/L$ . Diepere modellen collapse dus bij lagere per-laag reductie.

B. Instabiliteit van Paarsgewijze Signalen

De trigger voor de collapse is de kwaliteit van het signaal dat bepaalt welke tokens worden verwijderd.

Paarsgewijs vs. Unair: Bestaande methoden gebruiken paarsgewijze scores ( $s(i, j)$ ), die afhankelijk zijn van $O(N_p^2)$ gezamenlijk verstoord elementen. Unaire signalen ( $s(i)$ ) zijn afhankelijk van $O(N_p)$ elementen en profiteren van de Centrale Limietstelling, waardoor ze stabieler zijn.
Diagnostische Statistieken:
- $\rho_s$ (Ranking Consistency): Meet hoe stabiel de rangschikking van tokens is onder perturbatie. In diepe lagen daalt $\rho_s$ voor paarsgewijze signalen van 0.88 naar 0.27 (bijna willekeurig), terwijl unaire signalen stabiel blijven (0.37–0.48).
- $\rho_{off}$ (Off-diagonal Correlation): Meet de correlatie tussen feature-dimensies. Een hoge $\rho_{off}$ duidt op structurele schade door verkeerde samenvoegingen (hybride vectoren).

3. Belangrijkste Bijdragen en Ontwerpprincipes

Op basis van de diagnose leiden de auteurs drie ontwerpprincipes af en presenteren CATIS (Complementary Activation Triage with Importance Scoring) als een constructieve validatie.

De drie principes (P1–P3):

P1 (Signaalklasse): Vervang paarsgewijze signalen door unaire signalen om de triggerdrempel van de error amplifier te verhogen.
P2 (Complementaire Fusie): Combineer verschillende unaire signalen die op verschillende diepten sterk zijn (bijv. activatie-functionaliteit voor ondiepe lagen en contextuele CLS-signalen voor diepere lagen) om $\rho_s$ over het hele netwerk te maximaliseren.
P3 (Triage): Introduceer een triage-mechanisme dat tokens in drie groepen verdeelt:
- Protected: Hoge zekerheid, geen reductie.
- Evict: Lage zekerheid, verwijder direct (minder schadelijk dan samenvoegen).
- Merge: Middelmatige zekerheid, voeg samen.
  Dit vermindert de effectieve reductie-ratio en routeert de meest onzekere tokens naar de minst schadelijke operatie (verwijdering in plaats van samenvoegen).

CATIS Implementatie:

Gebruikt een population-anchored unary signal (normF, een genormaliseerde Mahalanobis-afstand) en een momentum-augmented CLS-signal.
Deze signalen worden genormaliseerd en gefuseerd.
Een symmetrische, schaal-adaptieve triage verdeelt tokens en past de operaties toe.

4. Resultaten

De resultaten tonen aan dat CATIS de collapse effectief elimineert waar baselines falen:

Prestaties op ImageNet-1K: Op ViT-Large bij 63% FLOPs-reductie behoudt CATIS 96.9% van de originele nauwkeurigheid (81.0% vs. 83.64% van het origineel). Alle baselines (ToMe, ToFu, PiToMe, MCTF) collapse naar een nauwkeurigheid van 43–65%.
Robuustheid: CATIS presteert aanzienlijk beter op shifted benchmarks (ImageNet-A, R, Sketch), waar baselines vaak tot single-digit nauwkeurigheid dalen.
Validatie van Voorspellingen:
- De curve van nauwkeurigheid vs. reductie is convex (P-I).
- Diepere modellen collapse bij lagere $r$ ( $r_{crit} \propto 1/L$ ) (P-II).
- Betere signalen en bescherming vertragen de collapse (P-III).
Efficiëntie: CATIS heeft een doorvoersnelheid (throughput) die vergelijkbaar is met de snelste baselines (ToMe/ToFu) op GPU's, zonder extra inferentie-kosten.
Video Classificatie: Ook bij video-taken (VideoMAE) behoudt CATIS superioriteit bij extreme compressie.

5. Betekenis en Conclusie

Dit paper biedt een fundamentele verklaring voor waarom training-free token reduction faalt bij hoge compressie. Het toont aan dat het probleem niet in de specifieke formule van de scoring ligt, maar in de combinatorische instabiliteit van paarsgewijze signalen in combinatie met een structurele error amplifier.

De belangrijkste implicaties zijn:

Diagnostiek: De voorgestelde metrics ( $\rho_s$ en $\rho_{off}$ ) kunnen dienen als gezondheidscontrole voor toekomstige compressiemethoden voordat ze worden ingezet.
Ontwerprichting: Toekomstige methoden moeten overstappen op unaire signalen en triage-mechanismen gebruiken om de error amplifier te onderdrukken.
Generalisatie: De bevindingen zijn niet beperkt tot beeldclassificatie; ze zijn van toepassing op LLM's (KV-cache compressie), spraaktransformers en multimodale modellen, aangezien deze allemaal lijden onder dezelfde amplifier-mechanismen.

Kortom, CATIS bewijst dat het mogelijk is om training-free token reduction stabiel te houden bij agressieve compressie door de onderliggende structurele beperkingen van bestaande methoden te omzeilen.