🤖 machine learning

TAP: A Token-Adaptive Predictor Framework for Training-Free Diffusion Acceleration

Dit paper introduceert TAP, een trainingsvrij raamwerk dat de inferentiesnelheid van diffusiemodellen aanzienlijk verhoogt door voor elk token adaptief de meest nauwkeurige predictor te selecteren op basis van een lage-kostenproef, zonder perceptuele kwaliteitsverlies.

Oorspronkelijke auteurs: Haowei Zhu, Tingxuan Huang, Xing Wang, Tianyu Zhao, Jiexi Wang, Weifeng Chen, Xurui Peng, Fangmin Chen, Junhai Yong, Bin Wang

Gepubliceerd 2026-03-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Haowei Zhu, Tingxuan Huang, Xing Wang, Tianyu Zhao, Jiexi Wang, Weifeng Chen, Xurui Peng, Fangmin Chen, Junhai Yong, Bin Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kunstenaar bent die een prachtig schilderij maakt, maar je werkt met een heel trage verftechniek. Voor elk penseelstreepje moet je eerst de hele verfdoos doorzoeken, een nieuwe kleur mengen en dan pas een klein beetje op het doek zetten. Dit proces moet je duizenden keren herhalen om één afbeelding te krijgen. Dat is precies hoe Diffusiemodellen (de AI's die foto's en video's maken) werken: ze zijn briljant, maar extreem traag.

De onderzoekers van deze paper, TAP (Token-Adaptive Predictor), hebben een slimme truc bedacht om dit proces te versnellen zonder dat de kwaliteit van het schilderij eronder lijdt.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Eén Groot Plan" Aanpak

Tot nu toe deden de meeste versnellings-methoden alsof elk onderdeel van het schilderij hetzelfde gedrag vertoont. Ze dachten: "Oké, we gebruiken één simpele voorspelling voor de hele afbeelding."

Het probleem: Een luchtje in de lucht (een rustig deel) verandert heel langzaam. Een hond die rent (een dynamisch deel) verandert razendsnel. Als je voor de hond dezelfde simpele voorspelling gebruikt als voor de lucht, krijg je een wazige, vervormde hond. Als je voor de lucht een complexe berekening gebruikt, is dat een enorme tijdverspilling.

2. De Oplossing: TAP (De Slimme Chef)

TAP introduceert een nieuwe aanpak: Per-token adaptief. In plaats van één grote, saaie voorspelling voor het hele schilderij, kijkt TAP naar elk klein stukje (elk "token") van de afbeelding apart.

Stel je TAP voor als een slimme chef-kok in een drukke keuken:

De Traditionele Chef: Zegt: "We maken allemaal dezelfde soep, snel en simpel." (Snel, maar de soep is vaak niet lekker).
De TAP-Chef: Kijkt naar elke pan in de keuken.
- Pan A (de rustige soep): "Ah, dit verandert niet snel. Ik gebruik een simpele schatting en sla de zware kookstap over."
- Pan B (de pittige stoofpot): "Oeps, dit kookt hard en verandert snel! Ik ga de volledige, zware berekening doen om de smaak te behouden."

3. Hoe werkt de "Proef" (De Magische Truc)?

De vraag is: Hoe weet de chef welke pan welke behandeling nodig heeft, zonder eerst de hele zware berekening te doen?

TAP gebruikt een slimme proef (de "probe"):

De Smaaktest: In plaats van de hele stoofpot te koken, proeft de chef even een klein beetje van de basis (de eerste laag van het AI-model). Dit kost bijna geen tijd.
De Voorspellers: De chef heeft een team van verschillende voorspellers (zoals een simpele schatting, een complexe wiskundige formule, etc.).
De Keuze: De chef zegt: "Als ik deze simpele schatting gebruik, smaakt het proefje raar. Als ik de complexe formule gebruik, smaakt het perfect."
Het Besluit: Voor dat specifieke stukje van het schilderij kiest TAP direct de beste voorspeller.

4. Waarom is dit zo geweldig?

Geen extra training: De AI hoeft niet opnieuw te leren. Het is alsof je een bestaande keuken krijgt met een nieuwe, slimme chef die er direct in werkt.
Snelheid: Omdat TAP de "rustige" delen van het schilderij overslaat en alleen de "drukke" delen berekent, gaat het proces 6 tot 7 keer sneller.
Kwaliteit: Omdat de snelle delen niet worden gedwongen om complex te zijn, en de complexe delen niet worden verwaarloosd, blijft de foto er haarscherp en mooi uitzien. Er is geen kwaliteitsverlies.

Samenvatting in één zin

TAP is als een slimme regisseur die voor elke scène in een film beslist of er een dure camera met veel acteurs nodig is (voor de spannende actie) of dat een simpele statische shot volstaat (voor het rustige landschap), waardoor de film veel sneller gemaakt wordt zonder dat het publiek merkt dat er gespaard is.

Kortom: TAP maakt het maken van AI-afbeeldingen en video's niet alleen veel sneller, maar ook slimmer, door te begrijpen dat niet elk stukje van een afbeelding evenveel moeite nodig heeft.

Probleemstelling

Diffusiemodellen (DMs) hebben state-of-the-art prestaties geleverd in beeld- en videogeneratie, maar lijden onder een fundamenteel snelheidsprobleem tijdens de inferentie. Het generatieproces vereist herhaalde volledige "denoising"-passes door een groot en rekenintensief model. Bestaande versnellingsmethoden proberen dit op te lossen door:

Het aantal sampling-steps te verminderen (bijv. DDIM, DPM-Solver), wat vaak ten koste gaat van de kwaliteit.
De kosten per stap te verlagen door features te hergebruiken of te voorspellen (caching en forecasting).

Echter, de meeste bestaande methoden passen een globale, statische voorspellingsstrategie toe op alle tokens (beeldpunten) en tijdstappen. Dit negeert de empirische realiteit dat de tijdsdynamiek van tokens sterk varieert:

Sommige tokens (bijv. achtergronden) evolueren langzaam en kunnen worden voorspeld met eenvoudige methoden.
Andere tokens (bijv. randen, bewegende objecten) ondergaan snelle veranderingen en vereisen complexere voorspellers om truncatiefouten te voorkomen.
Het toepassen van één vaste voorspeller leidt tot foutopbouw en kwaliteitsverlies, vooral bij agressieve versnelling.

Methodologie: TAP (Token-Adaptive Predictor)

TAP is een trainingsvrij (training-free) raamwerk dat dynamisch de meest geschikte voorspeller selecteert voor elk token op elke sampling-stap. Het werkt volgens een "probe-then-select" strategie:

Compacte Caching en Probing:
- Aan het begin van een venster van $N$ stappen voert TAP één volledige model-evaluatie uit.
- Tijdens deze stap worden twee compacte proxies opgeslagen: de gemoduleerde invoer van de eerste laag ( $h_t$ ) en het globale residu ( $r_t$ ) tussen invoer en uitvoer.
- Voor de volgende $N-1$ stappen wordt de volledige forward pass voor deze tokens overgeslagen.
De Taylor Predictor Familie:
- TAP beschikt over een compacte set kandidaat-voorspellers, voornamelijk gebaseerd op Taylor-uitbreidingen met variërende orde (complexiteit) en voorspeld horizon (afstand tot het uitbreidingspunt).
- Dit creëert een diverse pool van voorspellers die geschikt zijn voor verschillende soorten token-dynamiek (van stabiel tot chaotisch).
Probe-then-Select Mechanisme:
- In plaats van de volledige modeluitvoer te berekenen, gebruikt TAP de opgeslagen gemoduleerde invoer ( $h_t$ ) als een lichtgewicht probe.
- Voor elk token worden de kandidaat-voorspellers parallel uitgevoerd om een voorspelde invoer te genereren.
- Er wordt een proxy-verlies (bijv. cosinus-afstand) berekend tussen de voorspelde invoer en de werkelijke opgeslagen invoer.
- Voor elk token wordt de voorspeller geselecteerd die het kleinste proxy-verlies heeft.
- De output van deze geselecteerde voorspeller wordt gebruikt om de rest van het model te vervangen voor die specifieke stap.
Voordelen van de aanpak:
- Geen handmatige drempels: De selectie is gebaseerd op relatieve fouten tussen voorspellers, niet op handmatig ingestelde drempelwaarden.
- Lage overhead: De extra berekening is minimaal (alleen de eerste laag en pointwise operaties).
- Geheugenefficiëntie: TAP cacheert alleen de eerste laag en het residu ( $O(1)$ geheugen t.o.v. modeldiepte), in tegenstelling tot methoden die alle lagen cacheën ( $O(L)$ ).

Belangrijkste Bijdragen

Token-Adaptief Raamwerk: TAP introduceert een methode die per-token adaptiviteit introduceert in diffusieversnelling, wat de heterogeniteit in tijdsdynamiek benut zonder extra training.
Taylor Predictor Familie: Het paper identificeert dat superieure voorspellingen ontstaan bij verschillende Taylor-ordes en voorspeld-horizons, en stelt een diverse familie van voorspellers voor om dit te dekken.
Uitgebreide Evaluatie: Het framework is getest op meerdere architecturen (FLUX.1-dev, Qwen-Image, HunyuanVideo) en toont consistent betere prestaties dan bestaande baselines.

Resultaten

Experimenten tonen aan dat TAP de afweging tussen nauwkeurigheid en efficiëntie aanzienlijk verbetert:

Snelheid: TAP bereikt versnellingen tot 6.24x op FLUX.1-dev en 4.98x op HunyuanVideo.
Kwaliteit: In tegenstelling tot directe hergebruiksmethoden (zoals TeaCache) of globale voorspellers (zoals TaylorSeer), behoudt TAP de perceptuele kwaliteit en trouw aan de tekstcondities zelfs bij hoge versnellingen.
- Bij FLUX.1-dev (6.24x versnelling) behoudt TAP de ImageReward en CLIP-score zonder meetbaar kwaliteitsverlies, terwijl andere methoden significant achteruitgaan.
- Op VBench (video) behoudt TAP een score van 65.46 (vs. 66.61 voor de baseline) bij 4.98x versnelling.
Efficiëntie: De extra GPU-geheugennood is verwaarloosbaar (ongeveer 0.1 GB of 0.3% van het originele model) en de extra FLOPs zijn minimaal.
Vergelijking: TAP presteert beter dan state-of-the-art methoden zoals FORA, TeaCache, TaylorSeer en SpeCa, zowel in kwantitatieve metrics (PSNR, SSIM, ImageReward) als in kwalitatieve visualisaties (minder vervorming, betere details).

Betekenis

TAP vertegenwoordigt een belangrijke doorbraak in de efficiënte inferentie van diffusiemodellen. Het lost het dilemma op tussen het gebruik van één simpele voorspeller (goedkoop maar onnauwkeurig) en complexe, handmatig getuned systemen. Door per-token adaptiviteit te combineren met een trainingsvrij, probe-gedreven mechanisme, maakt TAP het mogelijk om diffusiemodellen aanzienlijk sneller te draaien zonder de generatiekwaliteit te offeren. Dit maakt high-fidelity generatie van beelden en video's praktischer voor real-time toepassingen en verlaagt de rekenkosten voor grote modellen.