🤖 AI

LESA: Learnable Stage-Aware Predictors for Diffusion Model Acceleration

Deze paper introduceert LESA, een trainbaar framework met stage-bewuste voorspellers op basis van Kolmogorov-Arnold-netwerken dat de inferentie van Diffusion Transformers aanzienlijk versnelt zonder in te leveren op de generatiekwaliteit.

Oorspronkelijke auteurs: Peiliang Cai, Jiacheng Liu, Haowen Xu, Xinyu Wang, Chang Zou, Linfeng Zhang

Gepubliceerd 2026-03-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Peiliang Cai, Jiacheng Liu, Haowen Xu, Xinyu Wang, Chang Zou, Linfeng Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kunstenaar bent die een prachtig schilderij maakt, maar in plaats van elke penseelstreek zelf te doen, gebruik je een magische machine die het werk voor je doet. Deze machine heet een Diffusiemodel. Het werkt stap voor stap: het begint met een potje modder (ruis) en maakt er langzaam een helder beeld van.

Het probleem? Deze machine is traag. Om één mooi plaatje te maken, moet hij honderden kleine stappen zetten. Het is alsof je een hele berg moet beklimpen, maar je moet elke stap heel langzaam en voorzichtig zetten.

De onderzoekers van dit paper (LESA) hebben een slimme oplossing bedacht om deze klim te versnellen, zonder dat het schilderij er minder mooi uitziet. Hier is hoe ze het doen, vertaald naar alledaags taal:

1. Het Probleem: De "Vaste Voorspelling" werkt niet

Vroeger probeerden mensen de machine te versnellen door te zeggen: "Hé, de stap die we net hebben gedaan, lijkt wel erg op de volgende stap. Laten we die volgende stap gewoon kopiëren!" of "Laten we een rechte lijn trekken en voorspellen waar we over 5 stappen zijn."

Dit werkt soms, maar het heeft een groot nadeel. Het leven (en het maken van een schilderij) is niet altijd een rechte lijn.

Aan het begin (wanneer het nog modderig is) verandert er heel veel, heel snel. Het is een chaos.
In het midden gaat het rustiger, het is een gladde weg.
Aan het einde (wanneer het beeld bijna klaar is) moet je heel voorzichtig zijn met de kleine details, zoals de ogen van een kat of de glans op een appel.

Als je voor alle fases dezelfde voorspelling gebruikt (bijvoorbeeld "kopiëren" of "rechte lijn"), mis je de nuances. Je krijgt dan een schilderij dat wazig is of rare vlekken heeft.

2. De Oplossing: LESA (De Slimme Gids)

LESA is als een slimme gids die weet dat je verschillende strategieën nodig hebt voor verschillende delen van de berg.

In plaats van één vaste regel, heeft LESA drie gespecialiseerde experts in huis:

De Chaos-expert: Voor het begin, waar het nog heel onrustig is. Deze expert weet dat er grote sprongen nodig zijn en dat de veranderingen wild zijn.
De Rust-expert: Voor het midden, waar het rustig gaat. Deze expert weet dat de veranderingen soepel en voorspelbaar zijn.
De Detail-expert: Voor het einde, waar de fijne details worden toegevoegd. Deze expert is superzorgvuldig en kijkt precies naar wat er nodig is om het plaatje perfect te maken.

3. De Magische Tool: KAN (De Chameleons)

Hoe leren deze experts zo goed te zijn? Ze gebruiken een nieuw type hersenen voor computers, genaamd KAN (Kolmogorov-Arnold Netwerk).

Stel je een gewone computer (MLP) voor als een stempel: hij kan alleen vormen stempelen die hij al kent. Als de vorm verandert, past hij zich niet goed aan.
Een KAN is meer als een chameleon. Hij kan zijn vorm en gedrag volledig aanpassen aan wat hij ziet. Hij leert de exacte manier waarop de "ruis" verandert in een helder beeld, precies op het moment dat het nodig is. Hij is niet star; hij is flexibel en leert van de data.

4. De Twee-Fase Training (Leren en Oefenen)

Om deze experts zo goed mogelijk te maken, trainen ze ze in twee fases:

Fase 1 (De Theorieles): Ze laten de experts kijken naar het perfecte schilderij (de "Ground Truth") en zeggen: "Kijk hoe dit eruitziet, en leer hoe je daar naartoe gaat."
Fase 2 (De Praktijkles): Nu laten ze de experts zelf proberen te voorspellen, maar dan met een twist. Als ze een foutje maken, gebruiken ze dat foutje als input voor de volgende stap. Dit is alsof je een fiets leert rijden: eerst op een vlakke weg, en dan op een weg met hobbels, zodat je leert hoe je je evenwicht houdt als je een beetje schuurt. Dit zorgt ervoor dat ze niet snel "uit balans" raken als ze echt snel moeten werken.

Het Resultaat: Snel en Mooi

Dankzij deze methode kan de machine nu 6 keer sneller werken!

Bij FLUX (een populaire beeldgenerator) is het 5 keer sneller, met bijna geen kwaliteitsverlies.
Bij Qwen-Image is het 6,25 keer sneller, en het resultaat is zelfs beter dan de vorige beste methoden.
Bij HunyuanVideo (voor video's) werkt het ook fantastisch, met veel scherper beeld en minder ruis.

Kort samengevat:
LESA is als het hebben van een team van drie gespecialiseerde schilders in plaats van één algemene schilder. De één is goed voor de ruwe schets, de ander voor de basisverf, en de derde voor de fijne details. Door de juiste expert op het juiste moment in te schakelen, en door ze te leren met een slimme "chameleon-methode", kunnen ze het schilderij in een flits maken, zonder dat het er minder mooi uitziet.

1. Het Probleem

Diffusiemodellen, en met name Diffusion Transformers (DiTs), hebben indrukwekkende resultaten geboekt in het genereren van afbeeldingen en video's. Echter, hun praktische inzet wordt beperkt door de enorme rekenkracht die nodig is voor de iteratieve denoising-processen.

Bestaande versnellingsmethoden, zoals Feature Caching, proberen redundantie tussen tijdstappen te benutten. Deze vallen uiteen in twee categorieën:

Cache-Then-Reuse: Hergebruikt features van de vorige stap direct. Dit negeert de evolutie van features en leidt tot foutopbouw.
Cache-Then-Forecast (bijv. TaylorSeer): Gebruikt trainingsvrije technieken (zoals Taylor-reeksen) om features te voorspellen op basis van de aanname dat feature-evolutie glad en continu is.

De kernprobleem: De auteurs tonen aan dat de dynamiek van diffusiemodellen niet uniform is. Het proces kent verschillende fasen:

Hoge ruis: Drastische en onstabiele veranderingen.
Middenfase: Stabiele en continue evolutie.
Lage ruis: Fijnmazige detailherstelling.
Bestaande methoden gebruiken één vaste voorspellingsstrategie voor het hele proces, wat leidt tot kwaliteitsverlies en inconsistentie, vooral bij hoge versnelling.

2. Methodologie: LESA Framework

LESA (Learnable Stage-Aware predictors) is een trainingsgebaseerd raamwerk dat specifiek de tijdsafhankelijke dynamiek van het diffusieproces modelleert.

A. KAN-gebaseerde Temporele Modellering

In plaats van vaste polynomen, gebruikt LESA een Kolmogorov-Arnold Network (KAN) als voorspeller.

Voordeel: KAN's gebruiken leerbare spline-functies in plaats van vaste activatiefuncties (zoals in MLP's). Dit maakt ze uiterst efficiënt in het benaderen van complexe, niet-lineaire tijdsdynamieken met minder parameters.
Werking: De voorspeller neemt een reeks opgeslagen features van de afgelopen $K$ stappen en de tijdstap-embeddings als input. Een lineaire projectie verwerkt de features, terwijl de KAN-module een scalair moduleringsfactor ( $\alpha$ ) leert die de sterkte van de update bepaalt op basis van de tijdsafstand.

B. Stage-Aware Multi-Expert Architectuur

LESA verdeelt het denoising-traject in discrete fasen gebaseerd op het ruisniveau en wijst een specifiek expert-predictor toe aan elke fase:

Hoge ruis expert: Handhaaft de fase van snelle, drastische veranderingen (gebruikt een korter tijdsvenster, $K=4$ ).
Midden ruis expert: Beheert de stabiele, continue fase (gebruikt een langer venster, $K=8$ ).
Lage ruis expert: Zorgt voor de fijne detailherstelling.
Deze specialisatie zorgt ervoor dat elke fase wordt gemodelleerd met de juiste statistische en structurele eigenschappen.

C. Twee-staps Trainingsstrategie

Om robuustheid tegen voorspellingsdrift (error accumulation) te garanderen, wordt een tweefasige training gebruikt:

Ground-Truth Guided Training: De predictor leert de denoising-dynamiek door de voorspellingen te vergelijken met de echte (ground-truth) features van het model.
Closed-Loop Autoregressive Training (CL-AR): De predictor wordt getraind met zijn eigen eerdere voorspellingen als input (in plaats van ground truth). Dit simuleert de inferentie-omgeving en leert het model omgaan met opgebouwde fouten, wat essentieel is voor snelle, multi-stap inferentie.

3. Belangrijkste Bijdragen

Leerbaar Tijdsvoorspellingskader: Introductie van een parameter-efficiënte predictor op basis van KAN die tijdsdynamiek direct leert uit activaties, waardoor de beperkingen van trainingsvrije methoden worden overwonnen.
Stage-Aware Multi-Expert Architectuur: Een ontwerp dat het denoising-proces opsplits in fasen met gespecialiseerde experts, wat zorgt voor nauwkeurige modellering van unieke feature-dynamieken op verschillende ruisniveaus.
Robuuste Twee-staps Training: Een strategie die begint met ground-truth geleiding en overgaat naar autoregressieve training, wat stabiliteit garandeert tijdens versnelde inferentie.

4. Resultaten

LESA is geëvalueerd op state-of-the-art modellen voor tekst-naar-afbeelding (FLUX.1-dev, Qwen-Image) en tekst-naar-video (HunyuanVideo).

FLUX.1-dev: Bereikt 5.00x versnelling met slechts een minimale kwaliteitsdaling (1.0% drop in ImageReward).
Qwen-Image: Bereikt 6.25x versnelling met een 20.2% verbetering in kwaliteit ten opzichte van de vorige SOTA (TaylorSeer).
HunyuanVideo: Bereikt 5.00x versnelling met een 24.7% verbetering in PSNR ten opzichte van TaylorSeer.
Kwaliteit: In tegenstelling tot andere methoden die bij hoge versnelling vaak leiden tot structurele vervorming of kleurverlies, behoudt LESA de ruimtelijke samenhang, kleurconsistentie en semantische coherentie.

5. Betekenis en Impact

Dit paper markeert een verschuiving van "trainingsvrije" heuristieken naar trainingsgebaseerde, leerbare oplossingen voor diffusieversnelling.

Algemene Toepasbaarheid: De methode werkt effectief over verschillende modelarchitecturen (DiT, U-Net) en modaliteiten (afbeelding en video).
Efficiëntie: Door de KAN-architectuur en de stage-aware aanpak wordt bereikt dat hoge versnelling niet langer ten koste gaat van de kwaliteit.
Toekomst: LESA opent de deur voor real-time of bijna real-time generatie van hoogwaardige media op minder krachtige hardware, wat cruciaal is voor de praktische implementatie van generatieve AI.

Kortom, LESA lost het fundamentele probleem op dat diffusiemodellen niet-lineaire, fase-afhankelijke dynamieken hebben die door eenvoudige voorspellingsmodellen niet kunnen worden gevangen, en biedt hiermee een robuust en kwalitatief hoogstaand alternatief voor bestaande versnellingstechnieken.