🤖 AI

Collaborative Few-Step Distillation and Low-Bit Quantization for Wan2.2 Dual-Expert Video Diffusion Models

Dit artikel stelt een collaboratieve deployment-pipeline voor voor het Wan2.2 video-diffusiemodel die few-step distillatie combineert met low-bit kwantisatie om de computationele kosten aanzienlijk te verlagen, terwijl de visuele kwaliteit van de originele full-precision baseline behouden blijft of zelfs wordt overtroffen.

Oorspronkelijke auteurs: Jinyang Du, Shenghao Jin, Ziqian Xu, Ruihao Gong, Shiqiao Gu, Yang Yong, Jinyang Guo, Xianglong Liu

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jinyang Du, Shenghao Jin, Ziqian Xu, Ruihao Gong, Shiqiao Gu, Yang Yong, Jinyang Guo, Xianglong Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok hebt (het Wan2.2 AI-model) die beroemd is om het creëren van ongelooflijk heerlijke, high-definition videomaaltijden. Maar er is een addertje onder het gras: om één maaltijd te bereiden, moet deze chef 40 kleine, precieze stappen zetten, en ze hebben een enorme, dure keuken nodig (enorm computergeheugen). Dit maakt het te traag en te kostbaar om aan gewone klanten te serveren.

Het paper presenteert een nieuw recept om deze chef sneller en goedkoper te laten draaien zonder de smaak van de maaltijd te verpesten. Ze doen dit met twee belangrijke trucs: de chef leren om sneller te koken en de ingrediënten compacter te verpakken.

Hier is hoe ze het deden, eenvoudig uitgelegd:

1. De "Twee-Chefs" Keuken (Dual-Expert Architectuur)

Eerst moet je de unieke stijl van de chef begrijpen. Dit is niet zomaar één chef; het is een team van twee specialisten die in ploegendienst werken:

De "Grote Plaatjes" Chef (High-Noise Expert): Werkt aan het begin van het proces. Deze bepaalt waar de objecten komen te staan, hoe de camera beweegt en de algemene lay-out van de scène.
De "Details" Chef (Low-Noise Expert): Werkt later. Deze voegt de fijne texturen, belichting toe en maakt de beweging vloeiend.

Het Probleem: De meeste compressiemethoden behandelen de keuken als één grote kamer. Maar omdat deze keuken twee duidelijke ploegendiensten heeft, zorgt het samenpersen van alles voor verwarring. De "Grote Plaatjes" chef raakt in de war met de gereedschappen van de "Details" chef.

De Oplossing: De onderzoekers behandelden de twee ploegendiensten apart. Ze kalibreerden (stemden af) de gereedschappen voor de "Grote Plaatjes" chef specifiek voor die taak, en de gereedschappen van de "Details" chef specifiek voor de hare. Dit zorgt ervoor dat wanneer de "Grote Plaatjes" chef aan het werk is, hij niet per ongeluk de verkeerde gereedschappen gebruikt die bedoeld zijn voor de "Details"-fase.

2. De "Speed-Run" Training (Few-Step Distillation)

Normaal gesproken doet de chef 40 stappen om een gerecht te voltooien. De onderzoekers wilden dit terugbrengen naar slechts 20 stappen.

De Foute Manier: Je kunt niet simpelweg tegen de chef zeggen: "Stop na stap 20." Als je dat doet, is het gerecht half gekookt en smaakt het slecht.
De Goede Manier (Distillatie): Ze trainden een "student-chef" om het volledige 40-stappenproces te leren, maar compacter in een routine van 20 stappen. De student leert om de saaie, repetitieve delen over te slaan en direct naar de belangrijke veranderingen te springen. Nu kan de student een bijna identieke maaltijd produceren in de helft van de tijd.

3. De "Compacte Verpakking" (Low-Bit Quantization)

Zelfs met de snellere student-chef is de keuken nog steeds te groot voor een klein appartement (beperkt computergeheugen). Ze moesten de ingrediënten verkleinen.

De Analogie: Stel je voor dat de ingrediënten worden gemeten in enorme, zware emmers (hoge precisie). Om ruimte te besparen, stapten ze over op kleine, lichtgewicht bekers (low-bit quantization).
Het Risico: Als je de emmers zomaar vervangt door bekers zonder te controleren, kun je belangrijke smaak (data) verliezen of de saus morsen (fouten).
De Oplossing: Ze hebben niet alleen de emmers vervangen; ze hebben de ingrediënten opnieuw afgemeten terwijl de student-chef de 20-stappen maaltijd aan het koken was. Dit zorgde ervoor dat de kleine bekers de perfecte grootte waren voor de specifieke ingrediënten die de student daadwerkelijk gebruikte.

4. Bescherming van de "Fundering" (Entrance Layer Protection)

Bij elk bouwproject geldt: als de fundering wankel is, stort het hele gebouw in.

De Strategie: De onderzoekers realiseerden zich dat de allereerste stappen van het kookproces (waar de lay-out wordt bepaald) het meest gevoelig zijn. Als je de eerste stap verpest, is de rest van de maaltijd verpest.
De Actie: Ze hielden de gereedschappen voor de allereerste stappen in de "zware emmers" (hoge precisie) en schakelden pas later over naar de "lichte bekers". Dit beschermt de fundering terwijl er toch ruimte wordt bespaard in de rest van de keuken.

5. Het Resultaat: Een Betere Maaltijd, Sneller

Ze testten deze nieuwe opstelling met een "Voedselcriticus" (genaamd VBench) die video's beoordeelt op vijf punten:

Blijft het personage gedurende de hele tijd hetzelfde? (Subject Consistency)
Ziet het er mooi uit? (Aesthetic Quality)
Is het beeld scherp? (Imaging Quality)
Komt het overeen met de beschrijving? (Overall Consistency)
Is de beweging vloeiend? (Motion Smoothness)

De Bevindingen:

Het Zoete Punt: Ze testten het koken in 4, 8, 20 en 40 stappen.
De Winnaar: De 20-stappen versie was de kampioen. Het was veel sneller dan de originele 40-stappen versie, maar het smaakte zelfs beter (scoorde hoger op de lijst van de criticus) dan de originele volledige chef!
De Verrassing: Zelfs met de "lichte bekers" (gecomprimeerde data) presteerde het 20-stappen gecomprimeerde model net zo goed als, of zelfs iets beter dan, het ongecomprimeerde 20-stappen model.

Samenvatting

Het paper laat zien dat door een snellere student te trainen, de data compact te verpakken en de belangrijkste eerste stappen te beschermen, je een enorme video-AI op veel kleinere, goedkopere computers kunt draaien zonder kwaliteitsverlies. Sterker nog, door het juiste evenwicht te vinden (20 stappen), lieten ze de AI beter presteren dan de originele, trage versie.

Het is alsoer dat je een luxe limousine neemt, de chauffeur een kortere route leert en de zware lederen stoelen vervangt door lichtgewicht stof, om er vervolgens achter te komen dat de auto nu sneller is, minder verbruikt en nog steeds net zo comfortabel rijdt.

Technisch Overzicht: Collaboratieve Few-Step Distillatie en Low-Bit Kwantisatie voor Wan2.2 Dual-Expert Videodiffusiemodellen

1. Probleemstelling

Grote videodiffusiemodellen, zoals de Wan2.2-T2V-A14B, bereiken een hoge visuele kwaliteit maar worden geconfronteerd met aanzienlijke barrières voor implementatie door twee primaire knelpunten:

Computationele Kosten: Het iteratieve denoising-proces vereist een groot aantal sampling-stappen, wat inferentie duur maakt in termen van latentie.
Geheugenvoetafdruk: De modellen bezitten een groot aantal actieve parameters (ongeveer 27B totaal, met ~14B actief per stap in de dual-expert architectuur), wat het geheugenbudget van veel implementatiescenario's overschrijdt.

Bestaande compressiestrategieën falen vaak wanneer ze direct op deze modellen worden toegepast. Het simpelweg reduceren van het aantal sampling-stappen zonder hertraining leidt tot een slechte kwaliteit, terwijl het kwantiseren van het oorspronkelijke traject met veel stappen tijdens inferentie vaak leidt tot mismatches in de activatieverdeling, wat temporele foutpropagatie en degradatie van de videofidelity veroorzaakt. Bovendien maakt Wan2.2 gebruik van een dual-expert Mixture of Experts (MoE) architectuur (high-noise en low-noise experts), wat standaard kwantisatie-aanpakken die het model als een dense trunk behandelen bemoeilijkt.

2. Methodologie

Het artikel stelt een deployment-georiënteerde compressie-pipeline voor die few-step distillatie en low-bit kwantisatie op een co-designed manier integreert. De pipeline volgt een specifieke sequentie: modeladaptatie $\rightarrow$ few-step distillatie $\rightarrow$ low-bit kwantisatie $\rightarrow$ kalibratieconstructie $\rightarrow$ generatie $\rightarrow$ evaluatie.

Belangrijke Technische Componenten:

Dual-Expert Aware Architectuur Afhandeling:
- De pipeline respecteert de specifieke routing-mechanisme van Wan2.2, waarbij een high-noise expert de globale lay-out/beweging afhandelt en een low-noise expert de textuur/details verfijnt.
- Branch-wise Kalibratie: In plaats van activaties te poolen, legt de methode statistieken vast en kalibreert deze afzonderlijk voor de high-noise en low-noise branches. Dit voorkomt dat de kwantizer incompatibele activatieverdelingen mengt.
- Entrance-Layer Protectie: Vroege lagen en routing-gevoelige blokken worden in een hogere precisie gehouden of agressiever gekalibreerd. Dit is cruciaal omdat fouten in de initiële high-noise fase (lay-out/bewegingsinitialisatie) door de hele sequentie propageren, terwijl latere fouten vaak lokaal zijn.
Few-Step Distillatie via Distributie-Matching:
- De methode maakt gebruik van Distribution-Matching Distillation (DMD) om een korter denoising-traject te leren in plaats van enkel de sampler te inkorten.
- Het student-model wordt geoptimaliseerd om de distributie van de teacher over de gereduceerde stappen te matchen, met een stage-aware objectief ( $L_{distill} = \lambda_1 L_{high} + \lambda_2 L_{low}$ ) dat de onderscheidende rollen van de high-noise en low-noise fasen respecteert.
Co-Designed Kwantisatie:
- Trajectory-Aligned Kalibratie: Een kerninnovatie is het uitvoeren van kwantisatie-kalibratie op de gedistilleerde few-step student in plaats van op het oorspronkelijke long-step model. Dit zorgt ervoor dat de kwantizer de activatiestatistieken observeert die hij tijdens de werkelijke inferentie zal tegenkomen, wat de distributie-mismatch vermindert.
- HiF4 (HiFloat4) Representatie: De pipeline maakt gebruik van een 4-bit block floating-point formaat (HiF4) ontworpen voor low-bit inferentie. Dit formaat beschikt over een drietraps schaling-hiërarchie (Global E6M2, Level-2 E1, Level-3 E1) en een S1P2 genoteerde amplitude. Dit ontwerp biedt een brede globale dynamische range (ongeveer $2^{-50}$ tot $2^{18}$ ) om heterogene activatiebereiken over denoising-fasen heen te verwerken, terwijl lokale details behouden blijven door micro-exponenten.
- Granulariteit: Gewichten worden per kanaal gekwantiseerd, en activaties worden per token gekwantiseerd om variaties op prompt- en frame-niveau bij te houden.
Engineering en Evaluatie:
- Geheugenbeheer: Om Out-Of-Memory (OOM) fouten op enkele GPU's (bijv. 80GB H100) te voorkomen, worden kalibratie en vervanging laag-voor-laag uitgevoerd, met hulpbuffers die on-demand worden geladen.
- Closed-Loop Evaluatie: Het systeem gebruikt VBench om vijf specifieke dimensies te evalueren: Subject Consistency (SC), Aesthetic Quality (AQ), Imaging Quality (IQ), Overall Consistency (OC) en Motion Smoothness (MS). Het evaluatieprotocol zorgt voor een eerlijke vergelijking door identieke prompts, resoluties en sampling-schedules te gebruiken voor de baselines.

3. Belangrijkste Bijdragen

Co-Design van Distillatie en Kwantisatie: Het artikel toont aan dat het kalibreren van kwantisatie op de gedistilleerde few-step traject (in plaats van het oorspronkelijke long-step model) de activatie-distributie-mismatch aanzienlijk vermindert, waardoor het gecomprimeerde model een kwaliteit behoudt die dicht bij de full-precision student ligt.
MoE-Aware Compressiestrategie: De methode introduceert een branch-wise kalibratie en entrance-layer protectie schema dat specifiek is afgestemd op de dual-expert structuur van Wan2.2, wat het mengen van high-noise en low-noise activatiestatistieken voorkomt.
HiF4 Integratie voor Video Diffusion: De toepassing van de hiërarchische schaling van HiF4 blijkt effectief te zijn voor video diffusion modellen, waarbij een balans wordt gevonden tussen de noodzaak voor een brede globale range (om overflow in high-noise fasen te voorkomen) en lokale precisie (om textuur in low-noise fasen te behouden).
Empirische Validatie van Stap-Aantallen: De studie evalueert systematisch 4, 8, 20 en 40-stappen instellingen, waarbij het optimale afruilpunt voor kwaliteit en efficiëntie wordt geïdentificeerd.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op het Wan2.2-T2V-A14B model met de OpenS2V dataset voor kalibratie en VBench voor evaluatie.

Prestaties vs. Baselines:
- Bij 4 stappen behoudt het gekwantiseerde model een kleine fout ten opzichte van hetzelfde-stap full-precision model, maar blijft het achter bij de oorspronkelijke long-step baseline.
- Bij 8 stappen begint het gekwantiseerde model (Gemiddelde Score: 0.7002) de oorspronkelijke full-precision baseline (0.6976) te overtreffen.
- Bij 20 stappen bereikt het gekwantiseerde model de beste prestaties (Gemiddelde Score: 0.7074), waarmee zowel de oorspronkelijke full-precision baseline als het zelfde-stap full-precision gedistilleerde model (0.7051) wordt overtroffen.
- Bij 40 stappen vlakt de prestatie af, wat wijst op afnemende meeropbrengsten bij het verder vergroten van de trajectlengte.
Metriek Analyse (20-Stappen Instelling):
- Het gekwantiseerde model verbeterde ten opzichte van de oorspronkelijke baseline in Subject Consistency (0.9629 vs. 0.9495), Aesthetic Quality, Imaging Quality en Motion Smoothness.
- Overall Consistency bleef vergelijkbaar met het zelfde-stap model.
- De resultaten geven aan dat de distributie-gealigneerde kalibratie succesvol de low-bit verliezen herstelt zonder de temporele stabiliteit op te offeren.
Foutgevoeligheid:
- De analyse laat zien dat single-frame perturbaties primair de Imaging en Aesthetic Quality beïnvloeden, terwijl geaccumuleerde fouten over stappen heen zich manifesteren als Subject Drift en Motion Jitter. De voorgestelde methode voor bescherming van de entrance layers mitigeert de laatste effectief.

5. Betekenis en Claims

Het artikel claimt dat de voorgestelde pipeline een praktische weg biedt voor de deployment van hoogwaardige video diffusion modellen onder beperkte GPU-geheugen- en latentiebudgetten.

Kwaliteit-Efficiëntie Afruil: De auteurs identificeren de 20-stappen instelling als de optimale configuratie, die voldoende denoising-capaciteit biedt om de temporele en visuele kwaliteit te herstellen, terwijl er aanzienlijk minder stappen nodig zijn dan bij conventionele samplers.
Strategische Verschuiving: Het werk betoogt dat kwantisatie niet een "verlieslatende bijzaak" moet zijn, maar een integraal onderdeel van de acceleratiestrategie. Door distillatie en kwantisatie co-design te maken, maakt de methode van low-bit conversie een stabiel onderdeel van de inferentie-pipeline.
Deployment Gereedheid: Het gebruik van entrance-layer protectie en branch-wise kalibratie adresseert de specifieke faalmodi van dual-expert video modellen (bijv. subject drift en bewegingsinstabiliteit), waardoor het gecomprimeerde model geschikt is voor interactieve generatie en resource-beperkte batchverwerking.

Het artikel concludeert dat hoewel de huidige pipeline zich richt op post-training kwantisatie, het framework een verificatielus vestigt waarbij metriek-specifieke fouten (bijv. dalingen in Subject Consistency) directe debug-signalen bieden voor het verfijnen van kalibratie en stap-aantallen.