💻 computer science

Teacher-Feature Drifting: One-Step Diffusion Distillation with Pretrained Diffusion Representations

Dit artikel stelt een vereenvoudigde één-staps diffusiedistillatiemethode voor die gebruikmaakt van de eigen tussenliggende verborgen toestanden van het vooraf getrainde lerarenmodel als kenmerkrepresentaties om de noodzaak van aanvullende netwerken te elimineren, terwijl het een lichtgewicht modusdekkingverlies integreert om hoogwaardige, diverse afbeeldingsgeneratie met concurrerende FID-scores te bereiken.

Oorspronkelijke auteurs: Yuan Zhang, Chenyi Li, Guoqing Ma, Jiajun Zha, Yuanming Yang, Bo Wang, Wei Tang, Wenbo Li, Haoyang Huang, Nan Duan

Gepubliceerd 2026-05-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuan Zhang, Chenyi Li, Guoqing Ma, Jiajun Zha, Yuanming Yang, Bo Wang, Wei Tang, Wenbo Li, Haoyang Huang, Nan Duan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok (de Leraar) hebt die beroemd is om het maken van de meest heerlijke, hoogwaardige gerechten. Deze kok is echter ongelooflijk traag. Om een enkel perfect maaltje te maken, moet hij de ingrediënten 50 of 100 keer proeven, aanpassen en verfijnen voordat hij het serveert. Je wilt een studentkok (de Student) die net zo goed een gerecht kan maken, maar dan in één enkele stap.

Dit artikel introduceert een nieuwe manier om die studentkok te onderwijzen, genaamd Teacher-Feature Drifting (TFD). Zo werkt het, met behulp van eenvoudige analogieën:

1. Het Probleem: Te Veel Stappen

Meestal moet je, om een student te leren koken zoals een meester, hem de meester stap-voor-stap laten kijken hoe die kookt, of gebruik je een aparte "proefrobot" om hun eten te beoordelen. Deze methoden zijn ingewikkeld, vereisen extra apparatuur of kosten veel tijd om te trainen.

2. De Oplossing: Het Gebruik van de Eigen "Interne Kompas" van de Meester

De auteurs beseften dat de Meesterkok (het voorgeöordeelde Diffusiemodel) al een ingebouwd "smaakvermogen" in zijn brein heeft. Zelfs tijdens het koken verwerkt het brein van de Meester het voedsel in verschillende stadia (snijden, mengen, sudderen).

In plaats van een aparte proefrobot in te huren, gebruikt TFD de eigen hersentoestanden van de Meester als meetlat.

De Truc: Wanneer de student probeert een gerecht te maken, kijkt het systeem na wat het brein van de Meester op dat exacte moment dacht, als de Meester hetzelfde gerecht zou maken.
Het "Driften": Stel je voor dat het gerecht van de student een boot is. Het brein van de Meester creëert een stroming die de boot zachtjes duwt naar het "perfecte gerecht" en wegduwt van "slechte gerechten". De student hoeft alleen maar zijn boot te sturen in de richting die de stroming aangeeft.

3. Het Geheime Ingrediënt: Iets "Ruis"

Het artikel ontdekte iets verrassends: als je de Meesterkok vraagt een gerecht te beoordelen dat perfect schoon en afgewerkt is, is het oordeel te scherp en kieskeurig. Het is alsof je probeert een schilderij te beoordelen terwijl je erdoorheen kijkt door een microscoop; je kunt afgeleid worden door kleine stofdeeltjes.

In plaats daarvan ontdekten de auteurs dat het het beste werkt als ze de Meester een gerecht laten zien dat iets wazig of "ruisig" is (zoals een foto die nog niet helemaal scherp is).

Waarom? Deze "wazigheid" gladstrijkt het oordeel van de Meester. Het voorkomt dat de student zich obsessief concentreert op kleine, onbelangrijke details en helpt hem zich te focussen op het grote geheel (de vorm, de kleuren, de algehele sfeer). Dit maakt het leerproces veel soepeler en het eindresultaat beter.

4. Het "Kopieerders"-Probleem Vermijden

Een veelvoorkomend probleem bij het onderwijzen van AI is Mode Collapse. Dit is als een studentkok die leert één perfect pizza te maken en vervolgens besluit om voor elke bestelling exact datzelfde pizza te maken, zelfs als de klant om een salade vroeg. De student stopt met het verkennen van variatie.

Om dit op te lossen, voegden de auteurs een "Coverage Loss" (of Anchor-Margin Loss) toe.

De Analogie: Stel je voor dat de Meesterkok een kaart heeft van alle heerlijke gerechten die hij kan maken. De student krijgt de opdracht: "Sta niet alleen op één plek op de kaart. Zorg ervoor dat je verschillende gebieden van de kaart bezoekt."
Het systeem controleert: "Heeft de student geprobeerd een gerecht te maken dat dit specifieke deel van de kaart van de Meester bestrijkt?" Als de student een gebied negeert, duwt het systeem hem naar die plek. Dit zorgt ervoor dat de student leert een breed scala aan gerechten te maken, niet slechts één type.

De Resultaten

Het artikel testte deze methode uit op twee grote uitdagingen:

ImageNet: Het maken van afbeeldingen van 1.000 verschillende objecten. De nieuwe methode creëerde hoogwaardige afbeeldingen in één stap die bijna net zo goed waren als de trage, 50-staps meesterkok, en veel beter dan andere snelle methoden.
SDXL (Tekst-naar-Afbeelding): Het omzetten van woorden zoals "een kat met een hoed" in afbeeldingen. Ook hier deed de nieuwe methode dit in één stap met hoge kwaliteit en goede variatie.

Samenvatting

Kortom, dit artikel zegt: "Huur geen nieuwe leraar in om je student te onderwijzen. Gebruik gewoon de eigen interne gedachten van de Meester als leidraad, voeg een beetje 'wazigheid' toe om de lessen makkelijker te begrijpen, en zorg ervoor dat de student het hele menu verkent, niet slechts één gerecht."

Dit maakt training snel, eenvoudig en effectief, en verwijdert de behoefte aan complexe extra hulpmiddelen.

Technische Samenvatting: Teacher-Feature Drifting (TFD)

Probleemstelling

Voorgeöefende diffusie- en flow-matching-modellen bereiken beeldgeneratie van hoge kwaliteit, maar lijden onder dure inferentiekosten, waarbij vaak tientallen of honderden forward-passes nodig zijn om één enkel beeld te genereren. Hoewel distillatiemethoden bestaan om deze multi-stap leraren te comprimeren tot efficiënte één-stap of weinig-stap generators, kampen huidige benaderingen met aanzienlijke complexiteit. Methoden zoals Distribution Matching Distillation (DMD) en zijn varianten vertrouwen op auxiliaire netwerken (bijvoorbeeld fake-score netwerken, adversariale discriminators) of multi-stap trainingschema's. Andere benaderingen, zoals Consistency Models, kunnen last hebben van instabiele training of vereisen complexe Jacobiaan-vector producten. Bovendien zijn recente "Drifting Model"-doelstellingen, die een directe aantrekkings-afstotingsverliesfunctie bieden voor één-stap generatie, doorgaans afhankelijk van een extern vooraf getraind feature-extractor (bijvoorbeeld zelftoezichtmodellen of latent-MAE) om de representatieruimte te definiëren. Dit introduceert extra trainingskosten en architecturale complexiteit.

Het kernprobleem dat wordt aangepakt, is hoe efficiënte, hoogwaardige één-stap diffusiedistillatie kan worden bereikt met behulp van een enkel doel zonder te vertrouwen op auxiliaire netwerken, complexe optimalisatiepijplijnen of externe feature-extractors.

Methodologie: Teacher-Feature Drifting (TFD)

De auteurs stellen Teacher-Feature Drifting (TFD) voor, een kader dat één-stap distillatie vereenvoudigt door gebruik te maken van de interne representaties van het vooraf getrainde lerarenmodel zelf.

1. Leraren-geïnduceerde Representatieruimte

In tegenstelling tot het originele Drifting Model, dat een externe feature-encoder vereist, gebruikt TFD de intermediare verborgen toestanden van de bevroren vooraf getrainde leraar als feature-ruimte voor het berekenen van het drifting-verlies.

Mechanisme: Voor een gegenereerd steekproef $x$ en een echte steekproef $x^+$ worden features geëxtraheerd uit specifieke lagen $\ell$ van het leraarnetwerk $T$ : $\phi^\ell_T(x, c) = h^\ell_T(x, t_f, c)$ .
Drifting-verlies: Het driftend veld wordt direct in deze leraar-geïnduceerde ruimte berekend. De generator $f_\theta$ wordt geoptimaliseerd om de afstand te minimaliseren tussen zijn output en een "bevroren getransporteerd doel" dat wordt gedefinieerd door het aantrekkings-afstotingsveld van de feature-ruimte van de leraar. Dit brengt het distillatiedoel in lijn met het model dat wordt gedistilleerd, waardoor de noodzaak voor een apart representatienetwerk wordt geëlimineerd.

2. Ge噪ste Feature-extractie

Een belangrijke empirische bevinding is dat het extraheren van features van matig ge噪ste invoer betere resultaten oplevert dan het gebruik van schone steekproeven.

Voordat een steekproef aan de leraar wordt aangeboden voor feature-extractie, wordt deze verstoord met het forward-noising-proces van de leraar: $x_{tf} = x + \sigma_{tf} \xi$ .
De auteurs hypothetiseren dat deze verstoring de feature-geometrie van de leraar gladstrijkt, hoogfrequente discrepanties onderdrukt en de representatieruimte geschikter maakt voor distributie-niveau matching. Experimenten geven aan dat een ruisniveau van $\sigma_{tf} = 0.1$ optimaal is.

3. Anker-Marge Regularisatie

Om het probleem van mode-collaps aan te pakken (waarbij de generator faalt om diverse gebieden te dekken die door de leraar worden ondersteund), introduceren de auteurs een lichtgewicht anker-marge-verlies.

Ankers: Een set ankerfeatures $\{a_i\}$ wordt geëxtraheerd uit echte of door de leraar gegenereerde steekproeven.
Mechanisme: Het verlies moedigt gegenereerde steekproeven aan om gebieden rond deze ankers te bezetten. Het past adaptief de vereiste "ondersteuning" aan voor elke anker op basis van de lokale dichtheid van de ankerdistributie zelf.
Doel: Dit biedt een complementair dekkingssignaal voor het lokale aantrekkings-afstotings drifting-doel, waarbij wordt gegarandeerd dat de student-generator diverse door de leraar ondersteunde gebieden dekt zonder nieuwe netwerken in te voeren.

De uiteindelijke doelwitfunctie combineert het Teacher-Feature Drifting-verlies ( $L_{TFD}$ ) en het anker-marge-verlies ( $L_{anchor}$ ):
$L = L_{TFD} + \lambda_{anchor} L_{anchor}$

Belangrijkste Bijdragen

Vereenvoudigd Kader: TFD stelt een één-stap diffusiedistillatiekader voor dat het driftend doel direct berekent in de verborgen representatieruimte van de vooraf getrainde leraar, waardoor de noodzaak voor een extra representatienetwerk wordt verwijderd.
Ge噪ste Feature-extractie: Het werk toont aan dat het extraheren van leraarfeatures van matig ge噪ste invoer de feature-geometrie voor distillatie verbetert, wat leidt tot betere FID-scores.
Mitigatie van Mode-collaps: Een lichtgewicht anker-marge-verlies wordt geïntroduceerd om steekproefdiversiteit en dekking van door de leraar ondersteunde feature-gebieden te bevorderen, waarmee een veelvoorkomende faalmodus in distillatie wordt aangepakt.
Prestaties: De methode bereikt concurrerende beeldkwaliteit en diversiteit met één forward-pass, waardoor de algehele distillatiepijplijn aanzienlijk wordt vereenvoudigd in vergelijking met state-of-the-art baselines.

Experimentele Resultaten

De auteurs hebben TFD geëvalueerd op ImageNet-64×64 (klasse-voorwaardelijk) en SDXL (tekst-naar-beeld) generatie.

ImageNet-64×64:
- TFD behaalde een FID van 1,58 met één forward-pass na 200k trainingiteraties.
- Dit resultaat is concurrerend met DMD2 (FID 1,51) en presteert significant beter dan andere één-stap baselines zoals DMD (2,62), EMD (2,20) en CTM (1,92).
- Convergentie: TFD bereikte FID $\le$ 10 in 1,0k updates, terwijl de DMD2-baseline 5,5k updates vereiste (5,5x sneller). Het bereikte FID $\le$ 3 in 12,5k updates in vergelijking met 24,0k voor DMD2.
SDXL Tekst-naar-beeld:
- Op het COCO 2014-dataset behaalde TFD een FID van 18,39 met één forward-pass, en presteerde beter dan andere gedistilleerde SDXL-varianten (bijvoorbeeld DMD2 op 19,01, SDXL-Turbo op 24,57).
- Het behield een concurrerende CLIP-score van 0,332, wat sterke tekst-beelduitlijning aangeeft.
- Kwalitatieve resultaten toonden aan dat TFD coherente structuur, visuele details en prompt-uitlijning behoudt die vergelijkbaar zijn met 4-stap gedistilleerde baselines en de 50-stap leraar, ondanks het gebruik van slechts één stap.

Betekenis en Beweringen

Het artikel beweert dat TFD een eenvoudiger en efficiënter alternatief biedt voor bestaande distillatiekaders. Door het lerarenmodel zelf als feature-extractor te gebruiken, vermijdt TFD de complexiteit van het trainen van auxiliaire netwerken of het ontwerpen van multi-stap pijplijnen. De introductie van ge噪ste feature-extractie en anker-marge regularisatie adresseert specifieke uitdagingen in representatie-geometrie en mode-dekking, respectievelijk.

De auteurs positioneren TFD als een methode die efficiënte één-stap generatie met concurrerende beeldkwaliteit en diversiteit bereikt, en demonstreren dat een enkel doel in de native representatieruimte van de leraar voldoende is voor distillatie van hoge kwaliteit. Het werk suggereert dat het concept van "drifting" effectief kan worden gerealiseerd zonder externe feature-encoders, mits de interne toestanden van de leraar correct worden benut.

Beperkingen: De auteurs merken op dat het huidige werk zich richt op U-Net-gebaseerde leraren en nog niet Diffusion Transformer (DiT)-architecturen heeft onderzocht. Bovendien ontbreekt er momenteel theoretische richtlijnen voor de selectie van feature-lagen en ruisniveaus, en is de methode niet getest op grootschaligere datasets of hogere resolutie-instellingen dan de huidige experimenten.