Technische Samenvatting: Any-OPD

Probleemstelling

Huidige on-policy distillatie (OPD) voor flow-matching en diffusiemodellen leunt op een homogeniteitsveronderstelling: de leraar (teacher) en de leerling (student) moeten dezelfde Variational Autoencoder (VAE) latent space, architectuur en ruis-schema (timestep grid) delen. Deze veronderstelling beperkt distillatie tot paren binnen dezelfde modelfamilie.

In de praktijk zijn de meest gewenste distillatiescenario's heterogeen: een gebruiker wil bijvoorbeeld een klein, efficiënt model (bijv. SD3.5-Medium) inzetten terwijl er gebruik wordt gemaakt van de superieure kwaliteit van een grote, state-of-the-art leraar uit een andere familie (bijv. FLUX.1-dev). Standaard OPD faalt in dergelijke situaties door twee fundamentele mismatches:

1. Geen gedeelde ruimte: De latents van de leraar zijn ongeldige doelwitten in het coördinatensysteem van de leerling. Bovendien faalt pixel-gewijze regressie omdat de verfijning van de leraar een stochastische her-synthese is die semantiek behoudt maar lokale details opnieuw tekent; het regresseren naar dit stochastische gemiddelde veroorzaakt trainingsinstabiliteit (training collapse) of ernstige onscherpte (blurring).
2. Geen gedeelde klok: Verschillende modellen maken gebruik van afzonderlijke noise shift-functies. Bijgevolg corresponderen identieke solver-indices (stappennummers) met verschillende ruisniveaus, waardoor index-uitgelijnde supervisie-toestanden niet vergelijkbaar zijn.

Bestaande methoden kunnen de eigen trajectorie van een leerling niet superviseren met behulp van een leraar die in een vreemde latent space en een ander ruisschema opereert.

Methodologie: Any-OPD

De auteurs stellen Any-OPD (Any Teacher, Any Student, On-Policy Distillation) voor, het eerste framework dat on-policy distillatie mogelijk maakt tussen willekeurige paren van latente flow-matching generatoren. De methode ontkoppelt de leraar en de leerling door geen enkele interne parameter van de modellen te refereren, maar vertrouwt in plaats daarvan op een derde, externe representatie en ruis-niveau uitlijning.

1. Anchoring Fase (Offline)

Om de kloof op distributieniveau aan te pakken, wordt de leerling eerst "verankerd" (anchored) aan het manifold van de leraar.

• De leraar genereert afbeeldingen vanuit prompts, die vervolgens worden opnieuw gecodeerd met de VAE van de leerling.
• Dit projecteert de output-distributie van de leraar in het latente coördinatensysteem van de leerling.
• De leerling wordt getraind via standaard flow-matching loss op deze opnieuw gecodeerde doelwitten. Dit zorgt ervoor dat de leerling leert om afbeeldingen van het "juiste type" te produceren voordat hij probeert aan on-policy verfijning te doen.

2. On-Policy Distillatie Fase

De kern van de distillatie-loop werkt zonder gedeelde latents of gesynchroniseerde tijdstappen:

• Leraar als Black-Box Sampler: De leraar fungeert puur als een ruis-en-denoise projectie-operator ($\Pi^\sigma_T$). Gegeven een sample van de leerling, voegt de leraar opnieuw ruis toe aan een specifiek ruisniveau $\sigma$ en genereert een verfijnde versie.
• Ruis-niveau Matching (Oplossen van de Klok-kloof): In plaats van uit te lijnen op basis van de stap-index, stemt de methode af op het ruisniveau. Nadat de leraar een sample heeft verfijnd op ruisniveau $\sigma_T^k$, wordt de gradiënt alleen teruggekoppeld door de trajectorie-stappen van de leerling waar het ruisniveau $\sigma_S^j \ge \sigma_T^k$ is. Dit zorgt ervoor dat de leerling correcties leert die relevant zijn voor de specifieke ruisschaal van de verfijning.
• Representatie-ruimte Bruggen (Oplossen van de Ruimte-kloof): De verfijnde output van de leerling en de verfijnde output van de leraar worden gedecodeerd naar pixels met behulp van hun respectievelijke VAE's. Deze afbeeldingen worden vervolgens vergeleken in een bevroren, model-agnostische feature space (specifiek de CLS-token van een bevroren DINOv2).
  • De loss wordt gedefinieerd als $1 - \cos(f(\hat{x}_S), f(x_{ref}))$, waarbij $f$ de bevroren extractor is.
  • Deze globale, coördinaat-onafhankelijke vergelijking is invariant voor de lokale stochastische her-synthese die pixel- of latent-regressie onmogelijk maakt.

Belangrijkste Bijdragen

1. Formulering van Heterogene OPD: Het artikel identificeert en formaliseert de twee primaire obstructies (gebrek aan gedeelde ruimte en gedeelde klok) die voorkomen dat bestaande on-policy methoden werken over verschillende modelfamilies heen.
2. Het Any-OPD Framework: Een nieuwe, architectuur-agnostische distillatieprocedure die modellen uitsluitend koppelt via een bevroren externe representatie-ruimte en trajectorieën uitlijnt via ruis-niveau matching in plaats van solver-indices.
3. Empirische Validatie: De eerste succesvolle on-policy distillatie tussen verschillende modelfamilies (FLUX.1-dev $\to$ SD3.5-Medium), waarbij wordt aangetoond dat een 2.5B leerling de prestaties van een 12B leraar kan benaderen of zelfs overtreft op basis van preferentie-metrieken.

Experimentele Resultaten

De auteurs implementeren Any-OPD door FLUX.1-dev (12 miljard parameters) te distilleren naar SD3.5-Medium (2,5 miljard parameters).

• Prestatiewinst: De gedistilleerde leerling presteert significant beter dan de baseline SD3.5-Medium en benadert of overtreft de 12B leraar op verschillende metrieken:
  • PickScore: Verhoogd van 0.846 (baseline) naar 0.884 (hiermee de leraar met 0.878 overtroffen).
  • HPSv3: Verhoogd van 9.12 naar 10.97 (benadert de leraar met 11.19).
  • ImageReward: Verhoogd van 0.922 naar 1.116 (overtreft de leraar met 0.971).
• Ablatie-bevindingen:
  • Latent Regressie: Directe latent-regressie over de VAE-grens veroorzaakt onmiddellijke training-collapse.
  • Pixel/MSE Loss: Faalt door de stochastische aard van de leraar-verfijning.
  • DINOv2 CLS: De enige stabiele en effectieve objective, wat bevestigt dat globale semantische uitlijning vereist is boven lokale pixel- of patch-uitlijning.
  • Anchoring: Essentieel voor stabiliteit; starten met OPD zonder de anchoring-fase resulteert in inferieure prestaties.
  • Generalisatie: Het vervangen van de leraar door Z-Image (een andere, afwijkende familie) met identieke hyperparameters levert consistente verbeteringen op, wat de uitwisselbaarheid van de methode verifieert.

Betekenis en Claims

Het artikel claimt dat Any-OPD de structurele barrières wegneemt die het gebruik van de sterkste beschikbare generatieve modellen als leraren voor kleinere, inzetbare modellen verhinderen. Door de leraar puur als een sampler te behandelen en de outputs te vergelijken in een bevroren, externe feature space, maakt de methode het mogelijk om hoogwaardige generatiecapaciteiten over volledig verschillende architecturen, VAE's en ruis-schema's over te dragen.

De auteurs benadrukken dat deze ontkoppeling de "sterkste beschikbare generator, wie die ook bouwt", een bruikbare leraar maakt voor "welk model dan ook dat men wil inzetten", wat de toegang tot state-of-the-art generatiekwaliteit democratiseert zonder dat architecturale homogeniteit vereist is.