🤖 AI

MixFlow Training: Alleviating Exposure Bias with Slowed Interpolation Mixture

Dit artikel introduceert MixFlow, een nieuwe trainingsaanpak die exposure bias in diffusiemodellen vermindert door een "slowed interpolation mixture"-strategie te benutten om de trainings- en testcondities beter op elkaar af te stemmen, waardoor het state-of-the-art resultaten behaalt voor beeldgeneratie op ImageNet.

Oorspronkelijke auteurs: Hui Li, Fu-Yun Wang, Haoyuan Xia, Jiayue Lyu, Kaihui Cheng, Siyu Zhu, Jingdong Wang

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hui Li, Fu-Yun Wang, Haoyuan Xia, Jiayue Lyu, Kaihui Cheng, Siyu Zhu, Jingdong Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een tekening te maken door langzaam aan een knop te draaien die een wolk van statische ruis verandert in een helder beeld. Dit is hoe moderne "diffusie"-modellen werken. Ze leren door naar een foto te kijken, er statische ruis aan toe te voegen, en vervolgens te proberen stap voor stap de ruis te verwijderen om het originele plaatje terug te krijgen.

Hier is het probleem: Tijdens de training (de leerfase) is de robot een beetje een bedrieger. Elke keer als de robot de volgende stap probeert te raden, krijgt hij de perfecte versie van de ruizige afbeelding van de vorige stap te zien. Het is alsof een student een toets maakt waarbij de leraar het juiste antwoord op de vorige vraag fluistert voordat de student zelfs maar zijn eigen antwoord heeft opgeschreven.

Maar tijdens de testfase (wanneer de robot daadwerkelijk een nieuwe afbeelding tekent), stopt de leraar met fluisteren. De robot moet zijn eigen vorige gok gebruiken om de volgende stap te bepalen. Als hij in het begin een kleine fout maakt, wordt die fout voortgevoerd, wordt deze groter, en uiteindelijk ziet het plaatje er vreemd of wazig uit. Dit wordt "exposure bias" genoemd — de robot wordt blootgesteld aan perfecte data tijdens het leren, maar aan rommelige data wanneer hij op zichzelf is.

De "Slow Flow" Ontdekking

De auteurs van dit paper merkten iets vreemds op toen ze de robot een tekening zagen maken. Ze ontdekten dat wanneer de robot op een bepaald moment een ruizige afbeelding genereerde (laten we dat moment "Tijd T" noemen), de perfecte versie van die ruis eigenlijk bij een eerder tijdstip hoorde, een tijdstip met meer ruis.

Denk aan dit: Stel je voor dat je een race loopt. Op het 10-seconden-teken kijk je terug en realiseert je dat de "perfecte" versie van jouw positie eigenlijk plaatsvond op het 8-seconden-teken. Je bent effectief "langzamer" dan de grondwaarheid. Het gegenereerde pad van de robot loopt achter op het perfecte pad, vastzittend in een "vertraagde" staat met meer ruis dan het zou moeten hebben.

De MixFlow Oplossing

In plaats van te proberen de loopstijl van de robot te repareren nadat de race al bezig is (wat andere methoden probeerden), besloten de auteurs hoe de robot de race leert te lopen te veranderen. Ze introduceerden een nieuwe trainingsmethode genaamd MixFlow.

In standaard training kijkt de robot alleen naar de perfecte ruis van het exacte moment waarop hij zich hoort te bevinden. In MixFlow wordt de robot getraind om naar een "mengsel" van perfecte ruis te kijken. Hij kijkt naar de perfecte ruis voor het huidige moment, maar ook naar de perfecte ruis van die "vertraagde" momenten met meer ruis.

De Analogie:
Stel je voor dat je leert fietsen.

Standaard Training: Je oefent alleen op een perfect vlakke, gladde weg. Wanneer je in de echte wereld met hobbels en wind te maken krijgt, val je omdat je niet voorbereid was op de vertraging.
MixFlow Training: Je oefent op de gladde weg, maar je oefent ook op een iets hobbeliger, "langzamer" versie van de weg die de vertraging nabootst die je later zult voelen. Je leert om te gaan met het "vertraagde" gevoel terwijl je nog in de veiligheid van de training bent.

Door te trainen op dit "vertraagde interpolatiemengsel", leert de robot om te gaan met het feit dat zijn eigen gokken iets "langzamer" en ruiziger zullen zijn dan de perfecte grondwaarheid. Hij raakt niet meer in de war wanneer hij moet vertrouwen op zijn eigen vorige gokken.

Wat Ze Uitsloten

De auteurs waren zeer zorgvuldig in het testen van wat niet werkt. Ze probeerden een methode genaamd "Input Perturbation", waarbij willekeurige ruis aan de trainingsdata wordt toegevoegd om fouten te simuleren. Ze ontdekten dat als je gewoon willekeurige ruis toevoegt zonder het "slow flow"-patroon te begrijpen, je de robot per ongeluk kunt trainen met "snellere" (minder ruizige) data die niet overeenkomt met de realiteit, of "langzamere" data die te ver uit elkaar ligt. Hun experimenten toonden aan dat het blind toevoegen van ruis vaak de boel verslechtert, terwijl hun specifieke "vertraagde" mengsel de sleutel is.

Ze vergeleken hun methode ook met het oplossen van het probleem tijdens het tekenproces (inferentie) door de stappen aan te passen. Ze vonden dat die aanpassingen wel een beetje helpen, maar dat het is alsof je probeert bij te sturen in een auto die al aan het afdrijven is; het is beter om de motor (de training) in de eerste plaats te repareren.

De Resultaten: Hoe Zeker Zijn We?

De auteurs hebben niet alleen gegokt; ze hebben enorme experimenten uitgevoerd op echte beelddatasets.

Het Bewijs: Ze testten hun MixFlow-methode op verschillende top-tier beeldgeneratoren (zoals SiT, REPA en RAE) met de ImageNet-dataset, die 1,2 miljoen afbeeldingen van 1.000 verschillende objectcategorieën bevat.
De Cijfers: Op de 256 × 256 pixel afbeeldingen behaalde hun MixFlow-model een score van 1.43 (zonder guidance) en 1.10 (met guidance). Op de grotere 512 × 512 afbeeldingen bereikte het 1.55 (zonder guidance) en 1.10 (met guidance).
- Opmerking: In dit vakgebied is een lagere "FID"-score beter. Deze cijfers zijn ongelooflijk laag, wat betekent dat de gegenereerde afbeeldingen bijna niet van echt te onderscheiden zijn.
Tekst-naar-Beeld: Ze testten het ook op een tekst-naar-beeld model (SD 3.5). Wanneer gevraagd werd om complexe scènes te tekenen, zoals "vijf hartige pizza's" of "een vogel aan de linkerkant van een klok", volgde de MixFlow-versie de instructies veel beter dan de standaardversie, waarbij de aantallen en posities correct werden weergegeven.

Het paper suggereert dat deze aanpak een significante stap voorwaarts is omdat het direct de kernoorzaak van de foutaccumulatie aanpakt. Het is geen tovertruc; het is een slimmere manier van oefenen. Door de robot te laten oefenen op "vertraagde" versies van de waarheid, wordt hij veel robuuster wanneer hij zelfstandig afbeeldingen moet genereren.

Kortom, het paper laat zien dat door het "trainingsdieet" aan te passen met "vertraagde" data, diffusiemodellen kunnen stoppen met struikelen over hun eigen voeten en een veel vloeiendere race kunnen lopen.

Technische Samenvatting: MixFlow Training

Probleemstelling

Dit artikel behandelt de training-test discrepantie, algemeen bekend als exposure bias, in diffusie- en flow matching-modellen. Tijdens de training ontvangen voorspellingsnetwerken bij elke tijdstap grondwaarheid-ruisige data (een interpolatie van ruis en data) als input. Daarentegen ontvangt het netwerk tijdens de testfase (sampling), de gegenereerde ruisige data van de vorige stap. Deze discrepantie leidt tot voorspellingsfouten, foutaccumulatie en sampling-drift. Terwijl eerdere oplossingen zich hebben gericht op het aanpassen van het samplingproces (bijv. Time-Shift Samplers, Epsilon Scaling) of het toepassen van input-perturbaties tijdens de training, stelt dit werk een nieuwe trainingsprocedure voor om dit probleem direct te mitigeren.

Methodologie: MixFlow

De voorgestelde MixFlow-aanpak wordt gemotiveerd door de observatie van een "Slow Flow"-fenomeen. Empirische analyse onthult dat de grondwaarheid-ruisige data die het dichtst bij de gegenereerde ruisige data op een sampling-tijdstap $t$ ligt, vaak overeenkomt met een tijdstap met hogere ruis (een "vertraagde tijdstap", $m_t \leq t$ ). Met andere woorden: de gegenereerde data loopt achter op de grondwaarheid-trajectorie.

Om deze observatie te benutten, wijzigt MixFlow de trainingsprocedure als volgt:

Vertraagde Interpolatie Mix: In plaats van het voorspellingsnetwerk $u_\theta$ te trainen op een enkele interpolatie $x_t$ die overeenkomt met de trainings-tijdstap $t$ , gebruikt MixFlow een mix van interpolaties uit een bereik van "vertraagde" tijdstappen.
- De input-ruisige data wordt gesampled uit een verzameling $\mathcal{X}_t = \{x_{m_t} \mid m_t \in [(1-\gamma)t, t]\}$ , waarbij $m_t$ een tijdstap met hogere ruis (tragere tijdstap) vertegenwoordigt.
- De grootte van het bereik is lineair ten opzichte van $t$ , gecontroleerd door een coëfficiënt $\gamma$ .
Gewijzigde Verliesfunctie: Het trainingsdoel optimaliseert het voorspellingsnetwerk met de vertraagde interpolatie $x_{m_t}$ als input, terwijl het doel de grondwaarheid-snelheid blijft op de vertraagde tijdstap $m_t$ :
$\mathbb{E}_{t, x_0, x_1, m_t} [\| u_\theta(x_{m_t}, t) - u^*(x_{m_t}, m_t) \|_2^2]$
Cruciaal is dat de naar het netwerk doorgegeven tijdstap de trainings-tijdstap $t$ blijft, en niet $m_t$ .
Sampling Strategie:
- Vertraagde Tijdstap ( $m_t$ ): Gesampled uit een uniforme verdeling over het bereik $[(1-\gamma)t, t]$ .
- Trainings-tijdstap ( $t$ ): Om te garanderen dat paren van $(x_{m_t}, t)$ uniform over alle mogelijke combinaties worden gesampled, wordt de trainings-tijdstap $t$ gesampled uit een Beta(2, 1) verdeling ( $p(t) \propto t$ ), in plaats van een uniforme verdeling.
Implementatie: De methode is lichtgewicht en vereist slechts minimale code-aanpassingen (bijv. 5 regels voor RAE) in bestaande trainingspipelines. Het functioneert als een post-training strategie voor vooraf getrainde modellen.

Belangrijkste Bijdragen

Identificatie van Slow Flow: Het artikel demonstreert empirisch dat de gegenereerde ruisige data op tijdstap $t$ het dichtst bij de grondwaarheid-data op een tragere (hogere ruis) tijdstap ligt, wat een theoretische basis biedt voor de voorgestelde training-modificatie.
MixFlow Trainingsalgoritme: Een nieuw trainingsschema dat gebruikmaakt van een mix van vertraagde interpolaties om de trainingsdistributie nauwer af te stemmen op de testdistributie, waardoor exposure bias effectief wordt verminderd.
State-of-the-Art Prestaties: De aanpak bereikt significante verbeteringen over diverse modelarchitecturen (SiT, REPA, RAE) en generatietaken (class-conditional en text-to-image).

Experimentele Resultaten

De auteurs evalueerden MixFlow op class-conditional beeldgeneratie (ImageNet) en text-to-image generatie (Stable Diffusion 3.5).

Class-Conditional Generatie (ImageNet)

RAE Modellen: MixFlow toegepast op RAE-modellen behaalde nieuwe state-of-the-art resultaten:
- 256 × 256: 1.43 FID (zonder guidance) en 1.10 FID (met guidance).
- 512 × 512: 1.55 FID (zonder guidance) en 1.10 FID (met guidance).
SiT en REPA: Consistente verbeteringen werden waargenomen over SiT (B en XL maten) en REPA-modellen. Bijvoorbeeld, SiT-B/2 met guidance verbeterde van 4.46 naar 3.91 gFID.
Sampling Stappen: De winst van MixFlow was duidelijker bij minder sampling-stappen (bijv. 20 stappen), wat suggereert dat het effectief de benaderingsfouten aanpakt die inherent zijn aan grove sampling.
Vergelijking: MixFlow presteerde beter dan andere methoden voor het verlichten van exposure bias, waaronder Input Perturbation, Epsilon Scaling en Time-Shift Samplers.

Text-to-Image Generatie

Toegepast op Stable Diffusion 3.5, verbeterde MixFlow de prestaties over alle geëvalueerde metrieken (GenEval, DPG-Bench, T2I-CompBench) voor zowel 40 als 10 sampling-stappen.
Kwalitatieve resultaten toonden verbeteringen in tel-nauwkeurigheid, ruimtelijke relaties en het vasthouden aan objectvormen.

Betekenis en Claims

Het artikel claimt dat MixFlow een eenvoudige maar effectieve oplossing biedt voor het exposure bias probleem door de trainingsdistributie aan te passen om rekening te houden met het "Slow Flow"-fenomeen. De auteurs benadrukken dat:

Training vs. Inferentie: In tegenstelling tot aanpassingen tijdens de inferentie, pakt MixFlow de kernoorzaak aan door de trainingsdoelstelling te wijzigen, waardoor het model robuust is tegen de distributieverschuiving tussen training en test.
Compatibiliteit: De methode is compatibel met diverse backbone-architecturen (SiT, DiT), interpolatieschema's (lineair, variance-preserving) en geavanceerde trainingsparadigma's (REPA, RAE).
Efficiëntie: Het bereikt state-of-the-art resultaten met minimale computationele overhead, waarbij slechts enkele regels code-modificatie nodig zijn en het fungeert als een efficiënte post-training stap.

De auteurs concluderen dat MixFlow de generatiekwaliteit aanzienlijk verbetert, met name in scenario's met hoge resolutie en lage aantallen stappen, waarmee het nieuwe benchmarks zet voor diffusie-gebaseerde beeldgeneratie.