Technische Samenvatting: Kwantificering van Foutpropagatie en Model Collapse in Diffusiemodellen

Probleemstelling

Naarmate generatieve AI-modellen steeds vaker synthetische data gebruiken voor training of fine-tuning, is een fenomeen waargenomen dat bekend staat als model collapse. Dit treedt op wanneer een model recursief wordt getraind op zijn eigen output, wat leidt tot een progressieve drift weg van de doelverdeling, verlies van diversiteit en degradatie van prestaties. Hoewel empirische studies dit effect hebben gedocumenteerd in regressiemodellen en maximum-likelihood-schatters, en sommige empirische werken het hebben verkend in diffusie- en flow-modellen, is er een gebrek aan een rigoureuze theoretische karakterisering voor score-gebaseerde diffusiemodellen. Bestaande theoretische grenzen op foutaccumulatie in recursieve training zijn vaak architectuur-specifiek (bijv. beperkt tot twee-laagse netwerken) of missen ondergrenzen op de divergentie tussen de geleerde en de doelverdelingen.

Dit werk adresseert de vraag: In een recursieve trainingsomgeving waarbij elke ronde verse echte data mengt met synthetische data van het huidige model, hoe accumuleren fouten over generaties heen, en hoe evolueert de divergentie tussen de gegenereerde verdeling en de ware dataverdeling?

Methodologie en Setting

De auteurs analyseren een recursieve trainingspipeline die als volgt is gedefinieerd:

1. Data-mix: In elke generatie $i$ is de trainingsdata $q_i$ een mengeling van een proportie $\alpha$ verse samples uit de ware verdeling $p_{data}$ en een proportie $(1-\alpha)$ synthetische samples uit de huidige modelverdeling $\hat{p}_i$.
2. Trainingsdoel: Een score-netwerk wordt getraind op $q_i$. Cruciaal is dat het netwerk de score van de mix $q_i$ leert, en niet de score van $p_{data}$. Dit creëert een fundamentele mismatch.
3. Generatie: Het getrainde score-netwerk wordt gebruikt om de volgende verdeling $\hat{p}_{i+1}$ te genereren via een reverse-time stochastische differentiële vergelijking (SDE).
4. Metrieken: De analyse volgt twee grootheden op basis van de $\chi^2$-divergentie:
   • Geaccumuleerde Divergentie ($D_i$): De divergentie tussen het model in generatie $i$ en de ware data ($\chi^2(\hat{p}_i \| p_{data})$).
   • Intra-generatie Divergentie ($I_i$): De fout die wordt geïntroduceerd in een enkele trainingsronde ($\chi^2(\hat{p}_{i+1} \| q_i)$).
     De theoretische analyse steunt op Girsanovs stelling om de padruimte-maten te relateren tussen het ideale reverse proces (gedreven door de ware score) en het geleerde reverse proces (gedreven door de geschatte score). De auteurs definiëren score-foutenergieën ($\varepsilon^2_{\star, i}$) als de pad-wijze $L^2$-norm van het verschil tussen de ware en de geschatte scores.

Belangrijkste Bijdragen

1. Eerste Ondergrens op Divergentie voor Diffusiemodellen

Het artikel stelt een ondergrens vast voor de intra-generatie divergentie $I_i$ in termen van de score-schattingsfoutenergie.

• Resultaat: $\chi^2(\hat{p}_{i+1} \| q_i) \gtrsim \eta_i \cdot \varepsilon^2_{\star, i}$.
• Observabiliteitscoëfficiënt ($\eta_i$): Een nieuwe term gedefinieerd als de variantie van de voorwaardelijke verwachting van de fout-martingaal gegeven de terminale staat. Het kwantificeert de "observeerbaarheid" van pad-wijze fouten bij het eindpunt van het diffusieproces.
• Significantie: Naar weten van de auteurs is dit de eerste ondergrens op de discrepantie tussen geleerde en doelverdelingen voor diffusiemodellen, zelfs in niet-recursieve settings. Het toont aan dat niet-nul pad-wijze fouten over het algemeen leiden tot niet-nul distributionele drift, mits de fouten niet orthogonaal zijn aan de terminale observabelen (d.w.z. $\eta_i > 0$).

2. Twee-zijdige Equivalentie van Divergentie en Score-fout

Door de nieuwe ondergrens te combineren met standaard bovengrenzen (afgeleid via de dataverwerkingsongelijkheid en Girsanovs stelling), laten de auteurs zien dat in het perturbatieve regime (kleine score-fouten), de intra-generatie divergentie equivalent is aan de score-foutenergie:
$$\chi^2(\hat{p}_{i+1} \| q_i) \asymp \varepsilon^2_{\star, i}$$
Deze equivalentie houdt stand tot aan constanten en observabiliteitsfactoren, waardoor de kwaliteit van de geleerde verdeling direct wordt gekoppeld aan de nauwkeurigheid van de score-schatting.

3. Karakterisering van Foutaccumulatie over Lange Termijn

Het artikel analyseert hoe fouten over $N$ generaties propageren, waarbij twee verschillende regimes worden geïdentificeerd op basis van de sommeerbaarheid van de score-fouten:

• Persistente Fouten: Als de score-fouten niet sommeerbaar zijn (bijv. begrensd door een positieve constante), divergeert de geaccumuleerde divergentie $D_N$ naar oneindig. Het model kan niet herstellen van persistente fouten.
• Sommeerbare Fouten: Als de score-fouten sommeerbaar zijn ($\sum \varepsilon^2_{\star, k} < \infty$), blijft de geaccumuleerde divergentie uniform begrensd.
• Gedisconteerde Accumulatiewet: In het sommeerbare regime laat de geaccumuleerde divergentie een interpreteerbare decompositie toe:
  $$D_N \approx \sum_{k=0}^{N-1} (1-\alpha)^{2(N-1-k)} \varepsilon^2_{\star, k}$$
  Deze formule onthult dat fouten van $m$ generaties in het verleden worden onderdrukt door een factor $(1-\alpha)^{2m}$. Dit kwantificeert het "vergetenseffect": een hogere proportie verse data ($\alpha$) versnelt het verval van oude fouten, waardoor model collapse wordt gemitigeerd.

Empirische Resultaten

De auteurs valideren hun theoretische grenzen op:

1. 10-dimensionale Gaussische Mix: Een gecontroleerde setting die analytische berekening van scores en divergenties mogelijk maakt. De resultaten bevestigen de nauwkeurigheid van de boven- en ondergrenzen en de geldigheid van de observabiliteitscoëfficiënt $\eta_i$.
2. Beeld-datasets (Fashion-MNIST, CIFAR-10): Hoog-dimensionale settings met neurale netwerk score-estimators.
   • Geheugenstructuur: Heatmaps van foutbijdragen bevestigen de geometrische decay voorspeld door de theorie. Een lage $\alpha$ (bijv. 0,1) resulteert in een lang geheugen waar vroege fouten persistente effecten hebben, terwijl een hoge $\alpha$ (bijv. 0,9) resulteert in een kort geheugen waar alleen recente fouten ertoe doen.
   • Observabiliteit: De coëfficiënt $\eta_i$ blijft positief en stabiel over de generaties heen, wat bevestigt dat score-fouten in realistische settings observeerbaar zijn en bijdragen aan de distributionele drift.
   • Visuele Collapse: Visualisaties tonen aan dat een lage $\alpha$ leidt tot progressieve dispersie en verlies van structuur, terwijl een hoge $\alpha$ de distributionele getrouwheid behoudt.

Significantie en Claims

Het artikel claimt het eerste theoretische kader te bieden dat het mechanisme van model collapse in score-gebaseerde diffusiemodellen kwantificeert. De belangrijkste claims zijn:

• Ondergrens: De afleiding van de eerste ondergrens op de distributionele divergentie voor diffusiemodellen, wat vaststelt dat score-fouten onder milde observabiliteitscondities onvermijdelijk leiden tot distributionele drift.
• Mechanisme van Mitigatie: Het theoretische bewijs dat het incorporeren van verse data in elke trainingsronde fungeert als een geometrische discountfactor op eerdere fouten. Dit biedt een rigoureuze rechtvaardiging voor de empirische observatie dat het mengen van echte data model collapse voorkomt.
• Regime-karakterisering: De identificatie van een dichotomie tussen regimes waar fouten oneindig accumuleren versus waar ze begrensd blijven, afhankelijk van de sommeerbaarheid van de score-schattingsfouten.

De auteurs merken op dat hun resultaten het meest relevant zijn in het regime waar score-schattingsfouten klein zijn (hoge nauwkeurigheid). Zij erkennen dat het verkrijgen van grenzen in het regime met grote fouten of het rekening houden met discretisatiefouten richtingen zijn voor toekomstig werk. Het artikel stelt geen nieuwe algoritmen voor, maar biedt een theoretisch perspectief om het gedrag van bestaande recursieve trainingspipelines te begrijpen en te voorspellen.