Technische Samenvatting: Exploratieve Modellering

1. Probleemstelling

De diepe leerrevolutie heeft vastgesteld dat end-to-end training (het direct leren van een taak uit data zonder handmatig ontworpen tussenliggende fasen) beter presteert dan gedegenereerde, stapsgewijze pipelines. Echter, generatieve modellering blijft een belangrijke uitzondering. Ondanks de capaciteiten van moderne modellen zoals Diffusion en Autoregressieve netwerken, worden zij niet end-to-end getraind.

Het kernprobleem is dat generatieve modellering te maken heeft met het verwerken van multimodale waarschijnlijkheidsverdelingen (verdelingen met veel verschillende pieken of modi). Bestaande schaalbare benaderingen (bijv. Diffusion, Autoregressie) vermijden het probleem van "mode blurring"—waarbij een model het gemiddelde van meerdere geldige modi voorspelt, wat resulteert in een monster dat geen enkel echt datapunt overeenkomt—door de generatieprocedure te factoriseren. Ze breken generatie af in vele kleine, bijna unimodale stappen (bijv. denoising-stappen of token-voor-token voorspelling). Hoewel effectief, creëert deze factorisatie een mismatch tussen training en inferentie:

• Training: Het model voorspelt een enkele stap geconditioneerd op een specifieke traject of gedeeltelijke data.
• Inferentie: Het model wordt uitgerold over honderden of duizenden stappen.
  Deze mismatch leidt tot exposure bias, waarbij fouten zich opstapelen naarmate het model afwijkt van de trainingsverdeling, wat echte end-to-end generatie verhindert.

Huidige schaalwetten richten zich op twee assen: parameters (modelcapaciteit) en data (trainingsvolume). Het artikel betoogt dat deze assen een derde cruciale capaciteit missen: Generatieve Expressiviteit (het aantal verschillende modi dat de trainingsdoelstelling van een model toestaat te vangen). In standaard reconstructieve modellen wordt de generatieve expressiviteit vastgesteld door de trainingsdoelstelling (vaak effectief $E=1$ voor directe regressie), wat zorgt voor prestatiebottlenecks naarmate modellen en data schalen, ongeacht hoe groot ze ook worden.

2. Methodologie: Exploratieve Modellering

De auteurs introduceren Exploratieve Modellering (XMs), een nieuw paradigma dat de trainingslus in plaats van de generatieprocedure factoriseert.

Kernmechanisme

In plaats van één generatie te dwingen om een doelwit te matchen (wat leidt tot middeling), introduceren XMs een exploratiestap tijdens de training:

1. Kandidaat-generatie: Tijdens elke trainingsstap genereert het model $K$ kandidaat-monsters ($\hat{y}_1, \dots, \hat{y}_K$) vanuit dezelfde latente input (bijv. ruis).
2. Selectie: Het model identificeert de kandidaat die het dichtst bij de grondwaarheid $x$ ligt met behulp van een reconstructieverlies $J$.
3. Optimalisatie: Het model wordt alleen bijgewerkt op de beste match, waarbij het verlies over de geselecteerde kandidaat wordt geminimaliseerd.

Formeel, voor een datapunksample $x$, is de doelstelling:
$$L(\theta) = \min_{i \in \{1, \dots, K\}} J(\hat{y}_i, x)$$

Varianten

Het artikel definieert twee richtingen voor exploratie:

• Forward XM: Fixeert de datatarget $x$ en verkent $K$ gegenereerde kandidaten. Dit is "mass-covering" (prioriteert recall) maar computationeel duur omdat het $K$ forward passes per stap vereist.
• Reverse XM: Fixeert een enkel gegenereerd monster $\hat{y}$ en verkent $K$ datatargets uit de dataset. Dit is "mode-seeking" (prioriteert precisie) en computationeel goedkoper (één forward pass), hoewel het risico op mode collapse met zonder entropie-constraints.

Theoretische Implicaties

• Generatieve Expressiviteit: Exploratie verhoogt de generatieve expressiviteit van het model van 1 naar ten minste $K$. Door de beste match onder $K$ kandidaten te selecteren, verschuift de loss-minimizer van het vervaagde gemiddelde van de data naar de werkelijke datamodi.
• Substitueerbaarheid: Het artikel stelt dat het factoriseren van de trainingslus (via exploratie) vervangbaar is voor het factoriseren van de generatieprocedure. Naarmate exploratie ($K$) toeneemt, neemt het optimale aantal generatiestappen (sprongen) af, waardoor modellen meer end-to-end kunnen worden.

3. Belangrijkste Bijdragen

1. Nieuw Paradigma: Introductie van Exploratieve Modellering, die de trainingslus factoriseert om multimodale verdelingen te verwerken, wat end-to-end generatie mogelijk maakt.
2. Derde Pretraining-as: Demonstratie dat exploratie een schaalbare as is naast parameters en data. In tegen tegenstelling tot de andere twee, schaalt het direct de generatieve expressiviteit.
3. End-to-End Reconstructie: Bewijs dat XMs kunnen functioneren als op zichzelf staande end-to-end generatieve modellen, waarbij ze de prestaties van diffusion evenaren op controle-taken met aanzienlijk minder inferentiestappen.
4. Compute-Generalisatie Trade-off: Bewijs dat het uitgeven van extra compute aan exploratie de generalisatie direct verbetert door overfitting en exposure bias te verminderen.

4. Experimentele Resultaten

De auteurs evalueerden XMs over continue (beelden, video) en discrete (taal) domeinen, waarbij ze exploratie toevoegden aan bestaande baselines (Diffusion, Flow Matching, Jumpy modellen, Masked Diffusion Language Models).

Efficiëntiewinst

• FLOP Efficiëntie: Verbeterd met 4.1× (RAE baseline) en tot 52% (SiT baseline).
• Sample Efficiëntie: Verbeterd met 6.2× (bereikt baseline prestaties met 6.2× minder data).
• Parameter Efficiëntie: Een Large model met 5 verkende modi presteerde beter dan een XLarge model met 47% meer parameters maar zonder exploratie.
• Schaalings trends: Efficiëntiewinsten nemen toe met schaal. Wanneer de compute werd verdrievoudigd (van SiT naar RAE settings), verdubbelde de efficiëntiewinst meer dan twee keer.

Prestatieverbeteringen

• Beeldgeneratie: XRAE (Exploratieve RAE) bereikte een bijna state-of-the-art 1.43 FID op ImageNet (256x256) zonder guidance, waarmee het de guided baselines van eerdere SOTA-recepten versloeg.
• Videogeneratie: Het verhogen van de exploratie verbeterde de FVD-scores monotoon.
• Taal: Het toepassen van exploratie op Masked Diffusion Language Models (XMDLM) verbeterde de Perplexity-Entropy frontier over de hele linie.
• Generalisatie: Bij videogeneratietaken verminderde verhoogde exploratie overfitting, wat een betere minimale FVD opleverde (30.0 vs 37.5 zonder exploratie).

End-to-End Capaciteiten

• Robotica (Behavior Cloning): Een Exploratieve Policy matchte Diffusion Policy op Robomimic taken met 100× minder inferentie-compute (1 forward pass vs. 100 stappen).
• World Modeling: Een Exploratief World Model matchte Diffuser op Maze2D taken met 16–256× minder inferentie-compute.

Schaalwetten

• Data Schaling: Prestatiewinsten van exploratie stegen van 7% naar 36% naarmate de dataschaal toenam.
• Model Schaling: Winsten stegen van 13% naar 23% naarmate de modelgrootte toenam.
• End-to-End Verschuiving: Naarmate de exploratie toenam, presteerden modellen met minder generatiestappen (meer end-to-end) beter, wat bevestigt dat exploratie kan fungeren als substituut voor de factorisatie van generatie.

5. Betekenis en Claims

Het artikel beweert dat Exploratieve Modellering een fundamentele bottleneck in generatieve AI aanpakt: het onvermogen om generatieve expressiviteit te schalen.

• Voorbij Likelihood: De auteurs argumenteren dat het optimaliseren van alleen de likelihood onvoldoende is als de expressiviteit van het model beperkt is tot 1 (het voorspellen van het gemiddelde). XMs optimaliseren voor het vermogen om onderscheidende modi te vangen.
• Echte End-to-End Leerprocessen: Door de trainingslus te factoriseren, stellen XMs modellen in staat om tijdens inferentie exact zoals tijdens de training te samplen, waardoor exposure bias en de mismatch tussen training en inferentie die huidige diffusion en autoregressieve modellen teisteren, worden geëlimineerd.
• Schaalbaarheid: De resultaten suggereren dat huidige foundation modellen, getraind zonder exploratie, steeds vaker tekortschieten in de vorm van compute-optimale prestaties. Het artikel stelt dat naarmate modellen schalen, de bottleneck verschuift van parameters/data naar generatieve expressiviteit, waardoor exploratie een noodzakelijk onderdeel wordt voor toekomstige schaling.
• Bescheiden Claims: De auteurs erkennen beperkingen, met name dat Forward XM computationeel duur is voor zeer multimodale data (zoals ruwe afbeeldingen) en dat autoregressieve LLM's moeilijker te integreren zijn met exploratie vanwege uitdagingen bij het injecteren van latente variabelen. Ze merken op dat Reverse XM in de toekomst mogelijk een schaalbaardere oplossing is voor hoog-multimodale taken.

Samenvattend stelt het artikel vast dat het schalen van wat modellen kunnen genereren (via exploratie) even cruciaal is als het schalen van wat ze kunnen representeren (parameters) of leren (data), en biedt een pad naar volledig end-to-end generatieve modellering.