🤖 machine learning

Explorative Modeling: Unlocking a Third Pretraining Axis and End-to-End Generation

Dieses Paper führt „Explorative Modeling“ ein, ein neues Paradigma, das die Trainingsschleife faktorisiert, um mehrere Generierungskandidaten zu explorieren und den besten auszuwählen, wodurch Exploration als skalierbare dritte Prätraining-Achse etabliert wird, die die Effizienz und Leistung über verschiedene Domänen hinweg verbessert und gleichzeitig echtes End-to-End-generatives Modellieren ermöglicht.

Ursprüngliche Autoren: Alexi Gladstone, Heng Ji, Yilun Du

Veröffentlicht 2026-07-31

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alexi Gladstone, Heng Ji, Yilun Du

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter das Zeichnen beizubringen. In den alten Tagen des maschinellen Lernens bauten Ingenieure eine Fließbandfertigung: Eine Maschine zeichnete die Umrisse, eine andere füllte die Farbe aus und eine dritte setzte die Augen ein. Das funktionierte, war aber unordentlich und langsam. Dann geschah eine Revolution (angestoßen durch ein berühmtes Modell namens AlexNet), die uns einen besseren Weg lehrte: Gib dem Roboter einfach das ganze Bild und lass ihn alles auf einmal lernen, von Anfang bis Ende. Dieser „End-to-End“-Ansatz wurde zum Goldstandard für fast alles, von der Gesichtserkennung bis zur Sprachübersetzung.

Doch es gab ein hartnäckiges Problem, das sich weigerte, nach diesen neuen Regeln zu spielen: die generative KI, die Art von Technologie, die neue Bilder, Videos oder Geschichten erschafft. Obwohl diese Modelle unglaublich talentiert sind, verlassen sie sich immer noch auf diese altmodische Fließbandfertigung. Sie zerlegen den kreativen Prozess in winzige, winzige Schritte. Um zum Beispiel einen Hund zu zeichnen, raten sie zuerst eine verschwommene Form, verfeinern sie dann, fügen Fell hinzu, fügen Augen hinzu, und das alles hunderte Male. Das Problem ist, dass sie bei jedem Schritt einen winzigen Fehler machen könnten. Bis sie den hundertsten Schritt erreicht haben, haben sich diese winzigen Fehler aufgetürmt, und der Hund sieht am Ende vielleicht etwas seltsam oder verschwommen aus. Wissenschaftler versuchen seit Jahren, dies zu beheben, indem sie fragen: „Warum können wir den Roboter nicht einfach lehren, den ganzen Hund auf einmal zu zeichnen, ohne ihn in Schritte zu unterteilen?“

Die Antwort, laut einem neuen Paper von Alexi Gladstone, Heng Ji und Yilun Du, ist, dass die Welt des „Was man zeichnen soll“ chaotisch ist. Eine Anfrage wie „Zeichne einen Hund“ hat nicht nur eine richtige Antwort; es gibt Milliarden verschiedener Hunde. Wenn man versucht, den Roboter zu lehren, all diese gleichzeitig zu zeichnen, ohne eine Strategie zu haben, wird er verwirrt und zeichnet stattdessen einen verschwommenen, durchschnittlichen Hund, der wie nichts Reales aussieht. Bestehende Modelle lösen dies, indem sie das Zeichnen in Schritte unterteilen, aber das bricht die „End-to-End“-Regel. Dieses Paper führt einen cleveren neuen Trick namens Explorative Modellierung ein, der es Modellen ermöglicht, mit diesem Chaos umzuge-hen, ohne die Zeichnung in Schritte unterteilen zu müssen.

Die neue Strategie: „Versuchen, versuchen und noch einmal versuchen“

Die Autoren schlagen eine einfache, aber kraftvolle Idee vor: Anstatt das Modell zu zwingen, beim allerersten Versuch die richtige Antwort zu erraten, lassen sie es viele Male versuchen und dann das Beste auswählen. Sie nennen das Explorative Modellierung.

Stellen Sie sich vor, Sie spielen ein Spiel, bei dem Sie eine Geheimzahl zwischen 1 und 100 erraten müssen.

Der alte Weg (Standardmodelle): Sie raten eine Zahl. Wenn Sie falsch liegen, bekommen Sie einen Hinweis und versuchen es erneut. Sie machen dies hunderte Male und kommen dem Ziel immer näher. Aber jedes Mal, wenn Sie raten, könnten Sie einen kleinen Fehler bei der Interpretation des Hinweises machen, und am Ende könnten Sie ein kleines Stück daneben liegen.
Der neue Weg (Explorative Modellierung): Es ist Ihnen erlaubt, gleichzeitig 50 verschiedene Zahlen zu rufen. Dann schauen Sie auf die Geheimzahl und sagen: „Okay, von meinen 50 Versuchen war die Nummer 42 die nächste dran!“ Sie lernen nur aus diesem einen Gewinner. Sie ignorieren die anderen 49 falschen Versuche.

In der Sprache des Papers wird dies als Exploration von K Kandidaten bezeichnet. Das Modell generiert K verschiedene Möglichkeiten (wie 50 verschiedene Hunde) und trainiert nur auf derjenigen, die der realen Daten am ähnlichsten ist. Durch dies lernt das Modell, sich auf spezifische, scharfe Details (eine bestimmte Hunderasse) festzulegen, anstatt sie alle zu einem generischen, unscharfen Klumpen zu verschmelzen.

Warum dies alles verändert

Das Paper stellt fest, dass dieser „Vieles versuchen, das Beste wählen“-Ansatz in drei wesentlichen Punkten bahnbrechend ist:

1. Es ist eine neue Superkraft für die Skalierung
Normalerweise macht man eine KI besser, indem man das Gehirn größer macht (mehr Parameter) oder ihr mehr Daten füttert. Die Autoren entdeckten einen dritten Weg: Man kann einfach das Modell „härter arbeiten lassen“, indem man die Anzahl der Versuche erhöht, die es während des Trainings macht. Sie nennen dies Exploration.

Als sie dies an Bild-, Video- und Sprachmodellen testeten, verbesserte das bloße Erhöhen der Anzahl der Versuche die Modelle signifiklich.
Je mehr sie die Daten und die Modellgröße skalierten, desto mehr half dieser Trick. Zum Beispiel wuchs der Leistungsgewinn durch Exploration, als sie mehr Daten hinzufügten, von 7 % bis hin zu 36 %. Als die Modelle größer wurden, sprang der Gewinn von 13 % auf 23 %.
Es machte die Modelle auch viel effizienter. Sie fanden heraus, dass die Nutzung von Exploration die Effizienz der Rechenarbeit (FLOTS) um den 4,1-fachen Wert, die Effizienz der genutzten Daten um den 6,2-fachen Wert und die Effizienz der Modellgröße um 47 % verbesserte.

2. Es macht Modelle wieder „End-to-End“
Da das Modell lernt, indem es die beste Übereinstimmung aus seinen eigenen Versuchen auswählt, muss es die Aufgabe nicht mehr in winzige Schritte unterteilen. Es kann den gesamten Prozess auf einmal lernen.

Das Paper zeigt, dass ein Modell mit genügend Exploration ein ganzes Bild oder Video in einem einzigen Schritt generieren kann, genau so, wie es trainiert wurde.
In Tests zu Robotik-Aufgaben (einem Roboterarm beibringen, sich zu bewegen), erreichte diese neue Methode die Leistung der besten bestehenden Methoden, benötigte dafür aber 16- bis 256-mal weniger Computerschritte. Anstatt 100 Schritte zu brauchen, um einen Roboterarm zu bewegen, erledigte das neue Modell dies in nur 1 Schritt.

3. Es hilft Modellen, besser zu lernen
Die Autoren schlagen vor, dass diese Methode hilft, dass Modelle besser generalisieren, was bedeutet, dass sie nicht nur die Trainingsdaten auswendig lernen, sondern tatsächlich die Regeln verstehen. Als sie dies bei der Videogenerierung testeten, überfitteten (lernten auswendig) Modelle mit mehr Exploration weniger und schnitten bei neuen, unbekannten Daten besser ab. Es scheint, dass die „Option“, die beste Übereinstimmung auswählen zu können, den Lernprozess glatter und weniger verwirrend macht.

Das Fazit

Dieses Paper legt nahe, dass wir seit über einem Jahrzehnt versucht haben, KI intelligenter zu machen, indem wir sie größer gemacht oder sie mit mehr Büchern gefüttert haben. Doch diese Forschung deutet darauf hin, dass wir eine dritte Zutat übersehen haben: Exploration. Indem wir der KI erlauben, viele Möglichkeiten zu generieren und vom besten zu lernen, können wir ein neues Niveau der Leistung freisetzen.

Die Autoren weisen vorsichtig darauf hin, dass dies ein neues Paradigma ist, das noch erforscht wird. Sie fanden heraus, dass es zwar für Bilder, Videos und einige Sprachaufgaben hervorragend funktioniert, für andere Arten von Modellen aber möglicherweise noch mehr Anpassungen benötigt. Dennoch sind die Ergebnisse vielversprechend: Es gelang ihnen, einen Bildgenerator zu erzeugen, der nahezu perfekte Ergebnisse liefert (ein Score von 1,43 FID auf ImageNet), ohne dass spezielle „Guidance“-Tricks nötig waren, und das alles, während sie den Trainingsprozess effizienter gestalteten.

Kurz gesagt argumentiert das Paper, dass die Zukunft der KI vielleicht nicht nur aus größeren Gehirnen besteht, sondern aus klügeren Wegen des Ratens. Indem wir der KI die Chance geben, viele Pfade auszuprobieren und den Gewinner zu wählen, können wir sie endlich lehren, das ganze Bild in einem Zug zu erschaffen, genau wie es der Rest des Deep Learningings seit Jahren tut.

Technisches Resümee: Explorative Modellierung

1. Problemstellung

Die tiefe Lernerevolution hat etabliert, dass End-to-End-Training (das Erlernen einer Aufgabe direkt aus Daten ohne handgefertigte Zwischenstufen) dekomponierte, stufenweise Pipelines übertrifft. Die generative Modellierung bleibt jedoch eine signifikante Ausnahme. Trotz der Fähigkeiten moderner Modelle wie Diffusion und autoregressiver Netzwerke werden diese nicht End-to-End trainiert.

Das Kernproblem besteht darin, dass die generative Modellierung mit multimodalen Wahrscheinlichkeitsverteilungen (Verteilungen mit vielen distinkten Gipfeln oder Modi) zu tun hat. Bestehende skalierbare Ansätze (z. B. Diffusion, Autoregression) vermeiden das Problem des „Mode Blurring“ – bei dem ein Modell den Durchschnitt mehrerer valider Modi vorhersagt, was zu einem Sample führt, das keinem realen Datenpunkt entspricht – durch die Faktorisierung des Generierungsprozesses. Sie zerlegen die Generierung in viele kleine, nahezu unimodale Schritte (z. B. Denoising-Schritte oder Token-für-Token-Vorhersage). Während dies effektiv ist, erzeugt diese Faktorisierung eine Diskrepanz zwischen Training und Inferenz:

Training: Das Modell sagt einen einzelnen Schritt voraus, der an eine spezifische Trajektorie oder partielle Daten konditioniert ist.
Inferenz: Das Modell wird über hunderte oder tausende Schritte entrollt.
Diese Diskrepanz führt zu Exposure Bias, bei dem sich Fehler summieren, während das Modell von der Trainingsverteilung abweicht, was eine echte End-to-End-Generierung verhindert.

Aktuelle Skalierungsgesetze konzentrieren sich auf zwei Achsen: Parameter (Modellkapazität) und Daten (Trainingsvolumen). Das Paper argumentiert, dass diese Achsen eine dritte kritische Kapazität übersehen: Generative Expressivität (die Anzahl der distinkten Modi, die ein Trainingsziel eines Modells zu erfassen erlaubt). In Standard-Rekonstruktionsmodellen ist die generative Expressivität durch das Trainingsziel fixiert (oft effektiv $E=1$ für direkte Regression), was zu Leistungsengpässen führt, wenn Modelle und Daten skalieren, unabhängig davon, wie groß sie werden.

2. Methodik: Explorative Modellierung

Die Autoren führen die Explorative Modellierung (XMs) ein, ein neues Paradigma, das die Trainingsschleife anstatt des Generierungsprozesses faktorisiert.

Kernmechanismus

Anstatt eine einzelne Generierung zu erzwingen, die einem Ziel entsprechen muss (was zum Mittelwertbildung führt), führen XMs einen Explorationsschritt während des Trainings ein:

Kandidatengenerierung: In jedem Trainingsschritt generiert das Modell $K$ Kandidaten-Samples ( $\hat{y}_1, \dots, \hat{y}_K$ ) aus demselben latenten Input (z. B. Rauschen).
Selektion: Das Modell identifiziert den Kandidaten, der den echten Daten $x$ am nächsten kommt, unter Verwendung eines Rekonstruktionsverlusts $J$ .
Optimierung: Das Modell wird nur auf dem besten Match aktualisiert, indem der Verlust über den selektierten Kandidaten minimiert wird.

Formal lautet das Ziel für eine Datensample $x$ :
$L(\theta) = \min_{i \in \{1, \dots, K\}} J(\hat{y}_i, x)$

Varianten

Das Paper definiert zwei Richtungen der Exploration:

Forward XM: Fixiert das Datenziel $x$ und exploriert $K$ generierte Kandidaten. Dies ist „Mass-Covering“ (priorisiert Recall), aber rechenintensiv, da es $K$ Vorwärtsläufe pro Schritt erfordert.
Reverse XM: Fixiert eine einzelne generierte Sample $\hat{y}$ und exploriert $K$ Datenziele aus dem Datensatz. Dies ist „Mode-Seeking“ (priorisiert Precision) und recheneffizienter (ein Vorwärtslauf), birgt jedoch das Risiko von Mode Collapse ohne Entropie-Constraints.

Theoretische Implikationen

Generative Expressivität: Exploration erhöht die generative Expressivität des Modells von 1 auf mindestens $K$ . Durch die Selektion des besten Matches unter $K$ Kandidaten verschiebt sich der Verlustminimierer vom verschwommenen Mittelwert der Daten hin zu den tatsächlichen Datenmodi.
Substituierbarkeit: Das Paper postuliert, dass die Faktorisierung der Trainingsschleife (via Exploration) substituierbar für die Faktorisierung des Generierungsprozesses ist. Wenn die Exploration ( $K$ ) steigt, sinkt die optimale Anzahl der Generierungsschritte (Sprünge), was es Modellen ermöglicht, stärker End-to-End zu agieren.

3. Zentrale Beiträge

Neues Paradigma: Einführung der Explorativen Modellierung, welche die Trainingsschleife faktorisiert, um multimodale Verteilungen zu handhaben und eine End-to-End-Generierung zu ermöglichen.
Dritte Pretraining-Achse: Demonstration, dass Exploration eine skalierbare Achse neben Parametern und Daten darstellt. Im Gegensatz zu den anderen beiden skaliert sie direkt die generative Expressivität.
End-to-End Rekonstruktion: Beweis, dass XMs als eigenständige End-to-End-generative Modelle fungieren können und die Leistung von Diffusion bei Kontrollaufgaben mit signifikant weniger Inferenzschritten erreichen.
Compute-Generalisierungs-Tradeoff: Beleg dafür, dass die Investition zusätzlicher Rechenleistung in die Exploration die Generalisierung direkt verbessert, indem Overfitting und Exposure Bias reduziert werden.

4. Experimentelle Ergebnisse

Die Autoren evaluierten XMs über kontinuierliche (Bilder, Video) und diskrete (Sprache) Domänen hinweg und fügten Exploration zu bestehenden Baselines (Diffusion, Flow Matching, Jumpy-Modelle, Masked Diffusion Language Models) hinzu.

Effizienzgewinne

FLOP-Effizienz: Verbessert um 4,1× (RAE-Baseline) und bis zu 52 % (SiT-Baseline).
Sample-Effizienz: Verbessert um 6,2× (erreicht die Baseline-Leistung mit 6,2× weniger Daten).
Parameter-Effizienz: Ein großes Modell mit 5 explorierten Modi übertraf ein XL-Modell mit 47 % mehr Parametern, aber ohne Exploration.
Skalierungstrends: Die Effizienzgewinne steigen mit der Skalierung. Als die Rechenleistung verdreifacht wurde (Übergang von SiT zu RAE-Settings), verdoppelten sich die Effizienzgewinne mehr als.

Leistungsverbesserungen

Bildgenerierung: XRAE (Explorative RAE) erreichte einen Near-State-of-the-Art FID-Wert von 1,43 auf ImageNet (256x256) ohne Guidance, womit es die Guided-Baselines früherer SOTA-Rezepte übertraf.
Videogenerierung: Eine Erhöhung der Exploration verbesserte die FVD-Scores monoton.
Sprache: Die Anwendung von Exploration auf Masked Diffusion Language Models (XMDLM) verbesserte die Perplexity-Entropy-Frontier flächendeckend.
Generalisierung: Bei Videogenerierungsaufgaben reduzierte erhöhte Exploration das Overfitting und erreichte ein besseres Minimum FVD (30,0 vs. 37,5 ohne Exploration).

End-to-End Fähigkeiten

Robotik (Behavior Cloning): Eine Explorative Policy erreichte bei Robomimic-Aufgaben die Leistung einer Diffusion Policy mit 100× weniger Inferenz-Rechenaufwand (1 Vorwärtslauf statt 100 Schritte).
World Modeling: Ein Exploratives World Model erreichte bei Maze2D-Aufgaben die Leistung von Diffuser mit 16–256× weniger Inferenz-Rechenaufwand.

Skalierungsgesetze

Daten-Skalierung: Die Leistungsgewinne durch Exploration stiegen von 7 % auf 36 %, als die Datenskala zunahm.
Modell-Skalierung: Gewinne stiegen von 13 % auf 23 %, als die Modellgröße zunahm.
End-to-End Shift: Mit zunehmender Exploration performten Modelle mit weniger Generierungsschritten (mehr End-to-End) besser, was bestätigt, dass Exploration die Faktorisierung der Generierung ersetzen kann.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die Explorative Modellierung einen fundamentalen Flaschenhals in der generativen KI adressiert: die Unfähigkeit, die generative Expressivität zu skalieren.

Jenseits von Likelihood: Die Autoren argumentieren, dass die alleinige Optimierung der Likelihood unzureichend ist, wenn die generative Expressivität des Modells auf 1 begrenzt ist (Vorhersage des Mittelwerts). XMs optimieren für die Fähigkeit, distinkte Modi zu erfassen.
Wahre End-to-End-Lernprozesse: Durch die Faktorisierung der Trainingsschleife ermöglichen XMs Modellen, während der Inferenz exakt so zu sampeln, wie sie es während des Trainings tun, wodurch der Exposure Bias und der Mismatch zwischen Training und Inferenz eliminiert werden, der aktuelle Diffusion- und autoregressive Modelle plagt.
Skalierbarkeit: Die Ergebnisse legen nahe, dass aktuelle Foundation Models, die ohne Exploration trainiert werden, zunehmend hinter ihrer compute-optimalen Leistung zurückbleiben. Das Paper postuliert, dass mit der Skalierung der Modelle der Engpass von Parametern/Daten hin zur generativen Expressivität rückt, was Exploration zu einer notwendigen Komponente für zukünftiges Scaling macht.
Bescheidene Ansprüche: Die Autoren räumen Einschränkungen ein, insbesondere dass Forward XM für hochgradig multimodale Daten (wie Rohbilder) rechenintensiv ist und dass autoregressive LLMs aufgrund der Herausforderungen bei der Injektion latenter Variablen schwerer zu integrieren sind. Sie merken an, dass Reverse XM in Zukunft eine skalierbarere Lösung für Aufgaben mit hoher Multimodalität sein könnte.

Zusammenfassend stellt das Paper fest, dass das Skalieren dessen, was Modelle generieren können (via Exploration), ebenso entscheidend ist wie das Skalieren dessen, was sie repräsentieren können (Parameter) oder lernen können (Daten), und bietet einen Weg zu voll End-to-End-generativer Modellierung.