🤖 machine learning

Scaling Categorical Flow Maps

Dieser Artikel demonstriert die Skalierbarkeit von Categorical Flow Maps durch das Training eines 1,7-Milliarden-Parameter-Modells auf 2,1 Billionen Tokens zur Generierung hochwertiger Texte in nur vier Schritten, während gleichzeitig eine Wahrscheinlichkeitsgrenze für die Evaluierung etabliert und zentrale Erkenntnisse zu Trainingsherausforderungen wie der Gewichtung des Verlusts und dem Zeitplan bereitgestellt werden.

Ursprüngliche Autoren: Oscar Davis, Anastasiia Filippova, Pierre Ablin, Victor Turrisi, Amitis Shidani, Marco Cuturi, Louis Béthune

Veröffentlicht 2026-05-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Oscar Davis, Anastasiia Filippova, Pierre Ablin, Victor Turrisi, Amitis Shidani, Marco Cuturi, Louis Béthune

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Eine neue Art, Text zu schreiben

Lange Zeit war die beste Methode für Computer, Text zu schreiben (wie Chatbots oder Story-Generatoren), das autoregressive (AR) Modell. Stellen Sie sich einen Schriftsteller vor, der einen Satz Wort für Wort aufbaut, wie beim Verlegen von Ziegeln. Er schreibt das erste Wort, dann das zweite, dann das dritte. Das ist zuverlässig, aber langsam, weil er warten muss, bis jeder Ziegel trocknet, bevor er den nächsten legen kann.

Kürzlich versuchten Wissenschaftler einen anderen Ansatz namens Diffusion. Stellen Sie sich einen Bildhauer vor, der mit einem Marmorblock beginnt, der mit Rauschen (Statik) bedeckt ist, und langsam das Rauschen wegschlägt, um die Statue zu enthüllen. Das ist großartig für Bilder, aber für Text war es schwierig, da Text aus diskreten „Blöcken" (Wörtern) besteht und nicht aus glattem Ton.

Dieses Paper stellt eine neue Methode namens Categorical Flow Maps (CFMs) vor. Stellen Sie sich dies als einen Hochgeschwindigkeitszug vor, der von einer chaotischen, lauten Station direkt zu einem bestimmten, schönen Ziel (einem perfekten Satz) in nur wenigen Haltestellen reist, anstatt langsam zu meißeln oder Ziegel einzeln zu verlegen.

Das Problem: Skalierung

Vorherige Experimente mit dieser „Zug"-Methode funktionierten gut bei kleinen Modellen (wie einem Spielzeugauto), aber niemand wusste, ob sie einen massiven, realen Zug bewältigen könnte (ein Modell mit Milliarden von Parametern). Die Befürchtung war, dass die Mathematik, die zum Betreiben des Zuges erforderlich ist, zu schwer wird und das System zum Absturz bringt.

Die Behauptung des Papers: Die Autoren bauten ein massives Modell mit 1,7 Milliarden Parametern und bewiesen, dass diese „Zug"-Methode in großem Maßstab funktioniert. Es gelang ihnen, hochwertigen Text in nur 4 Schritten (Haltestellen) zu generieren, während andere Methoden Hunderte benötigen könnten.

Wie sie es gemacht haben (Das Rezept)

Die Autoren schalteten die Maschine nicht einfach ein; sie mussten den Motor sorgfältig abstimmen. Sie verwendeten einen zweistufigen Prozess:

Stufe 1: Der Lehrer (Pre-Training)
Zuerst trainierten sie ein Standardmodell, um zu verstehen, wie man von Rauschen zu Text gelangt. Stellen Sie sich dies vor wie einen Lehrer, der die Karte lernt. Sie testeten über 350 verschiedene Einstellungen (wie das Ändern des Kraftstoffgemischs oder der Geschwindigkeit des Zuges), um das perfekte Rezept zu finden. Sie stellten fest, dass das Mischen verschiedener Zeitpläne und das Anpassen, wie stark das Modell auf seine eigenen Fehler „hört", entscheidend war.
Stufe 2: Der Schüler (Self-Distillation)
Sobald der Lehrer bereit war, verwendeten sie eine Technik namens Self-Distillation. Stellen Sie sich vor, der Lehrer zeigt dem Schüler eine Abkürzung: „Gehen Sie nicht den ganzen Weg; springen Sie einfach vom Start zum Ziel."
- Der Schüler lernt, das endgültige Ziel direkt aus dem Rauschen vorherzusagen und die langsame, schrittweise Reise zu überspringen.
- Das Paper fand heraus, dass diese „Abkürzung" es dem Modell ermöglicht, in nur 4 Schritten vielfältigen, hochwertigen Text zu generieren, während die Vielfalt der Wörter (Entropie) hoch bleibt, damit es nicht roboterhaft oder wiederholend klingt.

Die Ergebnisse: Geschwindigkeit vs. Qualität

Das Paper vergleicht drei Hauptmethoden zur Textgenerierung:

Autoregressiv (Der Ziegelleger): Langsam, aber sehr genau.
Standard-Diffusion (Der Bildhauer): Kann schnell sein, hat aber oft Schwierigkeiten mit der Textqualität.
Categorical Flow Maps (Der Hochgeschwindigkeitszug): Das Paper zeigt, dass diese Methode einen „Sweet Spot" trifft.

Wichtige Erkenntnisse:

Geschwindigkeit: Mit dem „Abkürzungs"-Training kann das Modell Text in 4 Schritten produzieren, der fast so gut ist wie die langsame Ziegel-Verlegemethode.
Qualität: Der generierte Text ist vielfältig und kollabiert nicht in Unsinn (ein häufiges Problem, bei dem Modelle immer wieder dasselbe Wort wiederholen).
Bewertung: Sie entwickelten eine neue mathematische Methode, um das „Glaubwürdigkeits"-Urteil (Likelihood) des Modells zu „benoten", und zeigten, dass es im Wettbewerb mit anderen Nicht-Ziegel-Verlegemethoden mithalten kann.

Die Herausforderungen (Die Stolpersteine auf der Straße)

Die Autoren sind ehrlich über die Schwierigkeiten:

Speicherdurst: Um diesen „Zug" zu betreiben, muss der Computer eine massive Karte jedes möglichen Wortes an jeder Position im Satz halten. Für ein großes Modell erfordert dies viel Speicher (sie verwendeten 256 leistungsstarke GPUs, um dies zu bewerkstelligen).
Abstimmung ist schwierig: Sie versuchten, eine „Zero-Shot"-Methode zu verwenden (Einstellungen von einem kleinen Modell automatisch auf ein großes zu übertragen), aber das funktionierte nicht gut. Sie mussten das große Modell immer noch manuell abstimmen, was teuer und zeitaufwendig ist.

Zusammenfassung

Dieses Paper beweist, dass Categorical Flow Maps eine gangbare, skalierbare Alternative zur traditionellen „Ziegel-für-Ziegel"-Methode des Textschreibens sind. Durch das Trainieren eines massiven Modells, das „Abkürzungen" vom Rauschen zum Text nimmt, erreichten sie eine hochwertige Generierung in nur wenigen Schritten und erschlossen damit das Potenzial für schnellere, flexiblere Sprachmodelle.

Technische Zusammenfassung: Skalierung kategorischer Flusskarten

Problemstellung

Während autoregressive (AR) Modelle das Sprachmodellieren dominieren, haben kontinuierliche Diffusions- und Flow-Matching-Modelle signifikante Vorteile in kontinuierlichen Modalitäten gezeigt, darunter beschleunigtes Sampling und Verteilungsverzerrung. Die Übertragung dieser Vorteile auf diskrete Daten war ein primäres Ziel der jüngsten Forschung. Bisherige Ansätze, wie diskrete Diffusion, arbeiten auf diskreten Gittern, was die Anwendung etablierter kontinuierlicher Techniken einschränkt. Umgekehrt erzeugen Prozesse mit kontinuierlichem Zustand (z. B. kategorische Flusskarten oder CFMs) diskrete Daten, indem sie eine Wahrscheinlichkeitsverteilung über einem kontinuierlichen Simplex oder $\mathbb{R}^d$ entwickeln.

Trotz jüngerer Demonstrationen, dass CFMs in Regimen mit wenigen Schritten eine konkurrenzfähige Probenqualität erreichen, blieb ihre Skalierbarkeit unbewiesen. Es war unklar, ob CFMs in das Milliarden-Parameter-, Billionen-Token-Regime skalieren können, das für moderne Large Language Models (LLMs) erforderlich ist. Eine primäre technische Hürde ist der Rechen- und Speicheraufwand: Für eine Vokabulargröße $|V|$ und Kontextlänge $L$ erfordern CFMs die Materialisierung von $L \times |V|$ Logit-Matrizen in jedem Schritt, was bei $|V| \approx 200.000$ und großer $L$ prohibitiv sein kann.

Methodik

Die Autoren schlagen eine zweistufige Trainingspipeline vor, um CFMs auf ein 1,7-Milliarden-Parameter-Modell zu skalieren, das auf 2,1 Billionen Token trainiert wurde.

1. Pretraining eines Flussmodells

Die erste Stufe umfasst das Training eines Standard-Flow-Matching-Modells (eines Denoisers), um die Drift des概率flusses zu approximieren.

Architektur: Ein 1,7-Milliarden-Parameter-Transformer mit AdaLN-Zero-Modulation, rotierenden Positionseingebettungen und SwiGLU-MLPs, unter Einhaltung von Lipschitz-Bedingungen für Stabilität.
Ziel: Das Modell wird trainiert, um einen Cross-Entropy-Verlust (Gleichung 2.10) zwischen dem vorhergesagten Endpunkt und den tatsächlichen Daten zu minimieren, wodurch effektiv das Vektorfeld $v_\theta$ gelernt wird.
Erforschung des Designraums: Vor der Skalierung führten die Autoren eine umfassende Hyperparametersuche (350+ Konfigurationen) an einem 400-Millionen-Proxy-Modell durch. Zu den wichtigsten Erkenntnissen gehörten:
- Zeitplanung: Eine Mischung aus linearen und „Error-Decoding"-Plänen ( $\alpha_t = (1-\lambda)t + \lambda\gamma_t$ ) mit $\lambda \approx 0,75$ erzielte optimale Leistung. Reines Error Decoding ( $\lambda=1$ ) führte zum Leistungsabfall.
- Adaptive Verlustgewichtung: Eine Neujustierung des Verlusts basierend auf dem Vorhersagefehler ( $w(x) = \text{sg}((\Delta(x) + c)^{-r})$ ) verbesserte die Generative Perplexity (Gen PPL), erforderte jedoch eine sorgfältige Abstimmung, um die Verteilungstreue (MAUVE*) zu erhalten.
- Zufälliges Unmasking: Das Training mit einer Wahrscheinlichkeit $p > 0$ , ein zufälliges Präfix zu unmasken, war essenziell für die Generierung kohärenter konditionaler Texte; ohne dies erzeugten Modelle Out-of-Distribution-Ausgaben.

2. Selbst-Distillation in eine Kategorische Flusskarte (CFM)

Die zweite Stufe transformiert das vortrainierte Flussmodell in eine CFM, die eine hochwertige Generierung in wenigen Schritten ermöglicht.

Mechanismus: Das Modell lernt eine Flusskarte $X_{s,t}$ , die Wahrscheinlichkeitsmasse von Zeit $s$ zu $t$ in einem einzigen Schritt transportiert, anstatt die ODE über viele Schritte zu integrieren.
Verlustfunktionen: Die Autoren evaluierten Progressive Self-Distillation (PSD) und Stabilised Eulerian-logit Self-Distillation (ESD).
- PSD: Verwendet einen Ansatz für Continuous-Time-Shortcut-Modelle.
- Divergenzwahl: Die Autoren verglichen Forward KL, Reverse KL und Jensen-Shannon-Divergenz (JSD). Sie stellten fest, dass Forward KL und JSD die Token-Entropie und MAUVE* im Regime mit wenigen Schritten verbesserten, während Reverse KL zu Instabilität und Mode Collapse führte.
- Stabilität: Das ESD-Training im 1,7-Milliarden-Maßstab erwies sich aufgrund hochvarianter Jacobian-Schätzungen (berechnet via Finite-Differenzen) als instabil, was die Autoren dazu veranlasste, sich auf PSD-Ergebnisse zu konzentrieren.
Sampling: Die finale CFM generiert Text, indem sie aus einer Prior-Verteilung sampelt und die gelernte Flusskarte $X_{0,1}$ in einem einzigen Durchlauf (oder wenigen Durchläufen) anwendet, was die Inferenzzeit erheblich reduziert.

3. Likelihood-Schätzung

Um CFMs auf Standard-Likelihood-basierten Benchmarks (z. B. MCQA) zu evaluieren, leiteten die Autoren eine Semi-diskrete ELBO ab. Diese Schranke ermöglicht die Bewertung von Antwortmöglichkeiten ohne die rechenintensive reverse Integration der ODE, die in hochdimensionalen diskreten Settings besonders kostspielig ist.

Hauptbeiträge

Skalierbarkeitsnachweis: Die Autoren trainierten erfolgreich ein 1,7-Milliarden-Parameter-Flussmodell auf 2,1 Billionen Token und distillierten es selbst in eine CFM, womit bewiesen wird, dass CFMs in das Milliarden-Parameter-Regime skalieren können.
Hyperparameter-Entdeckung: Durch eine systematische Suche an einem 400-Millionen-Proxy identifizierten sie robuste Einstellungen für Zeitplanung, Verlustgewichtung und Eingabemaske, die auf größere Maßstäbe übertragbar sind.
Generierung in wenigen Schritten: Die selbst-distillierte CFM generiert vielfältigen, hochwertigen Text in nur 4 Inferenzschritten (NFE), während sie eine Token-Entropie auf Datenniveau beibehält und das undistillierte Flussmodell im Low-NFE-Regime übertrifft.
Likelihood-Schranke: Die Einführung einer semi-diskreten ELBO ermöglicht die Evaluierung von CFMs auf Standard-Sprachmodellierungs-Benchmarks und platziert ihre Leistung im gleichen Bereich wie andere nicht-autoregressive Methoden.
Limitationsanalyse: Der Artikel adressiert explizit den Speicher-Engpass der Materialisierung von $L \times |V|$ -Matrizen und die Herausforderungen der Zero-Shot-Hyperparameter-Übertragung für zeitkonditionierte Architekturen.

Ergebnisse

Qualität vs. Schritte: Die selbst-distillierte CFM erreicht bei 1024 Schritten eine Gen PPL von ~58,66 (konkurrenzfähig mit dem AR-Baseline-Wert von 45,33) und einen MAUVE*-Score von ~0,94. Entscheidend ist, dass die CFM bereits bei nur 4 Schritten einen MAUVE* von ~0,88 erreicht und damit das AR-Baseline-Modell (0,7) im Regime mit wenigen Schritten signifikant übertrifft.
Token-Entropie: Die Selbst-Distillation erhält eine hohe Token-Entropie (Vielfalt) auch bei niedrigem NFE, während undistillierte Modelle im 1–2-Schritt-Regime tendenziell kollabieren (niedrige Entropie).
Benchmark-Leistung: Auf MCQA-Benchmarks (ARC-E, BoolQ, OBQA usw.) erreicht die CFM Genauigkeiten, die mit anderen nicht-autoregressiven Methoden (z. B. Eso-LM) vergleichbar sind, bleibt jedoch hinter diskreten Diffusionsmethoden zurück, die direkt auf ELBO-Maximierung trainiert wurden.
Konditionale Generierung: Die selbst-distillierten Modelle zeigen im Regime mit wenigen Schritten signifikante Verbesserungen bei $\Delta$ PPL (konditionale Perplexity) im Vergleich zum undistillierten Modell.

Bedeutung und Behauptungen

Der Artikel behauptet, dass kategorische Flusskarten ein gangbarer Weg für die Generierung diskreter Daten im Maßstab moderner LLMs sind. Durch die erfolgreiche Skalierung auf 1,7 Milliarden Parameter demonstrieren die Autoren, dass das „Flusskarten-Werkzeugkasten"-Konzept – einschließlich Guidance, Verteilungsverzerrung und Reward-Fine-Tuning – nun für das Sprachmodellieren zugänglich ist.

Die Arbeit legt nahe, dass die Generierung mit kontinuierlichem Zustand Rechenleistung gegen Probenqualität tauschen kann, was eine hochwertige Textgenerierung in deutlich weniger Funktionsauswertungen als bei traditionellen Diffusions- oder AR-Modellen ermöglicht. Obwohl die Autoren anmerken, dass die Likelihood-Schätzung ein offenes Feld für Verbesserungen bleibt (da die abgeleitete ELBO eine Schranke ist), deuten die Ergebnisse darauf hin, dass CFMs eine konkurrenzfähige Leistung gegenüber diskreten Diffusions-Baselines erreichen können, während sie gleichzeitig die Vorteile des kontinuierlichen Flow Matching erschließen. Der Artikel schließt, dass die Skalierbarkeit von CFMs neue Wege für die Steuerung und Feinabstimmung von Sprachmodellen jenseits der bloßen Generierung plausibler Ausgaben eröffnet.