🤖 machine learning

Manifold Bandits: Bayesian Curriculum Learning over the Latent Geometry of Large Language Models

Dieses Paper führt das Bayesian Manifold Curriculum (BMC) ein, ein strukturbewusstes Framework, das das Problem-Sampling im Reinforcement Learning von LLMs als ein auf einer Mannigfaltigkeit basierendes Bandit-Problem umformuliert, um den Kompromiss zwischen Lernproduktivität, Aufgabenvielfalt und Evaluationsnutzen zu optimieren, indem es die latenten geometrischen Beziehungen zwischen Aufgaben nutzt, anstatt sich ausschließlich auf eine schwierigkeitsbasierte Auswahl zu verlassen.

Ursprüngliche Autoren: Darrien McKenzie, Nicklas Hansen, Xiaolong Wang

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Darrien McKenzie, Nicklas Hansen, Xiaolong Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem brillanten, aber sehr jungen Schüler (dem Large Language Model) beizubringen, komplexe Rätsel zu lösen. Sie verfügen über eine riesige Bibliothek von Rätseln, die von „Wie binde ich meine Schuhe?“ bis hin zu „Wie baue ich eine Rakete?“ reichen.

In der Vergangenheit versuchten Forscher, diesen Schüler mit zwei Hauptstrategien zu unterrichten:

Zufälliges Raten: Einfach Rätsel aus einem Hut ziehen. Das ist langsam, weil der Schüler sich vielleicht bei zu leichten Aufgaben langweilt oder bei unmöglichen Aufgaben aufgibt.
Die „Goldlöckchen“-Strategie: Nur Rätsel auszuwählen, die „genau richtig“ sind – nicht zu leicht, nicht zu schwer. Das funktioniert gut, hat aber einen Fehler: Es behandelt jedes Rätsel als ein völlig separates, isoliertes Objekt. Es ignoriert die Tatsache, dass „das Bauen einer Rakete“ und „das Fliegen eines Flugzeugs“ miteinander verwandt sind. Wenn der Schüler etwas über Aerodynamik lernt, sollte er auch besser im Fliegen eines Flugzeugs sein.

Dieses Paper stellt eine neue, intelligentere Art des Lehrens vor, die Bayesian Manifold Curriculum (BMC) heißt. So funktioniert sie, erklärt anhand einfacher Analogien:

1. Die „Mentale Landkarte“ (Der Latente Aufgabenbaum)

Anstatt jedes Rätsel als eine separate, unzusammenhängende Aufgabe zu behandeln, betrachtet BMC die interne Gehirnlandkarte des Schülers.

Stellen Sie sich vor, der Schüler hat eine mentale Landkarte, auf der ähnliche Ideen nah beieinander liegen. „Mathematik-Rätsel“ befinden sich in einem Viertel, „Coding-Rätsel“ in einem anderen und „Wissenschafts-Rätsel“ in einem dritten. Innerhalb des „Mathematik“-Viertels gibt es kleinere Straßen für „Algebra“ und „Analysis“.

BMC erstellt einen hierarchischen Baum (wie einen Stammbaum) basierend auf dieser mentalen Landkarte. Es benötigt keinen menschlichen Lehrer, um diese Gruppen zu beschriften; es erschließt die Struktur, indem es analysiert, wie das Gehirn des Schülers die Probleme repräsentiert.

Die Analogie: Denken Sie an die Organisation einer Bibliothek, nicht nur nach „Belletristik“ und „Sachbuch“, sondern durch die Erstellung einer dynamischen Karte, die zeigt, welche Bücher tatsächlich im Erzählstil ähnlich sind, selbst wenn sie in unterschiedlichen Abteilungen stehen.

2. Der „Schlaue Reiseleiter“ (Bayesianisches Lernen)

Soblich die Landkarte erstellt ist, fungiert BMC als Reiseleiter, der entscheidet, welche Rätsel er dem Schüler als Nächstes zeigt. Es verwendet eine Methode namens Bayesianisches Lernen, was im Grunde bedeutet: „Aus Erfahrung lernen und Überzeugungen aktualisieren“.

Der „Überraschungsfaktor“: Wenn der Schüler ein Rätsel löst, bei dem man erwartet hatte, dass er scheitert, wird der Reiseleiter begeistert. Wenn er bei einem Räitsel scheitert, bei dem man erwartet hatte, dass er es spielend meistert, wird der Reiseleiter neugierig.
Der „Ripple-Effekt“ (Welleneffekt): Das ist der magische Teil. Wenn der Schüler etwas Neues über „Algebra“ lernt, aktualisiert der Reiseleiter nicht nur den „Algebra“-Abschnitt der Karte. Da die Karte weiß, dass „Algebra“ mit „Analysis“ verbunden ist, aktualisiert der Reiseleiter auch seine Überzeugung darüber, wie gut der Schüler bei „Analysis“-Aufgaben abschneiden wird, selbst wenn er noch gar keine gesehen hat.
Die Analogie: Stellen Sie sich vor, Sie bringen jemandem das Autofahren bei. Wenn die Person beim Parallelparken besser wird, denken Sie nicht nur: „Gut beim Parken“. Sie aktualisieren auch Ihre Überzeugung, dass sie wahrscheinlich auch generell besser im „Manövrieren in engen Räumen“ wird, was Ihnen hilft, zu entscheiden, was Sie als Nächsten lehren sollten.

3. Die drei Balance-Akte

Das Paper argumenttiert, dass ein guter Lehrer drei Dinge ausbalancieren muss, die die Autoren als Produktivität, Diversität und Nutzen bezeichnen.

Produktivität (Das „Lernsignal“): Wählen wir Rätsel aus, die dem Schüler tatsächlich etwas Neues lehren? (d. h. Rätsel, die schwer genug sind, um interessant zu sein, aber nicht unmöglich).
Diversität (Die „Abdeckung“): Lehren wir dem Schüler nur eine Art von Rätsel (wie nur Mathematik), oder stellen wir sicher, dass er eine große Vielfalt an Problemen sieht (Mathematik, Coding, Wissenschaft)? Wenn man nur Mathematik lehrt, wird der Schüler vielleicht bei der Wissenschaft scheitern.
Nutzen (Der „Realwelt-Test“): Lehren wir die spezifischen Fähigkeiten, die der Schüler für die Abschlussprüfung benötigen wird? Manchmal sind die „produktivsten“ Rätsel (die das beste Lernsignal liefern) nicht die, die am meisten bei der Abschlussprüfung helfen.

4. Das Ergebnis: Ein klügerer Lehrplan

Die Forscher haben dies an einem Mathematik-Datensatz getestet. Sie fanden heraus:

Alte Methoden (wie das bloße Auswählen von Rätseln mit „mittlerer Schwierigkeit“) gerieten oft in eine Endlosschleife und ignorierten seltene, aber wichtige Arten von Problemen.
BMC gelang es, den „Sweet Spot“ zu finden. Es hielt den Schüler herausgefordert (Produktivität) und stellte gleichzeitig sicher, dass er keine seltenen Problemtypen übersieht (Diversität).
Der „Nutzen-Twist“: Sie entwickelten sogar eine Version namens BMC-T, der man sagen konnte: „Hey, die Abschlussprüfung wird hauptsächlich aus chinesischen Mathematikaufgaben bestehen.“ Das System verschob dann subtil seinen Lehrfokus, um diese spezifischen Bereiche besser abzudecken, ohne die Vorteile der anderen Arten von Problemen zu verlieren.

Das Fazit

Dieses Paper besagt, dass man, um eine KI effektiv zu unterrichten, nicht nur darauf schauen kann, wie schwer ein Problem ist. Man muss verstehen, wie die KI die Beziehung zwischen Problemen sieht. Indem man eine Karte dieser Beziehungen erstellt und einen klugen, sich ständig aktualisierenden Reiseleiter nutzt, um die nächste Lektion auszuwählen, kann man die KI schneller, breiter gefächert und besser auf die spezifischen Tests vorbereiten, denen sie gegenübersteht.

Es ist der Unterschied zwischen einem Lehrer, der einem einfach nur wahllos Arbeitsblätter aushändigt, und einem Lehrer, der das eigene Gehirn versteht, weiß, wie die eigenen Fähigkeiten zusammenhängen, und einen maßgeschneiderten Lehrplan entwirft, der genau die richtige Mischung aus Herausforderung, Vielfalt und realer Relevanz trifft.

Technisches Resümee: Manifold Bandits – Bayesianisches Curriculum Learning über der latenten Geometrie von Large Language Models

1. Problemstellung

Reinforcement Learning (RL) ist zu einer primären Methode geworden, um die Denkfähigkeiten von Large Language Models (LLMs) zu verbessern, insbesondere durch Algorithmen zur gruppenrelativen Optimierung wie GRPO, DAPO und GSPO. Diese Methoden verlassen sich auf die Belohnungsvarianz innerhalb einer Gruppe von Rollouts, um Policy-Gradienten zu generieren. Wenn ein Modell ein Problem konsistent löst oder konsistent scheitert, ist die Belohnungsvarianz Null, was zu keinem Lernsignal führt und Rechenressourcen verschwendet.

Bestehende Methoden für adaptives Curriculum Learning versuchen dies zu adressieren, indem sie Prompts mittlerer Schwierigkeit (die wahrscheinlich eine nicht-null Varianz liefern) priorisieren. Diese Ansätze rahmen die Problemauswahl jedoch typischerweise als ein standardmäßiges Multi-Armed-Bandit-Problem mit unabhängigen Armen. Diese Rahmung übersieht zwei kritische Dynamiken des LLM-Trainings:

Endogene Nicht-Stationarität: Die Belohnungsverteilung über Prompts entwickelt sich nicht nur aufgrund externer Faktoren, sondern als direkte Folge der eigenen Updates und Sampling-Entscheidungen des Modells.
Strukturierte Heterogenität: Probleme sind nicht unabhängig; Prompts ähnlicher Typen teilen Denkprozesse und latente Merkmale. Das Ignorieren dieser Beziehungen führt zu ineffizienter Exploration.

Darüber hinaus konzentrieren sich aktuelle Strategien oft ausschließlich auf die Produktivität (Maximierung des unmittelbaren Lernsignals), während sie Diversität (Abdeckung des Aufgabenraums) und Nützlichkeit (Relevanz für nachgelagerte Evaluierungs-Benchmarks) vernachlässigen. Dies kann zu einer engen Abdeckung und suboptimaler Generalisierung führen.

2. Methodik

Die Autoren schlagen das Bayesianische Manifold-Curriculum (BMC) vor, ein Framework, das die Problemauswahl als ein manifold-strukturiertes Bandit-Problem mit endogener Nicht-Stationarität neu formuliert. Die Methodik besteht aus drei Kernkomponenten:

A. Latente Task-Trees (Aufgabenbäume)

Anstatt Prompts als unabhängige Arme zu behandeln, konstruiert BMC einen hierarchischen Latenten Task Tree direkt aus den internen Repräsentationen des Policy-Modells.

Konstruktion: Der Baum wird rekursiv unter Verwendung von Embeddings aus einer Zwischenschicht des Policy-Modells aufgebaut. In jedem Knoten werden die Embeddings mittels PCA reduziert, via UMAP projiziert und mittels HDBSCAN geclustert.
Abbruchkriterium: Die Rekursion stoppt, wenn eine Region einen „Chart Test“ besteht, der verifiziert, dass das lokale Manifold annähernd glatt und kohärent ist (geringe intrinsische Dimensionalität und Konnektivität).
Zweck: Diese Hierarchie approximiert das latente Aufgaben-Manifold des Modells und organisiert Prompts in multi-skaligen Regionen, die die Beziehungen zwischen Aufgaben widerspiegeln, basierend auf der internen Wahrnehmung des Modells, anstatt sich auf externe Annotationen oder feste Taxonomien zu verlassen.

B. Bayesianisches Manifold-Curriculum (BMC)

BMC führt eine strukturierte Entscheidungsfindung über dem Latenten Task Tree mittels eines Drei-Schritte-Zyklus durch:

Top-Down-Selektion (Hierarchisches Thompson Sampling): Um einen Trainings-Batch zu bilden, traversieren Agenten den Baum von der Wurzel bis zum Blatt. An jedem Knoten ziehen sie Belohnungsschätzungen für Kindknoten aus einer Gaußschen Glaubensverteilung ( $\mathcal{N}(\mu, \sigma^2)$ ) und wählen das Kind mit dem höchsten Sample aus. Dies balanciert Exploration (Diversität) und Exploitation (Produktivität) über verschiedene Abstraktionsebenen hinweg.
Nicht-stationäre Glaubensmodellierung (Bayesianisches Filtern): Blattknoten (einzelne Prompts) pflegen Überzeugungen über ihr erwartetes Lernsignal (Belohnungsvarianz). Diese Überzeugungen werden online mithilfe eines leichtgewichtigen Bayesianischen Filters aktualisiert, der vom Normal–Inverse-Gamma-Modell inspiriert ist. Der Aktualisierungsmechanismus berücksichtigt Überraschung (standardisierter Vorhersagefehler) und Veralterung (Zeit seit dem letzten Sampling), um sich an die evolvierenden Fähigkeiten des Modells anzupassen.
Bottom-Up-Glaubenspropagation (Empirisches Bayes): Nach den Updates propagieren Informationen nach oben. Die Überzeugungen der Elternknoten werden als präzisionsgewichtete Mittelwerte der Überzeugungen ihrer Kinder geschätzt, angepasst an die Subtree-Heterogenität. Dies ermöglicht es, dass Beobachtungen von einem Prompt die Überzeugungen verwandter Prompts in derselben Region beeinflussen und so die latente Struktur ausnutzen.

C. Nützlichkeitsorientierte Erweiterung (BMC-T)

Um die Diskrepanz zwischen Trainingsproduktivität und nachgelagerter Evaluierungsleistung zu adressieren, führen die Autoren BMC-T ein. Diese Variante verzerrt die Stichprobenziehung hin zu Regionen der Trainingsverteilung, die im latenten Raum mit einer Zielverteilung (z. B. einer spezifischen Evaluierungs-Benchmark) überlappen. Sie behandelt den Latenten Task Tree als ein approximatives Interventionsmodell und nimmt an, dass das Training auf benachbarten Aufgaben stärkere Transfereffekte hat.

3. Zentrale Beiträge

Latente Task-Trees: Eine hierarchische Methode zur Approximation der Struktur des Aufgaben-Manifolds direkt aus den Modell-Embeddings, die eine multi-skalige Repräsentation der Prompt-Beziehungen ohne externe Labels bietet.
Bayesianisches Manifold-Curriculum (BMC): Ein struktur-bewusstes adaptives Curriculum-Framework, das Bayesianische Entscheidungsfindung über diesen Bäumen durchführt und eine effiziente Exploration ermöglicht, während es die endogene, modellinduzierte Nicht-Stationarität berücksichtigt.
Produktivitäts–Diversitäts–Nützlichkeits-Trade-offs: Eine diagnostische Analyse, die zeigt, dass adaptive Curricula nicht allein durch die nachgelagerte Performance charakterisiert werden können. Die Autoren unterscheiden drei Achsen:
- Produktivität: Lernsignal (Belohnungsvarianz).
- Diversität: Abdeckung des Aufgaben-Manifolds.
- Nützlichkeit: Relevanz für spezifische Evaluierungs-Benchmarks.
  Sie zeigen, dass diese Achsen nicht austauschbar sind; die Optimierung einer Achse garantiert nicht die Optimierung der anderen.

4. Experimentelle Ergebnisse

Die Autoren evaluierten BMC bei mathematischen Denkaufgaben mit dem DAPO-Math-17K-Datensatz und Qwen3-Modellen (4B und 8B) mittels GSPO und GRPO.

Trainingseffizienz (Produktivität): BMC und seine „Difficulty Only“-Ablation erreichten Lerngeschwindigkeiten, die mit Dynamic Sampling (welches Batches regeneriert, um Varianz sicherzustellen) vergleichbar sind, jedoch mit signifikant geringerer Wand-Zeit (Wall-clock time) und nahe an der Effizienz von Uniform Sampling bleiben.
Abdeckung und Informationsaustausch (Diversität): BMC balancierte erfolgreich die Diversität von Tree Only (das die Abdeckung betont) mit der Produktivität von Difficulty Only. Metriken zeigten, dass BMC eine bessere Abdeckung unterrepräsentierter Regionen (Rarity-weighted Exposure) bot und dass der Latente Task Tree eine signifikante Variation der Lernsignale erklärte (Structure Gain), was bestätigt, dass Lernsignale mit der latenten Struktur korreliert sind.
Evaluierungsleistung (Nützlichkeit):
- Dynamic Sampling schnitt bei weniger repräsentierten Benchmarks (z. B. Chinesische Mathematik, OOD-Wissenschaft) schlecht ab, da es eine implizite Filterung seltener Prompt-Typen bewirkte.
- BMC erzielte eine starke Performance auf der Out-of-Domain-Benchmark GPQA-Diamond, was darauf hindeutet, dass die gleichzeitige Optimierung von Produktivität und Diversität Fähigkeiten fördert, die durch Standard-In-Distribution-Mathematik-Evaluierungen nicht erfasst werden.
- BMC-T demonstrierte, dass die Nützlichkeit gesteuert werden kann: Das Targeting spezifischer Benchmarks (z. B. AIME2024) verbesserte die Leistung auf diesen spezifischen Benchmarks, während die allgemeine Produktivität erhalten blieb, was bestätigt, dass unterschiedliche Problemtypen unterschiedliche Evaluierungsrelevanzen besitzen.

5. Bedeutung und Ansprüche

Das Paper argumentiert, dass Schwierigkeit allein unzureichend für eine starke nachgelagerte Performance ist. Die Maximierung des Lernsignals (Produktivität) garantiert keine besseren Ergebnisse, wenn das Modell nicht mit den Arten von Problemen konfrontiert wird, die die Generalisierung auf Zielaufgaben vorantreiben.

Die Autoren behaupten, dass die Problemauswahl als ein manifold-strukturiertes Bandit-Problem über der latenten Geometrie der Policy formuliert werden sollte. Indem sie die Curriculum-Struktur aus den gelernten Repräsentationen der Policy selbst ableiten (was dem „Bitter Lesson“ entspricht, Struktur durch Daten und Rechenleistung zu lernen, statt menschliche Definitionen aufzuzwingen), bietet BMC einen Weg, um:

Die Trade-offs zwischen Produktivität, Diversität und Nützlichkeit zu navigieren.
Die endogene Nicht-Stationarität zu nutzen, bei der Sampling-Entscheidungen die zukünftigen Belohnungslandschaften formen.
Über Domänen, Sprachen und Modalitäten hinweg zu generalisieren, ohne auf handdefinierte Taxonomien oder externe Embedding-Modelle angewiesen zu sein.

Die Arbeit hebt das Phänomen der „Evaluation Deadzone“ hervor: Ein Modell kann produktiv auf einer spezifischen Menge von Problemen trainiert werden, aber wenn diese Probleme nicht mit der Evaluierungsverteilung übereinstimmen, verbessert sich die nachgelagerte Performance möglicherweise nicht. BMC-T bietet einen Mechanismus, um dies zu adressen, indem der Trainingsaufwand in die zielrelevanten Regionen des latenten Manifolds gelenkt wird.