🤖 AI

Transferability for General Reasoning: An Automated Curriculum for Multi-Domain RLVR

Dieses Paper stellt Transfer-Aware Curriculum (TAC) vor, eine automatisierte, overhead-arme Bandit-artige Methode für Multi-Domain Reinforcement Learning with Verifiable Rewards (RLVR), die Trainingsdomänen basierend auf deren domänenübergreifender Transferierbarkeit mittels Gradienten-Geometrie-Ausrichtung dynamisch priorisiert und dadurch feste Zeitpläne sowie rein auf Lernbarkeit basierende Ansätze in der makro-gemittelten Reasoning-Genauigkeit signifikant übertrifft.

Ursprüngliche Autoren: Yongjin Yang, Jiarui Liu, Yinghui He, Lezhen Zhang, Bernhard Schölkopf, Zhijing Jin

Veröffentlicht 2026-06-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yongjin Yang, Jiarui Liu, Yinghui He, Lezhen Zhang, Bernhard Schölkopf, Zhijing Jin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Trainer, der ein Team von Athleten dazu ausbildet, Allround-Super-Löser zu werden. Ihr Team muss in sechs verschiedenen Sportarten gut werden: Mathe, Programmieren, Logik, Simulation, Tabellen und Naturwissenschaften.

In der Vergangenheit hatten Trainer zwei Hauptmethoden, um das Training zu planen:

Der Zufalls-Mixer: Man wirft die Athleten einfach jeden Tag zufällig in verschiedene Sportarten.
Der „Lernfähigkeit“-Trainer: Man trainiert die Athleten nur in der Sportart, in der sie sich derzeit am schnellsten verbessern. Wenn sie in Mathe richtig gut werden, macht man weiter mit Mathe.

Das Problem:
Das Paper argumentiert, dass beide Methoden einen blinden Fleck haben. Nur weil ein Athlet in Mathe schnell Fortschritte macht, bedeutet das nicht, dass das Üben von Mathe ihm auch bei Logik oder Naturwissenschaften hilft. Tatsächlich fand das Paper heraus, dass einige Bereiche (wie Mathe) so spezialisiert sind, dass das Üben von ihnen nur dazu führt, dass man besser in Mathe wird, und dem restlichen Team nicht viel hilft. Andererseits können andere Bereiche anfangs schwerer zu lernen sein, aber das Üben dieser Bereiche gibt einen „Boost“ für alle anderen Sportarten.

Wenn man nur auf den „Lernfähigkeit“-Trainer hört, trainiert man vielleicht zu viel Mathe und ignoriert die Sportarten, die eigentlich dem gesamten Team beim Wachsen helfen.

Die Lösung: Der „Transfer-bewusste“ Trainer (TAC)

Die Autoren schlagen einen neuen Trainer namens TAC (Transfer-Aware Curriculum) vor. Stellen Sie sich TAC als einen smarten Trainer vor, der sich vor der Auswahl einer Sportart für den Tag zwei Fragen stellt:

„Lernen sie gerade?“ (Das Lernfähigkeits-Signal)
- Wenn der Athlet kämpft, aber Fortschritte macht, sollten wir weiter üben.
„Hilft das Üben dieser Sportart den anderen Sportarten?“ (Das Transferfähigkeits-Signal)
- Dies ist der neue Trick. Der Trainer schaut sich die „Richtung“ der Verbesserung des Athleten an. Hilft der mentale Muskel, den man für Logik aufbaut, auch bei Naturwissenschaften?
- Wenn die Antwort ja lautet, bekommt diese Sportart eine höhere Priorität, selbst wenn der Athlet sich darin nicht so schnell verbessert wie in Mathe.

Wie es funktioniert (Die „Magie“-Metapher)

Stellen Sie sich vor, das Gehirn des Athleten ist eine riesige Landkarte mit vielen Pfaden.

Alte Methode: Der Trainer wählt einfach den Pfad aus, auf dem der Athlet am schnellsten geht.
TAC-Methode: Der Trainer betrachtet die Geometrie der Pfade.
- Einige Pfade (wie Mathe) sind wie eine steile, schmale Klippe. Das Klettern darauf macht einen großartig im Klettern, hilft aber nicht beim Schwimmen oder Laufen.
- Andere Pfade (wie Tabellen oder Logik) sind wie eine breite, flache Autobahn. Das Gehen auf ihnen mag sich anfangs langsamer anfühlen, aber es baut Muskeln auf, die beim Klettern, Schwimmen und Laufen helfen.

TAC verwendet ein spezielles Werkzeug (genannt Gradienten-Geometrie), um den „Winkel“ des Fortschritts des Athleten zu messen. Wenn der Winkel des Fortschritts in Mathe in eine völlig andere Richtung zeigt als der Fortschritt in Logik, weiß TAC: „Okay, wir haben heute genug Mathe gemacht; lass uns zu Logik wechseln, weil dieser Pfad dem gesamten Team helfen wird.“

Die Ergebnisse: Was ist passiert?

Die Forscher testeten dies an zwei verschiedenen „Athleten“ (KI-Modellen namens Qwen und Llama) über alle sechs Sportarten hinweg.

Der Gewinner: TAC gewann jedes Mal. Es lieferte die beste Gesamtleistung des Teams.
Die Überraschung: Der „Nur-Lernfähigkeit“-Trainer (der nur darauf achtete, wer sich am schnellsten verbesserte) blieb stecken. Er blieb obsessiv an Mathe und Naturwissenschaften hängen, weil dies anfangs die „einfachsten“ Bereiche waren, die man verbessern konnte, aber das schadete der allgemeinen Balance des Teams.
Die Effizienz: TAC benötigte keine zusätzlichen Daten oder teuren Tests. Es fand den besten Zeitplan, indem es einfach die Trainingssignale analysierte, die es bereits generierte. Es war wie ein kostenloses Upgrade für das Playbook des Trainers.

Das Fazit

Das Paper kommt zu dem Schluss, dass man, um eine wirklich intelligente KI zu bauen, die über alles schlussfolgern kann, sie nicht einfach nur mit den Daten füttern darf, aus denen sie am schnellsten lernt. Man muss klug entscheiden, welche Daten den größten Nutzen für alles andere haben.

Indem der TAC-Trainer das Gleichgewicht zwischen „was wir gerade lernen“ und „was uns hilft, alles andere zu lernen“ hält, erschafft er einen viel stärkeren, vielseitigeren Denker. Es ist der Unterschied zwischen dem Training eines Spezialisten, der in einer Sache großartig, aber überall sonst nutzlos ist, und dem Training eines Generalisten, der mit allem fertig werden kann.

Technisches Resümee: Transfer-bewusster Lehrplan für Multi-Domänen-RLVR

Problemstellung

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat die Denkfähigkeiten von Large Language Models (LLMs) in einzelnen Domänen wie Mathematik und Programmierung erfolgreich verbessert. Die Ausweitung auf Multi-Domänen-Denk-Suites (die Mathematik, Programmierung, Logik, Simulation, Tabellen und MINT/STEM umfassen) stellt jedoch eine kritische Herausforderung dar: Die Übertragung von Denkfähigkeiten erfolgt über Domänen hinweg ungleichmäßig.

Aktuelle Ansätze für das Multi-Domänen-Training verlassen sich typischerweise auf feste Sampling-Pläne oder handgefertigte Lehrpläne (Curricula). Während jüngere „lernbarkeitsbasierte“ Lehrpläne (z. B. SEC) das Sampling basierend darauf anpassen, in welcher Domäne die Policy aktuell Fortschritte macht (unter Verwendung von On-Policy-Advantages), leiden sie unter einem fundamentalen blinden Fleck: Sie berücksichtigen nicht die domänenübergreifende Transferierbarkeit. Eine Domäne kann lokal hochgradig lernbar sein (starke unmittelbare Gradienten liefern), aber ihre Aktualisierungen könnten die Leistung in anderen Domänen nicht unterstützen oder sogar beeinträchtigen. Umgekehrt könnte eine weniger offensichtlich lernbare Domäne Gradienten-Updates liefern, die die Policy über die gesamte Suite hinweg breit verbessern. Bestehende Methoden riskieren, sich zu sehr auf lokal reiche, aber global enge Domänen zu konzentrieren, wodurch erhebliches Potenzial für domänenübergreifende Verbesserungen ungenutzt bleibt.

Methodik: Transfer-bewusster Lehrplan (Transfer-Aware Curriculum, TAC)

Die Autoren schlagen den Transfer-Aware Curriculum (TAC) vor, einen automatisierten, Bandit-basierten Online-Lehrplan, der domänenübergreifende Transferierbarkeit als primäres Signal für die Domänenselektion integriert. TAC operiert innerhalb des Group Relative Policy Optimization (GRPO)-Frameworks und formuliert die Domänenselektion als Multi-Armed-Bandit-Problem.

Kernkomponenten

Bandit-Formulierung:
- Jede Denkdomäne wird als ein „Arm“ behandelt.
- In jedem Trainingsschritt sampelt der Lehrplan eine Domäne basierend auf einer Wertschätzung $Q_m$ aus einem Feedback-Signal $S_m$ .
- Die Sampling-Verteilung wird mittels einer Boltzmann-Verteilung über Upper Confidence Bound (UCB)-augmentierte Werte aktualisiert, um Exploration und Exploitation auszubalancieren.
Duales Feedback-Signal ( $S_m$ ):
Das Feedback-Signal für jede Domäne ist eine gewichtete Kombination aus zwei Termen:
- Lokale Lernbarkeit ( $\hat{L}_m$ ): Abgeleitet vom mittleren absoluten GRPO-Advantage. Dies erfasst das unmittelbare Lernsignal (aktive Verbesserung) innerhalb der Domäne. Es wird über eine laufende Z-Score-Normalisierung skaliert, um Variationen in der Größenordnung zu handhaben.
- Domänenübergreifende Transferierbarkeit ( $T_m$ ): Ein neuartiges, selbstüberwachtes Signal, das schätzt, wie gut ein Gradientenschritt in Domäne $m$ $m$ mit den Gradientenrichtungen anderer Domänen übereinstimmt.
  - Mechanismus: Anstatt vollständige hochdimensionale Gradienten zu berechnen, nutzt TAC projektierte Gradienten (via Random-Projektionen, z. B. TRAK-Stil-Sketches), um die Update-Richtung in einem niedrigdimensionalen Raum darzustellen.
  - Zustandsverfolgung: Jede Domäne pflegt einen exponentiell gleitenden Durchschnitt (EMA) seiner projektierte Gradientenvektoren.
  - Alignment-Metrik: Periodisch wird die paarweise Kosinus-Ähnlichkeit zwischen dem Gradientenzustand einer Domäne und den Zuständen aller anderen aktiven Domänen berechnet. Der Transferierbarkeitswert $T_m$ ist die mittlere Kosinus-Ähnlichkeit, normalisiert via Min-Max-Skalierung auf einen Bereich von $[0, 1]$ .
  - Effizienz: Dieses Signal wird vollständig aus den Gradienten berechnet, die bereits während des Standard-RL-Trainings generiert wurden, sodass keine zusätzlichen Rollouts, Test-Probes oder Oracle-Annotationen erforderlich sind. Der Overhead ist vernachlässigbar (<1 % der Rechenzeit).
Signal-Integration:
Das finale Signal ist $S_m = \beta \hat{L}_m + (1-\beta) T_m$ . Der Koeffizient $\beta$ balanciert die beiden Signale aus. Die Methode aktualisiert die Wertschätzungen für beide gesampelten und ungesampelten Arme dynamisch (unter Verwendung von gecachtter Lernbarkeit und frischen Transferierbarkeits-Schätzungen), was es dem Lehrplan ermöglicht, den Fokus auch dann zu verschieben, wenn eine Domäne derzeit nicht gesampelt wird.

Wichtigste Beiträge

Transfer-bewusster Bandit-Lehrplan: Das erste Lehrplan-Framework für Multi-Domänen-RL, das explizit die domänenübergreifende Transferierbarkeit neben der lokalen Lernbarkeit optimiert. Es adressiert die Einschränkung vorangegangener Methoden, die nur berücksichtigen, „was die Policy jetzt lernen kann“, anstatt „was der Policy hilft, überall zu lernen“.
Selbstüberwachtes Gradientengeometrie-Signal: Eine recheneffiziente Methode zur Schätzung der Transferierbarkeit mittels projektierter Gradienten-Kosinus-Werte. Dieses Signal ist adaptiv (entwickelt sich mit der Policy) und relativ (rankt Domänen basierend auf aktueller Ausrichtung statt absoluter Magnitude), wodurch teure externe Validierungen vermieden werden.
Empirische Validierung: Demonstriert an einer sechs-domänen Denk-Suite (Mathe, Codegen, Logik, Simulation, Tabelle, STEM) unter Verwendung von Qwen3-1.7B und Llama3.2-3B Modellen.

Experimentelle Ergebnisse

Das Paper evaluiert TAC gegen vier Baselines:

Base: Kein RL-Training.
Random: Proportionales Zufallssampling (uniform oder datengrößen-gewichtet).
M2O (Math-to-Others): Ein handentworfenes zweistufiges Curriculum (erst auf Mathe trainieren, dann andere).
SEC: Ein reiner Lernbarkeits-Bandit-Lehrplan ( $\beta=1$ ).

Wichtigste Erkenntnisse:

Überlegene Performance: TAC erreicht die beste makro-gemittelte Genauigkeit auf beiden Modell-Backbones. Auf Qwen3-1.7B verbessert es den stärksten Baseline-Wert (SEC) um +1,8 Prozentpunkte (+5,6 % relativ). Auf Llama3.2-3B verbessert es M2O um +1,6 Prozentpunkte (+5,4 % relativ).
Robustheit gegenüber Ungleichgewicht: In Experimenten mit verzerrten Datenbudgets (wo Mathe und STEM die 3-fache Menge an Daten im Vergleich zu anderen Domänen haben) übertrifft TAC SEC um +1,5 Punkte. Die reine Lernbarkeits-Baseline (SEC) konzentriert sich zu stark auf die dominanten High-Data-Domänen (Mathe/STEM), selbst wenn deren Updates keinen Nutzen mehr für andere Domänen bringen, während TACs Transferierbarkeits-Signal das Sampling auf unterrepräsentierte, aber hochgradig transferierbare Domänen (wie Tabelle und Logik) umleitet.
Lehrplan-Dynamik: Die Analyse zeigt, dass die lernbarste Domäne (oft STEM oder Mathe) häufig nicht die transferierbarste ist. SEC neigt dazu, sich früh im Training auf die lernbarste Domäne zu „verankern“, während TAC das Sampling dynamisch zu Domänen mit hoher Gradienten-Ausrichtung (z. B. Tabelle) verschiebt, was zu einer breiteren Generalisierung führt.
Ablationen: Das Entfernen des Transferierbarkeits-Terms ( $\beta=1$ ) führt zu einem starken Leistungsabfall, was dessen Notwendigkeit bestätigt. Die Methode ist robust gegenüber Hyperparameter-Variationen, insbesondere beim Mischkoeffizienten $\beta$ , der um 0,2 peakt (was auf die starke Notwendigkeit von Transferierbarkeits-Signalen hindeutet, selbst wenn Lernbarkeit vorhanden ist).

Bedeutung und Behauptungen

Das Paper behauptet, dass domänenübergreifende Transferierbarkeit ein Schlüssel-Signal ist, das bisher untergenutzt wurde für das Curriculum-Design in Multi-Domänen-RLVR.

Paradigmenwechsel: Die Arbeit bewegt sich über die Optimierung unmittelbarer lokaler Gewinne (Lernbarkeit) hinaus hin zur Optimierung der geometrischen Ausrichtung von Updates über die gesamte Trainings-Suite hinweg.
Effizienz: Sie zeigt, dass hochwertige Lehrplan-Signale „kostenlos“ aus vorhandenen Trainingsgradienten abgeleitet werden können, was sie zu einer praktischen Ergänzung für bestehende RLVR-Pipelines macht, ohne signifikante Rechenkosten zu verursachen.
Generalisierung: Die Ergebnisse legen nahe, dass eine einzelne Policy kompetent über heterogene Aufgaben hinweg schlussfolgern kann, wenn der Trainings-Lehrplan explizit berücksichtigt, wie Fähigkeiten transferiert werden, anstatt Domänen als unabhängige Silos zu behandeln oder sich auf statische Zeitpläne zu verlassen.
Einschränkungen: Die Autoren merken an, dass TAC auf die Sampling-Verteilung abzielt und komplementär zu, nicht als Ersatz für, Fortschritte bei Optimierern, Reward-Modellen oder Architekturen ist. Zudem ist die aktuelle Implementierung auf verifizierbare Belohnungen (RLVR) angewiesen; die Erweiterung dieser Signale auf nicht-verifizierbare Domänen (unter Nutzung von LLM-Judges) bleibt zukünftiger Arbeit vorbehalten.

Zusammenfassend lässt sich sagen, dass TAC etabliert, dass für Multi-Domänen-RLVR es nicht ausreicht zu wissen, wo das Modell sich verbessert; man muss auch wissen, wohin diese Verbesserungen fortpflanzt werden.