🤖 machine learning

Not only where, But when: Temporal Scheduling for RLVR

Dieser Beitrag führt das „Temporale Scheduling" für Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) ein, eine Methode, die die Kriterien zur Kreditvergabe im Verlauf des Trainings dynamisch anpasst, um spezifische Policy-Verhalten vor dem Übergang zur allgemeinen Optimierung zu priorisieren und dadurch stabilere sowie effizientere Lern-Dynamiken bei gleichzeitiger Erhaltung der Policy-Entropie zu erreichen.

Ursprüngliche Autoren: Jinghao Zhang, Ruilin Li, Feng Zhao, Jiaqi Wang

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jinghao Zhang, Ruilin Li, Feng Zhao, Jiaqi Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren einen sehr intelligenten Schüler (die KI), um komplexe mathematische Probleme zu lösen. Auf die alte Art und Weise (genannt RLVR) geben Sie dem Schüler am Ende seines Aufsatzes eine einzige Note. Wenn er eine „1" erhält, sagen Sie ihm: „Gut gemacht!" und er versucht, sich jedes einzelne Wort zu merken, das er geschrieben hat, um sicherzustellen, dass er beim nächsten Mal wieder eine „1" bekommt.

Das Problem ist, dass der Schüler Tausende von Wörtern geschrieben hat. Manche waren entscheidende „Aha!"-Momente, in denen er die Logik durchschaut hat. Andere waren nur Füllwörter wie „und dann", „daher" oder „zusammenfassend". Die alte Methode behandelt jedes Wort als gleich wichtig, was so ist, als würde man dem Schüler einen goldenen Stern dafür geben, dass er „das" geschrieben hat, genauso wie dafür, dass er die eigentliche Gleichung gelöst hat.

Die alte Methode: Ein statischer Scheinwerfer

Frühere Forscher versuchten, dies zu beheben, indem sie einen „Scheinwerfer" einsetzten. Sie entwickelten Werkzeuge, um herauszufinden, welche Wörter wichtig waren (wie die logischen Schritte), und ließen während des Trainings ein helleres Licht auf sie scheinen. Dies nennt man Credit Allocation (Gutschriftszuweisung).

Die Arbeit argumentiert jedoch, dass dieser Ansatz einen Fehler aufweist: Der Scheinwerfer bewegt sich nie. Sobald das Werkzeug entscheidet, dass „Wort #500 wichtig ist", leuchtet es für die gesamte Dauer des Trainings, vom ersten bis zum letzten Tag, auf Wort #500. Es ist wie ein Trainer, der nur den Quarterback anschreit und den Rest des Teams ignoriert, selbst wenn der Quarterback seine Rolle bereits gemeistert hat und sich auf etwas anderes konzentrieren muss. Diese starre Fokussierung verhindert schließlich, dass der Schüler sich weiter verbessert.

Die neue Idee: Ein dynamischer Zeitplan (Temporal Scheduling)

Die Autoren schlagen eine neue Idee vor: Es kommt nicht nur darauf an, wo Sie das Licht scheinen lassen, sondern wann.

Sie schlagen vor, den Trainingsprozess eher wie ein Filmmanuskript denn als statisches Foto zu behandeln.

Am Anfang des Films (Training): Der Schüler fängt gerade erst an. Er muss lernen, wie man die Szene aufbaut (das „reasoning scaffolding" oder die Denkgerüste). Die Arbeit schlägt vor, das Training zunächst auf das Ende der Antworten des Schülers zu konzentrieren, da dies die zuverlässigsten Teile sind (die endgültige Antwort).
Später im Film (Training): Sobald der Schüler gut darin ist, die Antwort zu beenden, verlagern Sie den Fokus langsam zurück zum Anfang des Aufsatzes. Jetzt trainieren Sie ihn, von Anfang an bessere Argumente und Logik aufzubauen.

Dies nennt man Temporal Scheduling (Zeitliche Planung). Anstatt eines statischen Scheinwerfers haben Sie einen Regisseur, der den Fokus der Kamera ändert, während die Szene fortschreitet.

Der Trick mit den „Trajektorien-Perzentilen"

Wie wissen sie, auf welchen Teil des Aufsatzes sie sich konzentrieren sollen? Sie verwenden einen einfachen Trick namens Trajektorien-Perzentile.

Stellen Sie sich die Antwort des Schülers als eine 100-Meter-Laufbahn vor.

Das 95. Perzentil ist die Ziellinie (die endgültige Antwort).
Das 50. Perzentil ist die Mitte des Rennens (die Argumentation).
Das 5. Perzentil ist der Startblock (die Einleitung).

Die Arbeit stellte fest, dass der Schüler viel schneller und stabiler lernt, wenn man ihn zunächst nur auf die „Ziellinie"-Teile seiner Antworten trainiert und das Training dann schrittweise auf die „Mitte" und schließlich auf den „Start" ausweitet. Es ist wie Autofahren lernen: Zuerst meistert man das Einparken (das Endziel), dann das Fahren auf einer geraden Straße und schließlich das Navigieren durch komplexe Kreuzungen (der Anfang des Denkprozesses).

Was geschah in den Experimenten?

Die Forscher testeten dies an großen KI-Modellen (wie Qwen) mit mathematischen und logischen Rätseln.

Bessere Ergebnisse: Die Modelle, die diese „Zeitplan"-Methode verwendeten, erzielten bei Mathematiktests (wie AIME und HMMT) und allgemeinen Logiktests höhere Punktzahlen als die Standardmodelle.
Gesünderes Lernen: Sie stellten fest, dass die alten, starren Methoden dazu führten, dass die KI in „Panik" geriet und ihre Kreativität verlor (genannt Entropie). Die KI wurde zu starr und hörte auf, neue Wege zur Problemlösung zu erkunden. Die neue „Zeitplan"-Methode hielt den Lernprozess der KI gesund und flexibel, sodass sie sich weiter verbessern konnte, ohne stecken zu bleiben.
Funktioniert mit alten Werkzeugen: Diese neue Zeitplan-Methode funktioniert auch, wenn man sie mit den alten „Scheinwerfer"-Werkzeugen kombiniert. Es ist wie das Hinzufügen einer neuen Ebene des Coachings auf die bestehende.

Das Fazit

Die Arbeit behauptet, dass wir, um KI intelligenter zu machen, nicht nur entscheiden sollten, welche Wörter trainiert werden sollen, sondern auch, wann wir sie trainieren sollen. Indem man mit den zuverlässigsten Teilen der Antwort beginnt und sich langsam rückwärts zu den komplexen Argumentationsteilen vorarbeitet, lernt die KI effizienter, bleibt kreativer und erzielt bessere Ergebnisse. Es verwandelt eine starre, nach dem Prinzip „Ein Maß passt allen" durchgeführte Trainingseinheit in eine dynamische, zeitlich gut abgestimmte Coaching-Sitzung.

Technische Zusammenfassung: Nicht nur Wo, sondern Wann: Zeitliche Planung für RLVR

Problemstellung

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich zu einem dominanten Paradigma für das Nachtrainieren von Large Language Models (LLMs) entwickelt, insbesondere für推理-Aufgaben. Standard-RLVR-Ansätze, wie Group Relative Policy Optimization (GRPO), übertragen jedoch typischerweise eine einzelne skalare Belohnung über die gesamte generierte Sequenz. Dies führt zu einem einheitlichen Optimierungssignal, bei dem alle gesampelten Token gleichermaßen an den Policy-Updates teilnehmen und dabei das heterogene Policy-Verhalten übersehen, das entlang einer Trajektorie auftritt (z. B. Reasoning-Gerüste, logische Verbindungen, Reflexion und Antwortkonvergenz).

Bestehende Lösungen versuchen, dies durch die Einführung von Credit-Allokations-Mechanismen zu adressieren, um zu bestimmen, wo Lernsignale verteilt werden sollten. Dazu gehören:

Process Reward Models (PRMs): Bereitstellung von Feedback auf Schrittebene (hohe Annotationskosten).
Token-Level-Proxies: Verwendung von Metriken wie Token-Entropie, Wahrscheinlichkeit oder KL-Divergenz, um Vorteile neu zu gewichten oder spärliche Teilmengen von Token für die Optimierung auszuwählen.

Die Kernlimitierung: Während diese Methoden spezifische Token identifizieren, die priorisiert werden sollen, bleiben die Allokationskriterien während des gesamten Trainingsprozesses stagnierend. Sobald ein Proxy (z. B. hohe Entropie) ausgewählt ist, wird das entsprechende Policy-Verhalten kontinuierlich betont. Die Autoren argumentieren, dass dieser statische Ansatz die resiliente Policy-Evolution begrenzt und zum Opfer der Policy-Entropie führen kann, wenn versucht wird, diverse Verhaltensweisen gleichzeitig zu berücksichtigen. Die Arbeit postuliert, dass die zeitliche Dimension – spezifisch wann Lernsignale geplant werden – bisher unzureichend erforscht wurde und ebenso kritisch ist wie wo sie allokiert werden.

Methodik

Die Arbeit schlägt Time Scheduling (Zeitliche Planung) vor, ein Framework, das die Kriterien für die Credit-Allokation im Laufe des Trainings dynamisch anpasst, anstatt sie festzulegen.

1. Trajektorien-Perzentile als natürliche Perspektive

Anstatt sich ausschließlich auf komplexe Policy-Proxies zu verlassen, führen die Autoren den Trajectory Percentile Score (TP-Score) ein, um Policy-Verhalten basierend auf der Token-Position zu unterscheiden.

Analyse: Empirische Analysen zeigen unterschiedliche Token-Verteilungen und Entropieprofile über Trajektorienpositionen hinweg.
- Frühe Perzentile: Assoziiert mit Reasoning-Gerüsten und eingeschränkten Mustern; weisen eine niedrigere Entropie auf.
- Mittlere Perzentile: Assoziiert mit Reflexion und kritischem Reasoning; weisen die höchste Entropie und exploratives Verhalten auf.
- Spätere Perzentile: Assoziiert mit der Realisierung der Antwort und Zusammenfassung; weisen eine mittlere Entropie auf.
Erkenntnis: Trajektorien-Perzentile bieten einen natürlichen, einfachen Anker zur Unterscheidung heterogener Verhaltensweisen, ohne komplexe Proxy-Berechnungen zu erfordern.

2. Der Mechanismus der zeitlichen Planung

Die Kerninnovation besteht darin, den Credit-Allokationsfaktor $\hat{f}_t(\tau)$ als Funktion des Trainingsfortschritts $\tau$ zu planen.
$\hat{f}_t(\tau) = S(\tau) \hat{f}_t$
Wobei:

$\hat{f}_t$ der ursprüngliche Credit-Allokationsfaktor ist, der aus bestehenden Methoden abgeleitet wird (z. B. entropiebasierte Neugewichtung oder spärliche Selektion).
$S(\tau)$ eine monoton abnehmende Planfunktion ist, die von 1 bis 0 reicht.
Strategie: Die Optimierung beginnt damit, die am stärksten gezielten Token zu priorisieren (z. B. diejenigen, die durch den spezifischen Proxy oder spätere Trajektorienpositionen identifiziert wurden), um spezifische Verhaltensweisen zu verstärken. Mit fortschreitendem Training attenuieren die Kriterien allmählich und erweitern den Optimierungsbereich, um allgemeinere Token einzubeziehen.

3. Integration mit bestehenden Paradigmen

Die Methode ist als „Drop-in"-Ersatz für bestehende Credit-Allokationsstrategien konzipiert:

Kontinuierliche Vorteil-Neugewichtung: Das Gewicht $\psi(\mu_t)$ wird mit $S(\tau)$ skaliert.
Diskrete spärliche Optimierung: Der Selektionsschwellenwert $\epsilon$ wird dynamisch gelockert: $\mu_t \geq S(\tau) \cdot \epsilon$ . Dies schließt im Laufe der Zeit schrittweise mehr Token in den Optimierungssatz ein.

4. Trajektorien-Perzentil-Planung (TP-Schedule)

Die Autoren schlagen eine spezifische Instanziierung vor, die direkt Trajektorien-Perzentile verwendet:

Initialisierung: Fokus ausschließlich auf spätere Token (hohe Perzentile), die für eine zuverlässige Fortsetzung verantwortlich sind.
Progression: Schrittweise Einbeziehung früherer Token (niedrigere Perzentile), die für Reasoning-Gerüste verantwortlich sind.
Formel: $\hat{f}_t(\tau) = \mathbb{I}[t/T \geq S(\tau) \cdot 1]$ , wobei $t/T$ die normalisierte Position ist. Dies erzeugt eine strukturierte Verschiebung, bei der sich die Optimierung vom Ende der Sequenz rückwärts zum Anfang ausbreitet.

Hauptbeiträge

Identifikation der zeitlichen Dimension: Die Arbeit argumentiert, dass der Zeitpunkt der Credit-Allokation eine kritische, unzureichend erforschte Optimierungsdimension darstellt. Sie stellt das stagnierende Allokationsparadigma in Frage und schlägt vor, dass die Planung von Kriterien über die Trainingsschritte hinweg zu einer resilienteren Policy-Evolution führt.
Framework der zeitlichen Planung: Eine allgemeine Methode, um bestehende Credit-Allokationstechniken (sowohl kontinuierliche Neugewichtung als auch spärliche Optimierung) zu ergänzen, indem sie frühe Token priorisiert und sich schrittweise zu einer allgemeinen Optimierung hin attenuiert.
Trajektorien-Perzentile als effektiver Proxy: Die Autoren identifizieren, dass einfache Trajektorien-Perzentile als natürliche und effektive Kriterien zur Unterscheidung von Policy-Verhalten dienen und synergistisch mit der zeitlichen Planung wirken, um den in Standardmethoden beobachteten Entropiekollaps zu vermeiden.
Empirische Validierung: Konsistente Verbesserungen wurden über mehrere Modellgrößen (Qwen3-4B, Qwen3-8B), RL-Algorithmen (GRPO, GSPO) und Benchmarks (mathematisches und allgemeines Reasoning) hinweg demonstriert.

Experimentelle Ergebnisse

Die Autoren bewerteten ihre Methode an den Modellen Qwen3-4B und Qwen3-8B unter Verwendung von Datensätzen aus OpenMathReasoning und DeepMath-103K. Zu den Benchmarks gehörten in-Distribution-Mathematikaufgaben (AIME, HMMT, Minerva) und Out-of-Distribution-Reasoning-Aufgaben (Winogrande, GPQA, MuSR).

Leistungssteigerungen:
- TP-Schedule (unter Verwendung von Trajektorien-Perzentilen) übertraf das reine GRPO bei mathematischen Benchmarks um 2,2 % und bei allgemeinen Reasoning-Benchmarks um 2,7 % für das 4B-Modell.
- Die Anwendung der zeitlichen Planung auf bestehende stagnierende Methoden (z. B. Entropy-Adv, Forking-Tok) ergab konsistente Verbesserungen, wobei die diskrete Planung (Erweiterung von Token-Teilmengen) ein besonders starkes Potenzial zeigte.
- Verbesserungen wurden über verschiedene Modellgrößen und RL-Algorithmen (einschließlich GSPO) hinweg beobachtet.
Trainingsdynamik:
- Erhaltung der Entropie: Standardoptimierung opfert oft die Policy-Entropie, um heterogene Verhaltensweisen zu berücksichtigen. Die zeitliche Planung bewahrte während des Trainings eine signifikant höhere Policy-Entropie (in einigen Vergleichen über 33,9 % höher), was zu gesünderen Dynamiken führte.
- Strukturierte Ausrichtung: Die KL-Divergenz-Analyse zeigte, dass die zeitliche Planung eine progressive Verschiebung in den Policy-Updates bewirkt, die bei späteren Trajektorien-Perzentilen beginnt und sich allmählich auf frühere ausbreitet, anstatt einheitlich zu aktualisieren.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass zeitliche Planung eine vielversprechende Optimierungsdimension für RLVR darstellt. Ihre Bedeutung liegt in:

Paradigmenwechsel: Der Übergang von einem statischen Fokus auf „Wo" (Token-Auswahl) zu einem dynamischen Fokus auf „Wann" (Planung).
Minderung des Entropiekollapses: Durch die Vermeidung der gleichzeitigen Berücksichtigung aller heterogenen Verhaltensweisen verhindert die Methode den schnellen Kollaps der Policy-Entropie, der oft bei Standard-RLVR beobachtet wird.
Einfachheit und Kompatibilität: Der Ansatz basiert auf einfachen Trajektorien-Perzentilen und ist mit bestehenden Credit-Allokationsstrategien kompatibel, erfordert keine komplexen neuen Belohnungsmodelle oder Annotationskosten.

Die Autoren schließen, dass das Framework derzeit auf spezifische Allokationskriterien angewendet wird, zukünftige Arbeiten jedoch die Orchestrierung verschiedener Credit-Allokationskriterien innerhalb dieses zeitlichen Rahmens umfassen. Die Ergebnisse deuten darauf hin, dass der Zeitpunkt der Lernsignale ebenso entscheidend ist wie ihre räumliche Verteilung über die Token hinweg.