📊 statistics

Scalable On-Policy Reinforcement Learning via Adaptive Batch Scaling

Dieser Beitrag stellt die konventionelle Annahme in Frage, dass das Training mit großen Batches mit Reinforcement Learning unvereinbar ist, indem er Adaptive Batch Scaling (ABS) vorschlägt, eine Methode, die die Batch-Größen dynamisch anhand der Policy-Stabilität anpasst, um große Netzwerke und große Batches erfolgreich für überlegene Leistung zu kombinieren.

Ursprüngliche Autoren: Jongchan Park

Veröffentlicht 2026-05-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jongchan Park

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „Goldlöckchen"-Dilemma des KI-Trainings

Stellen Sie sich vor, Sie bringen einem Hund einen neuen Trick bei.

Kleine Batch-Größe: Sie geben dem Hund jeweils eine Leckerbissen und korrigieren ihn sofort nach jeder einzelnen Bewegung. Das ist großartig, wenn der Hund verwirrt ist und schnell lernt. Sie können Ihren Lehrstil sofort ändern, wenn der Hund es nicht versteht.
Große Batch-Größe: Sie warten, bis der Hund eine Stunde lang geübt hat, und geben ihm dann einen riesigen Haufen Leckerbissen und Korrekturen auf einmal. Das ist effizient und gibt ein sehr klares Bild dessen, was der Hund im Durchschnitt tut, reagiert aber langsam, wenn der Hund plötzlich etwas Seltsames macht.

In der Welt der Künstlichen Intelligenz (speziell beim Reinforcement Learning, oder RL) bestand lange die Überzeugung, dass Sie müssen beim Ansatz „Kleine Batch" (Schritt-für-Schritt-Lehren) bleiben.

Warum? Weil die KI ständig ihre eigene Meinung ändert. Während sie lernt, verändert sich die Welt, die sie sieht. Wenn Sie zu lange warten, um ihr Feedback zu geben (durch eine große Batch), hat sich die KI möglicherweise bereits so sehr verändert, dass das Feedback nutzlos oder sogar verwirrend ist. Es ist, als würde man einem Fahrer Anweisungen für eine Straße geben, die es nicht mehr gibt.

Die neue Idee: „Adaptive Batch Scaling" (ABS)

Die Autoren dieses Papers sagen: „Moment mal. Die KI ändert ihre Meinung nicht die ganze Zeit mit der gleichen Geschwindigkeit."

Sie schlagen eine Methode namens Adaptive Batch Scaling (ABS) vor. Stellen Sie sich das wie einen klugen Lehrer vor, der seinen Lehrstil basierend darauf ändert, wie stabil der Schüler sich verhält.

Die frühen Tage (Chaos-Modus): Wenn die KI gerade erst beginnt, ist sie wild, erkundet und macht riesige Fehler. Ihr Verhalten ändert sich von Sekunde zu Sekunde rasant.
- Die Strategie: Verwenden Sie kleine Batches. Halten Sie das Feedback schnell und häufig am Laufen. Dies ermöglicht der KI, flexibel („plastisch") zu bleiben und sich schnell an ihre eigenen Fehler anzupassen.
Die späteren Tage (Stabil-Modus): Wenn die KI besser wird, hört sie auf, wilde Ausschläge zu machen. Sie beginnt, sich in eine gute Routine einzupendeln. Ihr Verhalten wird vorhersehbar und stabil.
- Die Strategie: Wechseln Sie zu großen Batches. Da die KI jetzt stabil ist, können Sie länger warten, um mehr Daten zu sammeln. Dies liefert eine super-präzise, hochwertige Korrektur, die der KI hilft, ihre Fähigkeiten zu perfektionieren und schneller die Spitzenleistung zu erreichen.

Das geheime Werkzeug: „Behavioral Divergence"

Wie weiß die KI, wann sie vom „Chaos-Modus" zum „Stabil-Modus" wechseln soll? Sie verwendet einen neuen Maßstab namens Behavioral Divergence.

Die Analogie: Stellen Sie sich vor, die KI ist ein Tänzer.
- Hohe Divergenz: Der Tänzer wedelt wild mit den Armen, dreht sich rasend schnell und ändert jede Sekunde die Bewegungen. Der Lehrer sieht das und sagt: „Okay, lassen Sie uns sofort aufhören und Sie korrigieren!" (Kleine Batch).
- Niedrige Divergenz: Der Tänzer führt nun eine glatte, konsistente Routine auf. Der Lehrer sieht das und sagt: „Toll, Sie sind stabil. Lassen Sie uns eine ganze Minute Ihres Tanzes beobachten, bevor ich Ihnen eine detaillierte Kritik gebe." (Große Batch).

Das Paper stellt eine mathematische Formel vor, um genau zu messen, wie sehr sich die „Tanzbewegungen" (Aktionen) der KI zwischen den Updates ändern. Wenn sich die Bewegungen stark ändern, bleibt die Batch-Größe klein. Wenn die Bewegungen gleichmäßig sind, wächst die Batch-Größe.

Die Ergebnisse: Die Regeln brechen

Lange Zeit glaubten Experten, man könne im Reinforcement Learning keine „großen Batches" verwenden, weil die Daten zu chaotisch seien. Sie dachten auch, dass ein größeres „Gehirn" der KI (das neuronale Netz) das Training erschweren würde.

Dieses Paper beweist sie falsch.

Durch die Verwendung ihrer Methode „Adaptive Batch Scaling":

Sie durchbrachen die Grenze: Sie trainierten KI-Agenten erfolgreich mit viel größeren Batches als je zuvor, was normalerweise zum Scheitern der KI führt.
Sie skalierten hoch: Sie kombinierten diese großen Batches mit massiven KI-Gehirnen (größeren neuronalen Netzen). In fast allen anderen Bereichen der KI (wie Bilderkennung oder Sprachmodellen) bedeuten größere Gehirne + größere Batches = bessere Ergebnisse. Im RL hielt man dies für unmöglich.
Das Ergebnis: Ihre Methode funktionierte auf Standard-Video-Game-Tests (Atari-Spiele) besser als die alten Methoden, die nur „kleine Batches" verwendeten. Sie lernte am Anfang schneller und schloss am Ende stärker ab.

Zusammenfassung

Das Paper argumentiert, dass der „Einheitsgröße"-Ansatz beim Training von KI falsch ist. Anstatt eine kleine Batch-Größe für immer zu erzwingen, sollten wir die Batch-Größe wachsen lassen, während die KI stabiler wird. Indem gemessen wird, wie stark sich das Verhalten der KI ändert, schaltet das System automatisch zwischen „schnellem, flexiblem Lernen" und „langsamer, präziser Verfeinerung" um und erschließt damit die Fähigkeit, viel intelligentere und größere KI-Agenten zu trainieren.

Technische Zusammenfassung: Skalierbares On-Policy Reinforcement Learning durch adaptive Batch-Skalierung

1. Problemstellung

Die gängige Lehrmeinung im Reinforcement Learning (RL) besagt, dass das Training mit großen Batches grundsätzlich mit diesem Feld unvereinbar ist. Im Gegensatz zum überwachten Lernen, bei dem eine Erhöhung der Batch-Größen die Gradientenschätzung stabilisiert und das Training massiver Modelle ermöglicht (Scaling Laws), verlassen sich RL-Praktiker typischerweise auf bescheidene Batch-Größen (z. B. 256–1024). Diese Einschränkung wird der inhärenten Nicht-Stationarität der Datenverteilung in RL zugeschrieben; da sich die Policy ( $\pi_\theta$ ) aktualisiert, verschiebt sich die Datenverteilung, was einen Trade-off zwischen Bias und Varianz erzeugt.

Die vorherrschende Ansicht legt nahe, dass eine Erhöhung der Batch-Größen über einen kritischen Schwellenwert hinaus abnehmende Grenzerträge oder eine Leistungsverschlechterung zur Folge hat. Es wird angenommen, dass große Batches dazu führen, dass Agenten in den frühen, volatilen Phasen des Trainings an vorübergehende, instabile Trajektorien überangepasst werden. Folglich bevorzugt die Standardpraxis kleine Batches, um die Plastizität des Modells zu erhalten und sich an sich verschiebende Verteilungen anzupassen, selbst bei Verwendung großskaliger Architekturen. Diese Arbeit stellt die statische Natur dieser Sichtweise in Frage und argumentiert, dass der Grad der Nicht-Stationarität nicht konstant ist, sondern sich während des Trainings entwickelt.

2. Methodik: Adaptive Batch-Skalierung (ABS)

Die Autoren schlagen Adaptive Batch-Skalierung (ABS) vor, ein Framework, das die effektive Batch-Größe dynamisch basierend auf der Stabilität der Lern-Policy anpasst. Die Kernhypothese lautet, dass das RL-Training aus zwei unterschiedlichen Regimen besteht:

Frühe Phase (Hohe Nicht-Stationarität): Geprägt durch schnelle Verhaltensverschiebungen. Kleine Batches sind erforderlich, um die Plastizität zu bewahren und eine Überanpassung an instabile Trajektorien zu verhindern.
Späte Phase (Nahe Stationarität): Da sich die Policy konvergiert, stabilisiert sich die Datenverteilung. Große Batches werden vorteilhaft, um Gradientenrauschen zu unterdrücken und eine präzise Konvergenz zu ermöglichen.

Schlüsselkomponenten

Verhaltensdivergenz ( $\delta_\pi$ ): Eine neuartige Metrik, die eingeführt wurde, um die Nicht-Stationarität der Policy zu quantifizieren. Sie misst den Anteil der Zustände, in denen sich die bevorzugte Aktion zwischen der aktuellen Policy ( $\pi_\theta$ $π_{θ}$ ) und der vorherigen Policy ( $\pi_{\theta_{old}}$ $π_{θ_{o l d}}$ ) auf einem Referenz-Batch ändert.
- Formal: $\delta_\pi(\theta', \theta) := \frac{1}{M} \sum_{i=1}^{M} \mathbb{I} [\pi_{\theta'}(s_i) \neq \pi_{\theta}(s_i)]$ .
- Ein hohes $\delta_\pi$ deutet auf hohe Volatilität (frühe Phase) hin; ein niedriges $\delta_\pi$ deutet auf Stabilität (späte Phase) hin.
Dynamischer Skalierungsplan: Die effektive Batch-Größe ( $|B|$ $∣ B ∣$ ) wird umgekehrt proportional zur Verhaltensdivergenz skaliert.
- Die Rollout-Länge ( $L_{adapt}$ ) wird logarithmisch zwischen einem Minimum ( $L_{min}$ ) und einem Maximum ( $L_{max}$ ) basierend auf der normalisierten Divergenz angepasst.
- Wenn $\delta_\pi$ hoch ist (schnelle Änderung), wird $L_{adapt}$ auf $L_{min}$ (kleiner Batch) gesetzt.
- Wenn $\delta_\pi$ niedrig ist (stabil), skaliert $L_{adapt}$ auf $L_{max}$ (großer Batch).
Integration: Die Methode ist in den Parallelised Q-Network (PQN)-Algorithmus integriert. Die Berechnung der Verhaltensdivergenz basiert ausschließlich auf Vorwärtsdurchläufen, was sie im Vergleich zu Methoden, die Rückwärtsdurchläufe erfordern (z. B. Gradient Noise Scale), rechnerisch effizient macht.

3. Hauptbeiträge

Quantifizierung der RL-Nicht-Stationarität: Die Einführung der Verhaltensdivergenz als praktische Metrik für Vorwärtsdurchläufe zur Messung von Änderungen auf Aktionsebene zwischen aufeinanderfolgenden Policy-Updates.
Framework für adaptive Batch-Skalierung: Ein einfacher, aber effektiver Algorithmus, der Batch-Größen (Rollout-Längen) dynamisch als Reaktion auf die Policy-Stabilität skaliert und so die Lücke zwischen dem Bedarf an Plastizität in der frühen Trainingsphase und Stabilität in der späten Trainingsphase schließt.
Verifizierung der Skalierbarkeit: Empirischer Nachweis, dass ABS Leistungsverbesserungen mit größeren Batch-Größen auf dem ALE-Benchmark ermöglicht, insbesondere in Kombination mit größeren Netzwerkarchitekturen (z. B. ResNet-artige Multi-Skip-Modelle), ein Skalierungsverhalten, das zuvor im RL als unerreichbar galt.

4. Experimentelle Ergebnisse

Die Methode wurde auf den Benchmarks Atari-57 und Atari-10 unter Verwendung des PQN-Algorithmus evaluiert und auf kontinuierliche Steuerung (MuJoCo) sowie Off-Policy-Settings (BTR) erweitert.

Leistung im Vergleich zu festen Batches: ABS schnitt in den meisten Umgebungen besser ab als das reine PQN und feste kleine/große Batch-Baselines. Es erzielte höhere Punktzahlen in der frühen Phase (aufgrund kleiner Batches) und eine geringere Varianz in der späten Phase (aufgrund großer Batches).
Vergleich mit GNS: ABS übertraf den Gradient Noise Scale (GNS)-Ansatz sowohl in der Sample-Effizienz als auch in der Endleistung, war gleichzeitig jedoch erheblich rechnerisch effizienter, da zusätzliche Rückwärtsdurchläufe vermieden werden.
Skalierbarkeit mit großen Modellen: Bei Anwendung auf größere Architekturen (PQN-L und PQN-XL) verbesserte ABS die Leistung konsistent. Entscheidend ist, dass während die Verwendung eines festen großen Batches die Leistung bei großen Modellen verschlechterte, ABS (Skalierung von klein nach groß) das Potenzial dieser Modelle freischaltete und die beste Leistung erzielte. Dies bestätigt eine positive Korrelation zwischen der Modellgröße und der Wirksamkeit des adaptiven Batchings.
Generalisierung:
- Kontinuierliche Steuerung: Auf PPO auf MuJoCo angewendet, wobei die KL-Divergenz als Proxy für die Nicht-Stationarität diente, verbesserte ABS die Sample-Effizienz und die Endleistung.
- Off-Policy RL: Auf BTR mit minimalen Änderungen angewendet (Ersetzung der Rollout-Länge durch einen Bereich von Batch-Größen), verbesserte ABS die Leistung in 4 von 5 Atari-5-Umgebungen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, die „gängige Lehrmeinung" herauszufordern, dass das Training mit großen Batches mit RL unvereinbar sei. Indem sie nachweist, dass Nicht-Stationarität eine sich entwickelnde Eigenschaft und keine feste Einschränkung ist, zeigen die Autoren, dass größere Netzwerke und größere Batch-Größen die beste Leistung im RL erzielen können, wenn sie adaptiv verwaltet werden.

Die Bedeutung dieser Arbeit liegt in ihrem Potenzial, das Skalierungspotenzial des Reinforcement Learning zu erschließen und es hochkapazitiven RL-Agenten zu ermöglichen, dieselben Vorteile des Trainings mit großen Batches zu nutzen, die den Erfolg im überwachten Lernen vorangetrieben haben (z. B. LLMs und Vision Transformer). Die Autoren positionieren ABS als einen grundlegenden Schritt hin zu skalierbarem RL, der die Leistungslücke zwischen RL und überwachten Lernen bei großen Maßstäben schließt.

Einschränkungen & Zukünftige Richtungen:
Die Autoren stellen fest, dass sich die aktuelle Arbeit zwar auf On-Policy-Algorithmen konzentriert, zukünftige Arbeiten jedoch die Erweiterung von ABS auf Offline-RL, die Validierung an Transformer-basierten Architekturen und die Integration der Methode in Techniken zur Ausrichtung von Large Language Models (z. B. GRPO) für skalierbares RLHF umfassen werden.