🤖 machine learning

On the Role of Computation in Reinforcement Learning

Dieses Paper formalisiert das Konzept rechenbeschränkter Policies (compute-bounded policies), um zu demonstrieren, dass Reinforcement-Learning-Agenten durch die Entkopplung von Rechenaufwand und Parameteranzahl mittels einer minimalen Variable-Compute-Architektur allein durch die Nutzung zusätzlicher Rechenressourcen eine überlegene Leistung und Generalisierung bei Aufgaben mit langem Zeithorizont erzielen können.

Ursprüngliche Autoren: Raj Ghugare, Michał Bortkiewicz, Alicja Ziarko, Benjamin Eysenbach

Veröffentlicht 2026-07-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Raj Ghugare, Michał Bortkiewicz, Alicja Ziarko, Benjamin Eysenbach

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Puzzle zu lösen. Auf die traditionelle Art und Weise, dies zu tun (genannt Reinforcement Learning), betrachten wir das Gehirn des Roboters normalerweise als eine statische Karte. Egal wie einfach oder schwer das Puzzle ist, der Roboter verwendet genau die gleiche Menge an mentaler Energie, um eine Entscheidung zu treffen.

Wenn der Roboter seinen Fuß bewegen muss, um einer Pfütze auszuweichen, verbraucht er die gleiche „Gehirnschmalz“ wie wenn er herausfinden müsste, wie man einen LKW voll mit Möbeln packt. Die alte Denkweise war: „Wenn der Robbot nicht klug genug ist, gib ihm einfach ein größeres Gehirn (mehr Parameter).“ Aber die Autoren dieser Arbeit argumentieren, dass dies verschwenderisch ist. Manchmal braucht man kein größeres Gehirn; man muss dem Gehirn nur erlauben, länger nachzudenken.

Hier ist eine einfache Aufschlüsselung dessen, was das Paper behauptet, unter Verwendung von Alltagsanalogien:

1. Die Unterscheidung zwischen „Denkzeit“ und „Gehirngröße“

Das Paper schlägt eine neue Art vor, KI zu betrachten. Anstatt das Gehirn der KI einfach nur größer zu machen (mehr Neuronen hinzuzufügen), sollten wir der KI erlauben, mehr Zeit über eine einzelne Entscheidung nachzudenken.

Die alte Art: Stellen Sie sich einen Schüler vor, der eine Prüfung schreibt. Er hat eine feste Zeit pro Frage zur Verfügung. Wenn die Frage schwierig ist, rät er einfach, weil er nicht mehr Zeit investieren kann. Um ihm zu helfen, haben wir früher einfach ein größeres Lehrbuch gegeben (mehr Parameter).
Die neue Art: Das Paper schlägt vor, dem Schüler dasselbe Lehrbuch zu geben, ihm aber zu erlauben, die Frage noch einmal zu lesen und 10 Sekunden statt 1 Sekunde nachzudenken. Das Paper beweist mathematisch, dass für einige sehr schwierige Probleme das Besitzen von mehr „Denkzeit“ der einzige Weg ist, sie zu lösen, egal wie groß das Lehrbuch ist.

2. Die „Abkürzung“ vs. der „Algorithmus“

Die Autoren fanden heraus, dass eine KI, die gezwungen wird, schnell zu denken (geringe Rechenleistung/Compute), Abkürzungen (Heuristiken) lernt. Diese Abkürzungen funktionieren gut bei den Übungsaufgaben, versagen aber, wenn die Prüfung schwieriger wird.

Die Analogie: Stellen Sie sich vor, ein Schüler lernt die Antworten auf ein ganz bestimmtes Mathe-Arbeitsblatt auswendig. Er bekommt eine Eins auf dieses Arbeitsblatt. Aber wenn man ihm ein etwas schwierigeres Arbeitsblatt mit denselben Arten von Problemen gibt, fällt er durch, weil er nicht die Methode gelernt hat, sondern nur die Antworten auswendig gelernt hat.
Das Ergebnis: Das Paper zeigt, dass wenn man die KI „länger denken“ lässt (mehr Rechenschritte nutzt), sie aufhört, Abkürzungen auswendig zu lernen, und tatsächlich den allgemeinen Algorithmus lernt. Dies ermöglicht es ihr, Probleme zu lösen, die sie noch nie zuvor gesehen hat, insbesondere Aufgaben, die eine lange Zeit zur Lösung benötigen (Long-Horizon-Aufgaben).

3. Die „Recycling“-Gehirnarchitektur

Um dies zu testen, bauten die Forscher ein einfaches, minimales Robotergehirn.

Das Design: Anstatt einer einmaligen Berechnung besitzt dieses Gehirn eine Schleife. Es nimmt einen Input, führt ein wenig Mathematik aus, gibt das Ergebnis an sich selbst zurück, macht noch ein wenig mehr Mathematik, und wiederholt diesen Prozess mehrmals, bevor es eine endgültige Entscheidung trifft.
Die Metapher: Denken Sie an einen Koch, der eine Suppe probiert.
- Standard-KI: Der Koch probiert die Suppe einmal und entscheidet sofort, ob sie Salz braucht.
- Diese Paper-KI: Der Koch probiert, denkt nach, probiert wieder, denkt nach, und probiert vielleicht ein drittes Mal, bevor er eine Entscheidung trifft.
- Das Paper zeigt, dass der Koch, der mehrmals probiert (mehr Rechenschritte nutzt), viel bessere Entscheidungen trifft, selbst wenn er die gleichen Zutaten (Parameter) hat wie der Koch, der nur einmal probiert.

4. Was sie tatsächlich herausgefunden haben

Die Forscher testeten dies in über 30 verschiedenen Aufgaben, darunter:

Box Picking: Ein Roboter navigiert durch ein Gitter, um Boxen an bestimmte Orte zu bewegen (wie ein komplexes Spiel wie Sokoban).
Lights Out: Ein Puzzle, bei dem man Schalter umlegen muss, um alle Lichter auszuschalten.
Labyrinth-Navigation: Einen Roboter von Punkt A nach Punkt B führen.

Die Ergebnisse:

Mehr Nachdenken = Bessere Ergebnisse: Wenn sie der KI erlaubten, mehr „Denkschritte“ (rekursive Schritte) zu nutzen, wurde der Roboter signifikant besser darin, diese Puzzles zu lösen.
Besser als größere Gehirne: Die KI, die länger nachdachte (aber ein kleines Gehirn hatte), schlug oft KI-Modelle, die 5-mal mehr Parameter hatten (ein viel größeres Gehirn), aber gezwungen waren, schnell zu denken.
Generalisierung: Die „Lang-Denker“-KI war viel besser darin, neue Versionen der Puzzles zu lösen, die schwieriger oder länger waren als die, mit denen sie geübt hatte. Die „Schnell-Denker“-KI blieb stecken.

5. Der „Wert des Nachdenkens“

Das Paper führte auch eine Methode ein, um zu messen, wie viel „Denkzeit“ tatsächlich wert ist.

Die Erkenntnis: Sie fanden heraus, dass der Wert des längeren Nachdenkens zu Beginn einer Aufgabe am höchsten ist. Wenn man am Anfang einen Fehler macht, weil man nicht genug nachgedacht hat, kann man in einer Sackgasse landen, aus der es kein Entkommen gibt. Sobald man dem Ziel nahe ist, ist langes Nachdenken weniger wichtig, da der Weg offensichtlich ist.

Zusammenfassung

Das Paper argumentet, dass in Reinforcement Learning die Rechenzeit eine Ressource ist, die genauso wichtig ist wie die Speichergröße.

Anstatt nur größere, teurere KI-Modelle zu bauen, sollten wir unsere aktuellen Modelle erlauben, tiefer innezuhalten und nachzudenken, bevor sie handeln. Die Autoren haben dies mathematisch bewiesen und durch Experimente gezeigt, dass eine kleine KI, der man erlaubt, länger zu „denken“, eine riesige KI übertreffen kann, die gezwungen ist, sofort zu „handeln“, insbesondere bei komplexen, langfristigen Problemen.

Technische Zusammenfassung: Über die Rolle der Berechnung in der Reinforcement Learning (RL)

Problemstellung
Die gängige Sichtweise in der Reinforcement Learning (RL) betrachtet Policies als statische Funktionen, die Zustände auf Aktionen abbilden und dabei eine feste Menge an Rechenleistung verbrauchen, unabhängig von der Komplexität der erforderlichen Entscheidung. Dieses Paradigma verwechselt die Anzahl der Parameter (Speicher) mit der Menge der Berechnung (Zeit). Während die Skalierung der Parameteranzahl (Moore’s Law) eine verbreitete Strategie war, kann die für optimale Entscheidungen benötigte Rechenleistung über verschiedene Zustände hinweg um Größenordnungen variieren. Statische, massive Policies sind oft ineffizient, und rechnerisch begrenzte Policies können bei Aufgaben mit längerem Horizont versagen, indem sie stattdessen Heuristiken erlernen, die auf Trainingsverteilungen überfitten. Die Arbeit adressiert den Mangel an einer formalen Sprache, um zwischen Berechnung und Parametern in RL zu unterscheiden, und untersucht, ob Policies mit festen Parametern von variabler, erhöhter Rechenzeit profitieren können.

Methodik
Der Ansatz des Papers erfolgt durch zwei komplementäre Perspektiven: theoretische Formalisierung und empirische Validierung.

Theoretischer Rahmen:
- Die Autoren formalisieren RL-Policies als beschränkte Berechnungsmodelle mittels Turingmaschinen.
- Sie definieren zeitbeschränkte Policies ( $\Pi_t$ ) als solche, die durch eine Turingmaschine implementiert werden können, die innerhalb von $t(|s|)$ Schritten anhält.
- Sie führen das Policy Hierarchy Theorem ein und beweisen, dass es für zeitkonstruierbare Funktionen $g(n) \in o(t(n)/\log t(n))$ Markov-Entscheidungsprozesse (MDPs) gibt, in denen Policies mit höheren Rechenbudgets ( $\Pi_t$ ) signifikant besser abschneiden als solche mit geringeren Budgets ( $\Pi_g$ ).
- Sie beweisen ferner das Long Horizon Generalization Theorem, welches zeigt, dass Policies mit geringer Rechenleistung dazu neigen, auf Trainingsaufgaben zu überfitten (indem sie die optimale Value-Funktion auf Trainingsdaten erreichen), aber bei komplexeren Testaufgaben mit längerem Horizont scheitern, während Policies mit hoher Rechenleistung diese erweiterten Aufgaben lösen können.
Architektonischer Vorschlag:
- Um diese Theorien zu testen, schlagen die Autoren eine minimale rekurrenten Architektur vor, die als Interpolation Recurrent Unit (IRU) bezeichnet wird.
- Die IRU ist eine vereinfachte Variante von LSTM/GRU-Blöcken, bestehend aus zwei linearen Schichten (Forget und Input), die zwischen dem vorherigen Cell-State und einer neuen lokalen Berechnung interpolieren.
- Die Architektur wendet diesen Block $N$ -mal während eines Forward-Passes an (rekursive Schritte), was es der Policy ermöglicht, eine variable Menge an Berechnung ( $N$ ) zu nutzen, während die Anzahl der Parameter konstant bleibt.
- Das vollständige Netzwerk (IRU- $N$ ) umfasst eine initiale lineare Schicht, $N$ rekurrenten Blöcke mit Skip-Connections und einen finalen Output-Head.
Experimentelles Setup:
- Die Experimente wurden über 31 Aufgaben durchgeführt, die diskrete (Boxpick, Lightsout) und kontinuierliche (OGBench) Domänen umfassen, einschließlich sowohl Online- als auch Offline-RL-Settings.
- Die Baselines umfassten Standard-Feedforward-Netzwerke (MLP) und Residual Networks (ResNet). Entscheidend ist, dass die ResNet-Baseline so konzipiert wurde, dass sie eine ähnliche effektive Tiefe (Rechenleistung), aber signifikant mehr Parameter (bis zu 5x) besitzt, während das MLP ähnliche Parameter, aber weniger Rechenleistung aufweist.
- Die Studie evaluierte die Performance auf Trainingsaufgaben und kritisch betrachtet auf ungesehenen Aufgaben mit längerem Horizont, um die Generalisierung zu messen.

Wesentliche Beiträge

Formalisierung von rechenbeschränkten Policies: Die Arbeit liefert den ersten formalen Beweis, dass die Erhöhung der Rechenzeit (unterschieden von der Parameteranzahl) es Policies ermöglicht, Probleme zu lösen und auf längere Horizonte zu generalisieren, was für Policies mit geringerer Rechenleistung theoretisch unmöglich ist.
Minimale rekurrent Architektur: Die Einführung der IRU, einer leichtgewichtigen Architektur, die Rechenleistung über rekursive Schritte skalieren kann, ohne die Parameteranzahl zu erhöhen.
Metrik „Value of Compute“: Ein vorgeschlagener numerischer Maßstab, der Value of Compute (VoC), analog zum „Value of Information“ in POMDPs. Diese Metrik schätzt den Gewinn oder Verlust an Wert, wenn ein Agent sein Rechenbudget für eine bestimmte Anzahl von Schritten temporär erhöht.
Trennung von Berechnung und Parametern: Empirische Belege dafür, dass die Leistungssteigerungen aus der erhöhten Expressivität (Berechnung) resultieren und nicht bloß aus einer gesteigerten Modellkapazität (Parameter).

Ergebnisse

Performance-Skalierung: In sowohl diskreten als auch kontinuierlichen Umgebungen verbesserte die Erhöhung der rekurrenten Schritte ( $N$ ) von 1 auf 10 die Erfolgsraten signifikant. In anspruchsvollen Aufgaben wie Boxpick und OGBench stieg die Performance um das bis zu 10-fache.
Generalisierung: IRU-Policies, die auf kurzfristigen Aufgaben trainiert wurden, generalisierten signifikant besser auf ungesehene Aufgaben mit längerem Horizont als MLPs und ResNets. Bemerkenswerterweise übertraf die IRU ResNets mit 5-mal mehr Parametern bei der Evaluation auf Aufgaben mit längerem Horizont.
Sample Efficiency: IRU-Architekturen zeigten eine höhere Sample-Effizienz, indem sie mit weniger Umgebungsschritten zu einer höheren asymptotischen Performance konvergierten.
Quelle der Verbesserung: „Yoked“-Experimente (bei denen ein passiver Agent auf Daten trainiert wurde, die von einem aktiven Agenten gesammelt wurden) zeigten, dass der primäre Nutzen zusätzlicher Berechnung aus der Expressivität der Policy stammt (ihre Fähigkeit, komplexe Lösungen aus Daten zu lernen) und nicht aus verbesserter Exploration oder Datenqualität. Der passive Agent, der auf Daten eines Low-Compute-aktiven Agenten trainiert wurde, schnitt schlecht ab, sofern er selbst nicht über hohe Rechenleistung verfügte.
Ablation: Die IRU-Architektur übertraf Standard-LSTMs und Recurrent ResNets in Bezug auf Geschwindigkeit und Parametereffizienz, was darauf hindeutet, dass spezifische Gating-Mechanismen notwendig sind, um die Vorteile zusätzlicher Berechnung effektiv zu nutzen.

Bedeutung und Behauptungen
Das Paper beansprucht, die Perspektive auf RL von der statischen Funktionsapproximation hin zu einer computationalen Sichtweise zu verschieben, in der Zeit und Speicher als unterschiedliche Achsen betrachtet werden. Die Autoren argumentieren:

Rechenleistung ist eine eigenständige Ressource: Die Erhöhung der Rechenzeit kann die Performance und Generalisierung nachweislich verbessern, ohne die Größe der Hypothesenklasse (Parameter) zu erhöhen, wodurch die mit größeren statischen Modellen verbundenen Overfitting-Probleme vermieden werden.
Generalisierung durch Iteration: Iterative Berechnung ermöglicht es Policies, algorithmische Lösungen zu lernen, die auf längere Horizonte extrapolieren – ein Phänomen, das bei Sprachmodellen beobachtet, aber in RL ohne Pre-training oder Multi-Task-Curricula bisher wenig erforscht wurde.
Limitierungen statischer Sichtweisen: Die Ergebnisse legen nahe, dass Standard-MDP-Annahmen (z. B. die Existenz einer deterministischen optimalen Policy) unter Rechenbeschränkungen möglicherweise nicht gelten, was erklären könnte, warum nicht-markovsche Policies manchmal selbst in voll beobachteten Aufgaben notwendig sind.

Die Autoren kommen zu dem Schluss, dass ihr Werk zwar eine minimale Architektur verwendet, um diese Effekte zu isolieren, die Ergebnisse jedoch darauf hindeuten, dass zukünftige RL-Systeme adaptive Rechenstrategien in Betracht ziehen sollten, bei denen die Menge der Berechnung basierend auf der Schwierigkeit des aktuellen Zustands dynamisch skaliert wird.