🤖 machine learning

Learning Suffers More Than the Policy Class Under Partial Observability: A Closed-Form Analysis

Diese Arbeit zeigt auf, dass bei teilweise beobbartem linear-quadratischem Reinforcement Learning das primäre Hindernis für die Optimalität nicht die Expressivität der Policy ist, sondern ein Bias in der Wertschätzung des Kritikers, der durch unerklärte Zustandsvariation verursacht wird, welcher präzise charakterisiert und durch die Anpassung des Vorhersagehorizonts des Agenten korrigiert werden kann.

Ursprüngliche Autoren: Idil Gözel

Veröffentlicht 2026-08-10

📖 8 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Idil Gözel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen Roboter vor, der versucht zu lernen, wie man geht. Er hat ein Gehirn (einen Algorithmus), das entscheidet, welche Muskeln er anspannen muss, aber er besitzt nur eine winzige Kamera, die seine eigenen Füße sieht, nicht aber den Boden unter ihnen oder den Wind, der an ihm zieht. Dies ist die Welt des Bestärkenden Lernens (Reinforcement Learning), in der Maschinen durch Versuch und Irrtum lernen, um die beste Punktzahl zu erreichen. Normalerweise, wenn diese Roboter scheitern, nehmen wir an, dass sie in gewisser Weise „blind“ sind, was die Aufgabe unmöglich macht: Wir glauben, sie könnten schlichtweg nicht genug sehen, um den richtigen Zug zu bestimmen. Wir nennen dies die „Policy-Lücke“ – die Vorstellung, dass das Gehirn des Roboters zu einfach ist, um die perfekte Lösung festzuhalten.

Doch es gibt einen zweiten, heimlicheren Grund für das Scheitern. Selbst wenn der Roboter in der Lage wäre, den perfekten Zug zu finden, könnte die Art und Weise, wie er lernt, ihn täuschen. Der Roboter muss schätzen, wie gut eine Situation ist, basierend auf dem, was er sieht. Wenn er nicht das ganze Bild sieht, werden seine Schätzungen voreingenommen. Er könnte denken, eine Situation sei gefährlich, obwohl sie eigentlich sicher ist, oder umgekehrt. Dies ist die „Lernlücke“. Es liegt nicht daran, dass der Roboter nicht klug genug sein könnte; es liegt daran, dass der Lehrer (der Lernalgorithmus) ihm die falschen Hausaufgaben gibt. Diese Arbeit stellt eine einfache Frage: In einer Welt, in der der Roboter teilweise blind ist, liegt das Problem darin, dass er zu dumm ist, um die Welt zu verstehen, oder liegt das Problem darin, dass seine Lernmethode fehlerhaft ist?

Der blind gebundene Fahrer und die falsche Karte

Stellen Sie sich einen Fahrer vor, der versucht, ein Auto über eine holprige Straße zu steuern. Der Fahrer kann die Straße direkt vor dem Auto sehen (den „beobachtbaren Zustand“), aber er kann die Schlaglöcher nicht sehen, die einige Sekunden später kommen werden (den „nicht beobachtbaren Zustand“). Die Aufhängung des Autos reagiert auf diese verborgenen Schlaglöcher, was das Auto zum Springen bringt.

In dieser Geschichte ist der Fahrer der Akteur (der Teil, der entscheidet, das Lenkrad zu drehen), und der Kritiker ist der Beifahrer, der eine Punktetabelle führt und dem Fahrer sagt, wie gut oder schlecht die Fahrt ist. Der Beifahrer sieht nur das springende Auto, nicht die verborgenen Schlaglöcher.

Die Arbeit setzt eine sehr spezifische, lösbare Version dieses Problems auf. Das Auto befindet sich auf einer Strecke, auf der die verborgenen Schlaglöcher das Auto auf eine vorhersehbare, mathematische Weise herumstoßen. Dem Fahrer ist erlaubt, eine einfache Regel anzuwenden: „Wenn das Auto nach oben springt, drücke das Lenkrad nach unten.“ Diese Regel ist einfach genug, dass der Fahrer, wenn er die ganze Wahrheit wüsste, den perfekten Lenkwinkel berechnen könnte. Tatsächlich ist der perfekte Lenkwinkel nur etwa 10,4 % schlechter als der absolut beste Fahrer, der alles sehen könnte. Die „Policy-Lücke“ (die Grenze dessen, was der Fahrer darstellen kann) ist also klein. Der Fahrer könnte nahezu perfekt sein.

Doch hier kommt die Wendung: Wenn der Fahrer tatsächlich versucht, unter Verwendung der Standardmethode des „Actor-Critic“-Verfahrens zu lernen, findet er diese gute Lösung nicht. Stattdessen prallt er gegen eine schreckliche Lösung, die 35 % schlechter ist als das Beste, was er hätte erreichen können.

Warum der Beifahrer lügt

Warum scheitert das Lernen? Die Arbeit zeigt, dass es nicht daran liegt, dass der Fahrer dumm ist. Es liegt daran, dass der Beifahrer (der Kritiker) ihn anlügt, aber nicht mit Absicht.

Der Beifahrer sieht das Auto springen. Er weiß, dass das Auto springt, weil es an den verborgenen Schlaglöchern liegt, aber er kann die Schlaglöcher nicht sehen. Er sieht nur das Auto. Für ihn sieht das Springen wie ein wilder, unvorhersehbarer Sturm aus. Da der Beifahrer eine Punktetabelle basierend nur auf der Position des Autos erstellen muss, muss er erklären, warum das Auto so stark springt.

Da er nicht sagen kann: „Oh, es sind die Schlaglöcher“, gibt er der Position des Autos selbst die Schuld. Er entscheidet: „Wow, dieses Auto befindet sich an einem wirklich instabilen Ort! Der Wert, hier zu sein, muss schlagartig sinken, wenn wir uns auch nur ein winziges Stück bewegen.“ Er zeichnet eine Karte, auf der das „Tal“ der Sicherheit unglaublich tief und eng ist.

Der Fahrer, der dieser Karte vertraut, denkt: „Oh nein! Ich muss stark und schnell lenken, um in diesem winzigen sicheren Fleck zu bleiben!“ Also dreht der Fahrer das Lenkrad mit maximaler Kraft. Er fährt am Ende mit einer „Verstärkung“ (Lenkempfindlichkeit), die 15 Mal größer ist, als eigentlich nötig wäre. Er überreagiert auf einen Sturm, der bei weitem nicht so beängstigend ist, wie die Karte es darstellt.

Die Arbeit berechnet dies exakt. An dem Punkt, an dem der Fahrer eigentlich hätte aufhören sollen zu lernen, gibt die Karte des Beifahrers an, dass die „Krümmung“ (wie steil das Tal ist) 16,7 beträgt. Aber die wahre Krümmung, wenn er die ganze Welt sehen könnte, beträgt nur 1,11. Die Karte ist fünfzehnmal zu steil! Der Fahrer folgt diesem Fehler bis zum Absturz.

Die Magie des Vorausblickens

Wie also korrigieren wir einen Fahrer, der von einem Beifahrer mit einer schlechten Karte getäuscht wird? Die Arbeit findet einen sehr spezifischen „Regler“, den man drehen kann.

In vielen Lernalgorithmen schaut der Beifahrer nicht nur einen Schritt nach vorne, sondern blickt ein Stück weiter in die Zukunft, um zu sehen, wie sich die Punktzahl verändert. Dies wird als Bootstrap-Horizont (oder der $\lambda$ -Parameter) bezeichnet.

Wenn der Beifahrer nur einen Schritt nach vorne schaut (ein kurzer Horizont), erhält er die falsche, steile Karte, und der Fahrer stürzt ab.
Wenn der Beifahrer weit genug vorausblickt – speziell weit genug, um die Zeit abzudecken, die die verborgenen Schlaglöcher benötigen, um ihre Wirkung zu entfalten – korrigiert sich die Karte selbst.

Die Arbeit zeigt, dass, wenn man diese „Vorausschau-Zeit“ so einstellt, dass sie mit dem „Gedächtnis“ der verborgenen Schlaglöcher übereinstimmt, der Fahrer an der perfekten Stelle stoppt. Es ist, als würde man dem Beifahrer sagen: „Rate nicht nur, warum das Auto gerade jetzt springt; warte ab und sieh zu, ob das Springen anhält. Wenn es das tut, ist es die Straße. Wenn es aufhört, war es nur ein kleiner Stoß.“

Die Überraschung des Deep Learning

Der Autor hat dies nicht nur auf dem Papier mathematisch durchgeführt; er hat es mit modernem Deep Reinforcement Learning getestet (der Art von KI, die Videospiele spielt). Er gab der KI ein „Gedächtnis“, indem er ihr die letzten 32 Frames des Videos zeigte, in der Hoffnung, dass dies helfen würde, die verborgenen Schlaglöcher zu erkennen.

Hier ist das überraschende Ergebnis: Dem der KI ein Gedächtnis zu geben, half nicht.
Selbst mit einer Videohistorie, wenn der „Vorausschau-Regler“ falsch eingestellt war, stürzte die KI immer noch ab. Es spielte keine Rolle, ob die KI ein ausgeklügeltes Gehirn oder ein Gedächtnis hatte; wenn die Lernregel (die Karte des Beifahrers) voreingenommen war, folgte die KI der Voreingenommenheit.
Als sie jedoch den „Vorausschau-Regler“ auf die richtige Einstellung drehten, fand die KI die gute Lösung, selbst ohne das Gedächtnis.

Die Arbeit schloss auch einige andere Ideen aus. Sie prüften, ob die KI vielleicht einfach mehr „explorieren“ müsste (zufällige Bewegungen ausprobieren), um das Problem zu lösen. Sie hielten die Menge des zufälligen Rauschens konstant fest und stellten fest, dass dies keinen Unterschied machte; das Problem war immer noch die Einstellung des Vorausschau-Horizonts. Sie prüften auch, ob die KI einfach früher mit dem Lernen aufhören müsste, aber die Mathematik zeigte, dass das Problem struktureller Natur war und kein Timing-Problem.

Das Fazit

Die wichtigste Erkenntnis ist ein wenig schockierend für die übliche Denkweise über KI. Wir geben der teilweisen Beobachtbarkeit (Blindheit) oft die Schuld daran, dass das Gehirn der KI nicht komplex genug ist, um sich an die Vergangenheit zu erinnern. Diese Arbeit sagt: Nein, das Gehirn ist in Ordnung. Das Problem ist, dass der Lernalgorithmus das Rauschen, das er sieht, fälschlicherweise als Signal interpretiert und so ein falsches Gefühl von Gefahr erzeugt, das die KI dazu treibt, übermäßig zu reagieren.

Die Lösung besteht nicht unbedingt darin, der KI ein größeres Gehirn oder ein besseres Gedächtnis zu geben. Es geht darum, den Vorausschau-Horizont so einzustellen, dass die KI lange genug wartet, um zwischen einem echten Problem und einem vorübergehenden Schluckauf zu unterscheiden. Wenn man diesen einen Regler korrekt einstellt, kann die KI auf dem richtigen Weg lernen, selbst wenn sie blind ist. Wenn man es nicht tut, wird selbst die klügste KI sich selbst in den Abgrund treiben, in der festen Überzeugung, die Welt zu retten.

Technische Zusammenfassung: Lernen leidet stärker als die Policy-Klasse unter partieller Beobachtbarkeit

Problemstellung
In der partiell beobachtbaren Reinforcement Learning (RL) finden Agenten oft keine optimalen Policies. Die herkömmliche Lehrmeinung schreibt dies dem Policy-Class Gap zu: der Unfähigkeit der Repräsentationskapazität des Agenten (z. B. gedächtnisloser Policies), eine gute Policy zu erfassen, da er den vollen Zustand nicht beobachten kann. Dieses Paper stellt diese Sichtweise infrage, indem es zeigt, dass ein größerer, distinkter Fehlermodus existiert: der Learning Gap. Dies ist die Diskrepanz zwischen der besten Policy, die der Agent repräsentieren kann, und der Policy, auf die der Lernalgorithmus tatsächlich konvergiert. Der Autor argumentiert, dass selbst wenn eine gute Policy innerhalb der Repräsentationsklasse des Agenten existiert und der Wertfunktions-Approximator theoretisch in der Lage ist, die wahre Wertfunktion exakt darzustellen, die Lernmechanismen selbst eine Verzerrung einführen, die den Agenten zu einem suboptimalen Gleichgewicht treibt.

Methodik
Der Autor analysiert ein lösbares, partiell beobachtbares linear-quadratisches Gaußsches (LQG) Steuerungsproblem.

Umgebung: Ein zweidimensionales System, bei dem der Agent die Koordinate $v$ beobachtet und steuert, während eine unobservierte Koordinate $z$ die Koordinate $v$ antreibt. Der unobservierte Zustand fungiert als Gedächtniskernel.
Lernalgorithmus: Ein Standard-Actor-Critic-Paar.
- Critic: Verwendet Temporal Difference (TD(0)) oder Least Squares TD (LSTD) mit quadratischen Features $(1, v, v^2)$ . Entscheidend ist, dass die wahren Wertfunktionen dieses Problems quadratisch sind, was bedeutet, dass die Feature-Klasse ausreicht, um die wahre Wertfunktion exakt darzustellen, sofern der volle Zustand beobachtet würde. Die Einschränkung liegt allein darin, dass die Features aus der unvollständigen Beobachtung $v$ berechnet werden.
- Actor: Folgt dem Policy Gradient unter Verwendung der Wertschätzungen des Critics als Baseline.
Analyseansatz: Der Autor leitet geschlossene Formeln für den Fixpunkt des Critics und die erwartete Update-Richtung des Actors ab. Er analysiert das Gleichgewicht der erwarteten Aktualisierung (die "gemittelte Dynamik"), anstatt sich rein auf stochastische Konvergenzbeweise zu verlassen, und verifiziert diese Vorhersagen numerisch sowie durch Deep-RL-Experimente.

Wesentliche Beiträge und Ergebnisse

Exakter Mechanismus des Scheiterns (Der aliased Critic):
Die Kernerkenntnis ist, dass der Learning Gap den Policy-Class Gap dominiert. In der Standardeinstellung kostet die beste gedächtnislose Policy nur 10,4 % mehr als die ideale Full-State-Steuerung. Der Actor-Critic-Lerner konvergiert jedoch zu einer Policy, die um 35 % schlechter ist als diese beste gedächtnislose Policy.
- Mechanismus: Im stationären Regime balanciert der unobservierte Zustand $z$ den Steuerungsinput im Durchschnitt aus, wodurch die beobachtete Koordinate $v$ scheinbar wie ein Random Walk fluktuiert. Der Critic, der auf Funktionen von $v$ allein beschränkt ist, kann diese Persistenz nicht dem verborgenen Zustand zuschreiben. Infolgedessen schreibt er diese unerklärte Persistenz fälschlicherweise der Krümmung der Wertfunktion zu.
- Ergebnis: Der Critic meldet eine Wertkrümmung (Koeffizient von $v^2$ ), die etwa 15 Mal größer ist als die wahre bedingte Krümmung. Der Actor, der diese überhöhte Krümmung als Baseline nutzt, wird dazu motiviert, den Steuerungs-Gain unendlich zu erhöhen, bis die überhöhte Krümmung durch die Steuerkosten ausgeglichen wird, was zu einem Gain führt, der weit über dem Optimum liegt.
Geschlossenes Gesetz für das Lern-Gleichgewicht:
Der Autor leitet eine exakte Formel für den Gain $k_{eq}$ ab, bei dem die erwartete Aktualisierung verschwindet.
- Der Gleichgewichts-Gain ist umgekehrt proportional zur Abtastperiode $h$ und hängt vom Verhältnis des Explorationsrauschens zur Null-Lag-Intensität des Gedächtniskernels ab ( $\sigma = s_e / \Theta K(0)$ ).
- Wenn die Exploration verschwindet, nähert sich der Gleichgewichts-Gain der Stabilitätsgrenze des abgetasteten Steuerungssystems.
- Dieser Ort hängt von der Verteilung der Störung ab (speziell der zweiten Ordnung der quadrierten Störung), nicht nur von deren Autokovarianz.
Geschlossenes Gesetz für die eingesetzten Kosten:
Trotz des falschen Ortes des Gleichgewichts ist die bei diesem Fixpunkt anfallende Kostenstruktur bemerkenswert robust.
- Die eingesetzten Kosten am Lern-Gleichgewicht konvergieren gegen $r C(0)$ (wobei $r$ das Steuerkosten-Gewicht und $C(0)$ die Null-Lag-Autokovarianz der Störung ist).
- Dieses Kostengesetz ist verteilungsfrei: Es gilt für jede stationäre, ergodische, im Mittel quadratisch stetige Störung, unabhängig davon, ob diese Gaußsch, schwerfällig (heavy-tailed) oder diskret (z. B. Telegraph-Rauschen) ist.
- Der Autor zeigt, dass unterschiedliche Störungsverteilungen den Ort des Gleichgewichts (den Gain) um einen Faktor von 3,4 verschieben, die resultierenden Kosten jedoch nahezu identisch bleiben.
Der Bootstrap-Horizont als Lösung:
Das Paper identifiziert eine einzige Designentscheidung, die die Pathologie eliminiert: der Bootstrap-Horizont (gesteuert durch den $\lambda$ -Parameter in $\lambda$ -Returns).
- Standardmäßiges TD(0) ( $\lambda=0$ ) blickt nur einen Schritt voraus, was zum aliased Equilibrium führt.
- Mit steigendem $\lambda$ erweitert sich der Horizont. Der Autor zeigt, dass das Gleichgewicht kontinuierlich zurück zur Policy-Class-Optimum wandert, wenn der Horizont mit dem Gedächtnis der Umgebung übereinstimmt.
- Der Übergang ist scharf: Eine Erhöhung von $\lambda$ von 0,98 auf 0,99 reduziert die überschüssigen Kosten von ~30 % auf ~1,5 %.
Validierung durch Deep Reinforcement Learning:
Experimente mit Proximal Policy Optimization (PPO) und Multi-Layer Perceptrons (MLP) bestätigen die theoretischen Vorhersagen.
- Architekturunabhängigkeit: Das Hinzufügen von Gedächtnis durch Frame-Stacking (Beobachtung der letzten 32 Frames) hilft nicht. Stacked Agents zeigen dasselbe aliased Verhalten wie gedächtnislose Agenten bei niedrigem $\lambda$ und dieselbe Wiederherstellung bei hohem $\lambda$ . Dies deutet darauf hin, dass das Vorhandensein von Historie im Input nicht ausreicht; der Lernalgorithmus muss diese Historie effektiv durch den Bootstrap-Horizont nutzen.
- Preregistrierte Tests: Der Autor hat Experimente vorregistriert, um alternative Erklärungen auszuschließen, wie etwa den Kollaps des gelernten Explorationsrauschens oder einen Schwellenwerteffekt der Explorationsmagnitude. Diese Hypothesen wurden falsifiziert; das Versagen bleibt auch bei festem Explorationsrauschen bestehen, und kein Explorationsschwellenwert verhindert die Verschiebung.

Bedeutung und Ansprüche
Das Paper beansprucht, die erste exakte, geschlossene Charakterisierung dafür zu liefern, wie partielle Beobachtbarkeit das Actor-Critic-Lernen verzerrt, indem es die Einschränkungen der Repräsentation von den Einschränkungen der Lernregel trennt.

Moderater Umfang: Der Autor gibt explizit an, nicht die Konvergenz stochastischer Iterationen zum Fixpunkt zu beweisen, sondern nur, dass die erwartete Aktualisierung dort verschwindet und dass stochastische Läufe der gemittelten Trajektorie folgen (mit einem Lag).
Spezifische Einschränkungen: Das Gesetz für den Ort des Gleichgewichts ist für Gaußsche Störungen bewiesen; das Kostengesetz ist verteilungsfrei. Der Autor vermutet, dass das Ort-Gesetz für nicht-Gaußsche Fälle von der zweiten Ordnung der quadrierten Störung abhängt, behauptet jedoch nicht, dies allgemein bewiesen zu haben.
Praktische Implikation: Die wichtigste Erkenntnis ist, dass es in partiell beobachtbaren Umgebungen nicht ausreicht, lediglich die Modellkapazität zu erhöhen oder das Input-Gedächtnis (wie Frame-Stacking) zu erweitern. Stattdessen müssen Praktiker den Bootstrap-Horizont ( $\lambda$ ) so abstimmen, dass er das Gedächtnis der Umgebung übersteigt.

Das Paper schließt mit der Feststellung, dass der "Learning Gap" eine distinkte und oft größere Quelle der Suboptimalität ist als der "Policy-Class Gap", getrieben durch die Unfähigkeit des Critics, die Persistenz des unobservierten Zustands von der Krümmung der Wertfunktion zu unterscheiden.