🤖 machine learning

The Terminal Representation in Reinforcement Learning

Dieses Paper führt die Terminal Representation (TR) ein, eine neuartige, niedrigdimensionale Alternative zu den Successor- und Default-Representations im Reinforcement Learning, welche belohnungsgewichtete Trajektorien erfasst, ohne Eigendekomposition oder symmetrische Übergangsannahmen zu erfordern, wodurch sie eine recheneffiziente Grundlage für Aufgaben wie Option Discovery und Transfer Learning bietet.

Ursprüngliche Autoren: Amir Esterhuysen, Anders Jonsson

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Amir Esterhuysen, Anders Jonsson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, wie er durch ein Labyrinth navigiert. Das Ziel des Roboters ist es, so schnell wie möglich vom Start zum Ausgang zu gelangen, aber das Labyrinth ist riesig und er kennt das Layout noch nicht. Um effizient zu lernen, benötigt der Roboter eine „mentale Karte“, die ihm hilft zu verstehen, nicht nur wo er ist, sondern auch wohin er gehen kann und wie gut diese Orte sind.

Dieses Paper stellt eine neue, intelligentere Art und Weise vor, wie Roboter diese mentalen Karten aufbauen können. Die Autoren nennen es die Terminal Representation (TR).

Hier ist die Aufschlüsselung, wie es funktioniert, unter Verwendung einfacher Analogien:

1. Die alten Wege: Die „Zukunfts-Karte“ und die „Belohnungs-Karte“

Vor dieser neuen Methode verwendeten Forscher zwei Hauptwerkzeuge:

Die Successor Representation (SR): Betrachten Sie dies als eine Karte, die sich nur um den Verkehr kümmert. Sie sagt dem Roboter: „Wenn du hier stehst, wirst du später wahrscheinlich diese anderen Orte besuchen.“ Sie ignoriert dabei, ob diese Orte gut oder schlecht sind; sie verfolgt lediglich Bewegungsmuster.
Die Default Representation (DR): Dies ist eine fortschrittlichere Karte. Sie kombiniert Verkehr mit Belohnungen. Sie sagt dem Roboter: „Wenn du hier stehst, wirst du wahrscheinlich diese Orte besuchen, und hier erfährst du, wie viel ‚Güte‘ (Belohnung) du von dort aus erhalten wirst.“

Das Problem mit den alten Wegen:
Um die DR für komplexe Aufgaben (wie das Finden von Abkürzungen oder das Anpassen an neue Ziele) effektiv zu nutzen, musste der Forscher eine massive, langsame mathematische Berechnung durchführen, die Eigendekomposition genannt wird.

Die Analogie: Stellen Sie sich vor, Sie haben eine Bibliothek voller Bücher (die Karte), aber um die wichtigste Geschichte zu finden, müssen Sie jedes einzelne Buch lesen, jede Seite querverweisen und eine Zusammenfassung schreiben, bevor Sie die Information nutzen können. Es ist genau, aber es dauert lange und erfordert viel Gehirnschmalz. Außerdem funktioniert diese Methode nur dann gut, wenn der Verkehr in beide Richtungen gleichmäßig fließt (wie bei einer Straße mit zwei Fahrspuren), was in vielen realen Labyrinthen nicht der Fall ist.

2. Der neue Weg: Die Terminal Representation (TR)

Die Autoren schlagen die Terminal Representation (TR) vor. Sie ist wie ein „Ziel-Leitfaden“.

Anstatt jeden einzelnen Schritt zu kartieren, den der Roboter vielleicht machen wird, konzentriert sich die TR speziell darauf, wo der Roboter landet (die „terminalen“ oder Zielzustände) und wie wertvoll diese Endpunkte sind.

Warum ist sie besser? Drei Superkräfte:

Sie ist kleiner und schneller (Kompaktheit):
- Analogie: Die alten Karten waren wie ein riesiger Atlas, der jede Straße der Welt zeigt. Die TR ist wie eine einfache Liste von Bushaltestellen und deren Zielen. Da sie sich nur um das „Ende der Linie“ (die Ziele) kümmert, benötigt sie viel weniger Speicherplatz und ist schneller zu lernen.
Sie funktioniert sofort (Keine zusätzliche Mathematik):
- Analogie: Bei der alten DR mussten Sie die „Bibliothek lesen“ (Eigendekomposition), bevor Sie die Karte nutzen konnten. Mit der TR stehen die Informationen bereits auf dem Cover. Sie können die Karte greifen und sofort nutzen, um Probleme zu lösen wie „Wie komme ich zum Ausgang?“ oder „Wie gestalte ich meine Belohnungen?“, ohne vorher schwere Berechnungen durchzuführen.
Sie bewältigt Einbahnstraßen (Asymmetrie):
- Analogie: Die alten Methoden gingen davon aus, dass man, wenn man von Punkt A nach Punkt B kommt, auch leicht von B nach A zurückkehren kann. Aber im echten Leben (und in vielen Labyrinthen) gibt es Einbahnstraßen. Die TR kümmert sich nicht um diese Symmetrie; sie funktioniert perfekt, selbst wenn der Verkehrsfluss chaotisch oder nur in eine Richtung ist.

3. Was können Sie damit machen?

Das Paper zeigt, dass die TR nicht nur eine theoretische Idee ist; sie funktioniert in der Praxis für vier Hauptaufgaben:

Entdeckung von Abkürzungen (Option Discovery): Sie hilft dem Roboter, langfristige Strategien zu entwickeln (wie „laufe in die Ecke, dann biege links ab“), ohne die langsamen mathematischen Berechnungen der alten Methoden zu benötigen.
Lehren durch Hinweise (Reward Shaping): Wenn der Robot feststeckt, kann die TR ihm kleine Hinweise geben (zusätzliche Belohnungen), um ihn zum Ziel zu führen, und zwar genauso gut wie die komplexen alten Methoden.
Erkundung neuer Gebiete: Sie hilft dem Roboter, das Labyrinth effizienter zu erkunden, indem sie weiß, welche Bereiche zu den interessantesten Zielen führen.
Schnelles Lernen neuer Aufgaben (Transfer Learning): Wenn Sie den Ort des Ziels im Labyrinth ändern, ermöglicht die TR dem Robot, sich sofort anzupassen, da er den „Fluss“ der Umgebung hin zu verschiedenen Endpunkten bereits versteht.

Das große Geheimnis

Das Paper enthüllt ein faszinierendes Geheimnis: Die TR enthält tatsächlich exakt dieselbe „kluge Erkenntnis“, die die alte, komplexe DR-Methode durch schwere Mathematik zu extrahieren versucht. Die TR präsentiert diese Information lediglich in einem Format, das sofort einsatzbereit ist.

Zusammenfassend:
Die Autoren haben ein neues Werkzeug gebaut, damit Roboter ihre Welt verstehen können. Es ist kleiner, schneller und flexibler als bisherige Werkzeuge. Es überspringt die schwere mathematische Hausaufgabenarbeit und gibt dem Roboter einen direkten, klaren Leitfaden zu seinen Zielen, wodurch er viel effizienter lernen und sich anpassen kann.

Technisches Resümee: Die Terminal-Repräsentation in Reinforcement Learning

Problemstellung

In Reinforcement Learning (RL) ist das Lernen von Repräsentationen entscheidend für die spatio-temporale Abstraktion. Zwei etablierte Ansätze sind die Successor Representation (SR) und die Default Representation (DR). Die SR kodiert Zustände basierend auf zukünftigen Besuchs-Trajektorien und erfasst so die Übergangsdynamik unabhängig von Belohnungen. Die DR erweitert dies, indem sie diese Trajektorien mit Belohnungen gewichtet und somit die Struktur der Credit-Assignment integriert.

Beide Repräsentationen stehen jedoch vor Einschränkungen bei der Anwendung auf Downstream-Aufgaben wie Option Discovery, Reward Shaping und Transfer Learning:

Rechenaufwand: Die Verwendung der DR oder SR für diese Aufgaben erfordert typischerweise eine Eigendecomposition (oder Potenziteration), um Eigenvektoren zu extrahieren. Dies verursacht einen Rechenaufwand von $O((S^+)^2)$ oder höher pro Abfrage und setzt symmetrische (reversible) Übergangsdynamiken voraus – eine Bedingung, die in praktischen RL-Umgebungen, in denen Policys gerichtet sind, oft verletzt wird.
Dimensionalität: Die SR und DR sind über den vollen Zustandsraum ( $S^+ \times S^+$ ) definiert, der groß und ineffizient zu speichern und zu lernen sein kann.
Indirektes Wissen: Während die DR belohnungsgewichtete Trajektorien kodiert, isoliert sie die Erreichbarkeit und Attraktivität von Terminalzuständen nicht explizit in einem Format, das ohne weitere Spektralanalyse direkt nutzbar ist.

Methodik: Die Terminal-Repräsentation (TR)

Die Autoren schlagen die Terminal Representation (TR) vor, eine strukturell distinkte Formulierung, die darauf ausgelegt ist, belohnungsgewichtete Trajektorien spezifisch in Bezug auf Terminalzustände zu kodieren.

Theoretische Grundlage

Die TR wird im Rahmen von Linearly-Solvable Markov Decision Processes (LMDPs) abgeleitet. In einem LMDP kann die optimale Value-Funktion $v(s)$ in eine exponentierte Value $z(s) = e^{v(s)/\lambda}$ transformiert werden, welche die lineare Gleichung erfüllt:
$z(s) = e^{R(s)/\lambda} \sum_{s'} P_\mu(s'|s)z(s')$
wobei $P_\mu$ eine Default-Policy und $\lambda$ ein Temperaturparameter ist.

Durch die Zerlegung des Zustandsraums in Nicht-Terminalzustände ( $S$ ) und Terminalzustände ( $T$ ) leiten die Autoren die TR-Matrix $M$ ab als:
$M = (I_S - D_S)^{-1} D_T$
wobei $D_S = R_S P_S$ die Nicht-Terminal-Dynamik darstellt und $D_T = R_S P_T$ die Übergänge von Nicht-Terminalzuständen zu Terminalzuständen darstellt. Hierbei sind $R_S$ und $R_T$ Diagonalmatrizen exponentierter Belohnungen.

Die TR ermöglicht die Zero-Shot-Rekuperation der optimalen exponentierten Werte $z$ für jede Konfiguration von Terminal-Belohnungen $y$ (wobei $y(\tau) = e^{R(\tau)/\lambda}$ ) über die lineare Relation:
$z = M y$

Lernalgorithmen

Das Paper etabliert die Konvergenz zweier Lernalgorithmen für $M$ :

Dynamic Programming (Model-Based): Eine iterative Update-Regel $M_{k+1} = D_T + D_S M_k$ wird als konvergent gegen die wahre TR bewiesen.
Sample-Based (Model-Free): Eine Temporal Difference (TD)-ähnliche Update-Regel wird für das Online-Lernen abgeleitet:
$\hat{M}(s_t) \leftarrow (1 - \alpha_t)\hat{M}(s_t) + \alpha_t e^{r_t/\lambda} \hat{M}^+(s_{t+1})$
wobei $\hat{M}^+$ eine erweiterte Abbildung ist, die Übergänge in Terminalzustände handhabt. Theorem 4.2 beweist, dass dies unter Standardbedingungen der stochastischen Approximation gegen $M$ konvergiert.

Zentrale theoretische Eigenschaften

Dimensionalität: Die TR ist eine $S \times T$ Matrix. Da die Anzahl der Terminalzustände $T$ oft viel kleiner ist als der gesamte Zustandsraum $S^+$ , ist die TR signifikant kompakter als die $S^+ \times S^+$ DR.
Direkte Nutzbarkeit (Keine Eigendecomposition): Die Spalten der TR entsprechen direkt den Informationen, die typischerweise über Eigenvektoren der DR extrahiert werden. Theorem 7.1 zeigt, dass der Top-Eigenvektor der DR strukturell aus einer TR-Spalte (speziell der Spalte, die dem attraktivsten Terminalzustand entspricht) und einer geometrischen Reihe zusammengesetzt ist. Somit erfasst die TR dieselbe zugrunde liegende strukturelle Information ohne die Notwendigkeit einer Eigendecomposition.
Umgang mit Asymmetrie: Im Gegensatz zu Eigenvektor-basierten Ansätzen, die auf der Reversibilität der Übergangsdynamik (Symmetrie) beruhen, um reelle Eigenwerte zu garantieren, ist die TR inhärent asymmetrisch und unter beliebigen, nicht-reversiblen Dynamiken wohldefiniert.
Kompositionalität: Die TR unterstützt Zero-Shot-Kompositionalität. Wenn eine neue Aufgabe eine Linearkombination von Basisaufgaben mit unterschiedlichen Terminal-Belohnungen ist, kann die optimale Value-Funktion durch die Linearkombination der entsprechenden TR-Spalten wiederhergestellt werden, wodurch das erneute Lernen von Basis-Value-Funktionen vermieden wird.
Belohnungsäquivalenz: Die Autoren beweisen, dass LMDPs mit transitionsabhängigen oder zustands- und aktionsabhängigen Belohnungen auf äquivalente LMDPs mit zustandsabhängigen Belohnungen abgebildet werden können, was sicherstellt, dass die TR-Theorie breit über verschiedene Belohnungsformulierungen hinweg anwendbar ist.

Experimentelle Ergebnisse

Die Autoren evaluieren die TR gegenüber der SR und DR in vier Downstream-Anwendungen in Grid-World-Umgebungen (Four Rooms, RiverSwim, SixArms):

Option Discovery: In der „Covering Eigenoptions“-Aufgabe wird die TR verwendet, um Optionen direkt durch Extraktion von Spalten zu generieren (Vermeidung der Eigenvektor-Berechnung). Varianten, die entweder die Spalte des höchstbelohnten Terminalzustands oder alle Spalten nutzen, erreichten eine wettbewerbsfähige Performance gegenüber den DR-basierten RACE- und SR-basierten CEO-Methoden und erzielten oft höhere durchschnittliche Belohnungen, indem sie Agenten direkt zu wünschen Swerten steuern.
Reward Shaping: Die Verwendung der TR zur Konstruktion potenzialbasierter Shaping-Belohnungen ( $\hat{r}_t = 1 - M(s_{t+1}, \tau)$ ) ergab eine Performance, die identisch mit der DR und überlegen gegenüber der SR war. Dies bestätigt die Fähigkeit der TR, die notwendigen strukturellen Informationen für effiziente Navigation ohne Eigendecomposition zu erfassen.
Count-Based Exploration: Die Verwendung der Norm der TR als Explorationsbonus in den RiverSwim- und SixArms-Umgebungen führte zu einer Performance, die nahezu identisch mit der DR und signifikant besser als die der SR war.
Transfer Learning: Als sich die Terminal-Belohnungen zwischen Aufgaben änderten, wurde die TR zum Transfer von Wissen eingesetzt. Sie performte ähnlich wie Default Features (DF) (die policy-unabhängige DR-Variante) und übertraf Successor Features (SF) über verschiedene Basis-Policy-Konfigurationen hinweg, ohne dass ein expliziter Feature-Lernschritt erforderlich war.

Bedeutung und Ansprüche

Das Paper behauptet, dass die Terminal-Repräsentation eine lebensfähige, recheneffiziente Alternative zur SR und DR bietet. Ihre primäre Bedeutung liegt in:

Effizienz: Sie reduziert die Dimensionalität der Repräsentation und eliminiert die Notwendigkeit einer teuren Eigendecomposition, wodurch die Query-Komplexität von $O((S^+)^2)$ auf $O(1)$ für die Spaltenextraktion sinkt.
Robustheit: Sie funktioniert korrekt unter nicht-symmetrischen (nicht-reversiblen) Übergangsdynamiken, einem häufigen Szenario in RL, in dem Eigenvektor-Methoden scheitern oder komplexe Eigenwerte liefern können.
Direkte Anwendbarkeit: Sie kodiert Wissen über Terminalzustände explizit, was die direkte Nutzung für Reward Shaping, Option Discovery und Transfer Learning ohne zwischengeschaltete Spektralanalyse ermöglicht.

Die Autoren vertreten eine moderate Position und merken an, dass die TR zwar mit der DR konkurrieren kann, aber nicht fundamental überlegen in allen semantischen Aspekten ist; vielmehr bietet sie einen kompakteren und rechentechnisch handhabbareren Mechanismus, um auf dieselbe zugrunde liegende strukturelle Information bezüglich der Terminalzustände zuzugreifen. Zukünftige Arbeiten werden vorgeschlagen, um die TR mittels Funktionsapproximation auf hochdimensionale Umgebungen zu erweitern und Settings ohne explizit definierte Terminalzustände zu behandeln.