🤖 machine learning

Hierarchical Successor Representation for Robust Transfer

Dieses Paper führt die Hierarchical Successor Representation (HSR) ein, ein Framework, das zeitliche Abstraktionen und nicht-negative Matrixfaktorisierung nutzt, um die Richtlinienabhängigkeit und die spektrale Diffusion klassischer Successor Representations zu überwinden und dadurch einen robusten, sampeleffizienten Transfer sowie eine effiziente Exploration in komplexen, nicht-stationären Umgebungen zu ermöglichen.

Ursprüngliche Autoren: Changmin Yu, Máté Lengyel

Veröffentlicht 2026-06-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Changmin Yu, Máté Lengyel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lernen, sich in einem riesigen, komplexen Gebäude mit vielen Räumen, Fluren und Türen zurechtzufinden. Ihr Ziel ist es, einen bestimmten Ausgang zu finden.

Der alte Weg (Die „Successor Representation“)
Traditionell verwenden KI-Agenten eine Methode namens „Successor Representation“ (SR). Denken Sie an dies wie eine mentale Karte darüber, „wie lange man von hier aus überallhin braucht“.

Wenn Sie in der Küche sind, sagt die Karte, dass es 10 Sekunden dauert, um ins Wohnzimmer zu gelangen, 20 Sekunden zum Garagenbereich usw.
Das Problem: Diese Karte ist an die Art und Weise gebunden, wie Sie gehen. Wenn Sie normalerweise schnell gehen, sagt die Karte „5 Sekunden“. Wenn Sie plötzlich langsam gehen müssen, weil Sie einen schweren Kasten tragen (eine Änderung der „Policy“), wird Ihre alte Karte unbrauchbar. Sie müssen die ganze Karte neu zeichnen.
Das „Unschärfe“-Problem: In einem großen Gebäude wird diese Karte verschwommen. Es ist wie ein Tropfen Tinte, der sich im Wasser verteilt; sie zeigt nicht klar, wo die Wände und Flure sind, was es schwierig macht, den Grundriss des Gebäudes zu verstehen.

Der neue Weg (Hierarchical Successor Representation – HSR)
Die Autoren schlagen eine neue Methode vor, die Hierarchical Successor Representation (HSR). Denken Sie an dies als ein Upgrade von einem Schritt-für-Schritt-Wegweiser zu einem strategischen Reiseführer.

Anstatt an jeden einzelnen Schritt zu denken (linker Fuß, rechter Fuß), lernt der Agent „Makro-Bewegungen“ oder Optionen.

Analogie: Anstatt zu denken „Schritt, Schritt, drehen, Schritt“, denkt der Agent: „Gehe durch den Flur“, „Gehe durch die Tür“ oder „Überquere die Brücke“.
Warum das besser ist: Selbst wenn Sie Ihre Gehgeschwindigkeit ändern (Ihre Low-Level-Policy), bleibt die Strategie „gehe durch den Flur, um zum nächsten Raum zu gelangen“ gleich. Die HSR baut eine Karte basierend auf diesen stabilen, High-Level-Strategien auf, anstatt auf flüchtigen Fußbewegungen. Dies macht die Karte robust; wenn sich Ihre Aufgabe ändert (z. B. das Ziel verschiebt sich in einen anderen Raum), müssen Sie nicht die ganze Karte neu zeichnen. Sie nutzen einfach Ihre bestehende strategische Karte und finden das neue Ziel.

Die Karte klarer machen (NMF)
Die Autoren stellten auch fest, dass die Karte selbst mit HSR noch etwas überladen sein konnte. Um dies zu beheben, verwendeten sie ein mathematisches Werkzeug namens Non-Negative Matrix Factorization (NMF).

Analogie: Stellen Sie sich vor, Sie nehmen ein verschwommenes, überlappendes Foto einer Stadt und verwenden einen Filter, um es in distinkte, klare Bausteine zu zerlegen.
NMF nimmt die HSR-Karte und bricht sie in spärliche, lokale Teile auf. Anstatt eines diffusen Flecks, der das gesamte Gebäude bedeckt, identifiziert es spezifische „Blöcke“ wie „den Nordflur“ oder „den Ostflügel“.
Das Ergebnis: Die KI entdeckt die natürlichen „Engpässe“ (Bottlenecks) des Gebäudes (die Türen und Flure, die Räume verbinden). Diese werden zu den Schlüsselmerkmalen der Karte. Dies macht die Karte nicht nur präzise, sondern auch leicht verständlich und nutzbar für die KI.

Was dies bewirkt

Super-Transfer: Da die Karte auf stabilen Strategien basiert (wie „gehe durch die Tür“) und nicht auf spezifischen Gehstilen, kann die KI sich sofort an neue Ziele anpassen. Es ist wie eine Stadtkarte, die funktioniert, egal ob man mit dem Auto, dem Fahrrad oder zu Fuß unterwegs ist.
Bessere Exploration: In Umgebungen, in denen Belohnungen selten sind (wie beim Finden eines verborgenen Schatzes in einem riesigen Labyrinth), hilft die HSR der KI, effizienter zu explorieren. Sie ermöglicht es der KI, mental über lokale Hindernisse „hinwegzuspringen“ und zu erkennen: „Wenn ich durch diese Tür gehe, kann ich einen ganz neuen Abschnitt des Labyrinths erreichen“, anstatt in einem kleinen Raum im Kreis zu wandern.

Zusammenfassend
Das Paper argumentiert, dass wir, indem wir die KI lehren, in Zeitschütten und Strategien (Hierarchie) statt in Einzelschritten zu denken, und dieses Denken dann in klare, unterscheidbare Teile (NMF) aufbereiten, eine KI erschaffen können, die schneller lernt, sich sofort an neue Aufgaben anpasst und komplexe Umgebungen wesentlich effektiver exploriert. Es überbrückt die Lücke zwischen Schnelligkeit (wie ein Reflex) und Flexibilität (wie eine Planung).

Technisches Resümee: Hierarchische Sukzessor-Repräsentation für robusten Transfer

Problemstellung

Die Sukzessor-Repräsentation (SR) bietet einen Rahmen zur Entkopplung von prädiktiver Dynamik und Belohnungen, was eine schnelle Generalisierung über verschiedene Belohnungskonfigurationen hinweg ermöglicht. Die klassische SR steht jedoch vor zwei kritischen Einschränkungen in Transfer-orientierten Regimen:

Politikabhängigkeit: SRs sind inhärent an die Politik gebunden, die sie generiert hat. Wenn Agenten lernen, auf Nicht-Stationaritäten treffen oder mit neuen Aufgabenanforderungen konfrontiert werden, ändert sich die zugrunde liegende Politik, wodurch etablierte prädiktive Repräsentationen obsolet werden und ein kostspieliges Re-Learning erforderlich wird.
Spektrale Diffusion und Skalierbarkeit: In topologisch komplexen Umgebungen (z. B. mehrkompartimentellen Räumen) leiden klassische SR-Features unter „spektraler Diffusion“. Dies führt zu dichten, global unterstützten und überlappenden Features, die mangelnde Interpretierbarkeit aufweisen und schlecht skalieren. Standardmäßige spektrale Zerlegungsmethoden (wie SVD), die auf SRs angewendet werden, erzeugen oft Komponenten, die Vorzeichen-undefiniert sind und lokale Übergangsstrukturen nicht effektiv erfassen können.

Methodik

Die Autoren schlagen die Hierarchische Sukzessor-Repräsentation (HSR) vor, um diese Einschränkungen durch die Integration von zeitlichen Abstraktionen in prädiktive Repräsentationen zu adressieren.

1. Hierarchische Sukzessor-Repräsentation (HSR)

Die Kerninnovation besteht darin, die klassische SR-Formulierung unter Verwendung des „Options“-Frameworks (Sutton et al., 1999) zu erweitieren.

Zeitliche Abstraktion: Anstatt die Zustandsbelegung basierend auf Einzelschritt-Aktionen vorherzusagen, aggregiert HSR die Dynamik über zeitlich ausgedehnte, interpretierbare Verhaltenssegmente (Options).
Definition: Die HSR-Matrix $M_\mu$ ist definiert als die prädiktive Zustandsbelegungsverteilung in Bezug auf eine High-Level-Politik $\mu$ . Sie kombiniert rekursiv die aktionsspezifischen SR-Matrizen ( $M_{\bar{a}}$ ) und die erwartete Dauer der Optionen ( $\tau$ ).
Bellman-Operator: Die Autoren leiten einen hierarchischen Bellman-Operator $T$ ab, der eine Kontraktionsabbildung darstellt, was ein Online-Lernen via Temporal-Difference (TD)-Updates ermöglicht, ähnlich wie bei der Standard-SR, jedoch mit einem TD-Fehler, der die Dauer der Optionen berücksichtigt.
Erwartete HSR (eHSR): Um die Politikabhängigkeit weiter zu verringern, plädieren die Autoren für eine Offline-Konstruktion, bei der die HSR über optimale Politiken aus einer Verteilung von Pre-Training-Aufgaben gemittelt wird, was eine generalisierte, aufgabunabhängige Basis ergibt.

2. Niedrigrang-Zerlegung via NMF

Um Sparsamkeit und Interpretierbarkeit zu erreichen, wenden die Autoren eine Nicht-negative Matrixfaktorisierung (NMF) auf die HSR-Matrix an, anstatt der Singularwertzerlegung (SVD), die typischerweise bei Spektralmethoden verwendet wird.

Begründung: Klassische SRs weisen einen „topologischen Kollaps“ auf, bei dem Zustände innerhalb eines Kompartiments eng clustern, was NMF aufgrund mangelnder Varianz innerhalb des Kompartiments als schlecht gestellt erscheinen lässt. Im Gegensatz dazu sind HSR-Dynamiken „stückweise glatt“, wodurch Unterschiede zwischen Kompartimenten erhalten bleiben, während die Dispersion innerhalb der Kompartimente möglich bleibt.
Ergebnis: Diese Struktur ermöglicht es NMF, spärliche, lokalisierte und interpretierbare Basisvektoren zu entdecken, die mit topologischen Merkmalen (z. B. Engpass-Zuständen/Bottlenecks) korrespondieren, und vermeidet so die „Ringing-Artefakte“ und die globale Verschmierung, die mit orthogonalen SVD-Basen einhergehen.

Zentrale Beiträge

Robuste Zustandsrepräsentationen: Das HSR-Framework erzeugt Zustandsfeatures, die robust gegenüber aufgabeninduzierten Änderungen der Politik sind. Durch das Denken auf einer höheren Ebene der zeitlichen Abstraktion bleibt die Repräsentation stabil, selbst wenn sich die Low-Level-Kontrollpolitiken ändern.
Interpretierbare topologische Strukturen: Die Anwendung von NMF auf HSR liefert eine spärliche, niedrigrangige Repräsentation, die topologische Engpässe und Kompartimentstrukturen natürlich identifiziert und somit eine politikunabhängige hierarchische Karte bereitstellt.
Probeneffizienter Transfer: Die vorgeschlagene Methode ermöglicht einen hochgradig probeneffizienten Transfer auf neue Aufgaben in mehrkompartimentellen Umgebungen, ohne dass ein kostspieliges Re-Learning der Zustands-Feature-Maps erforderlich ist.
Skalierbare Exploration: Die zeitlich ausgedehnte prädiktive Struktur von HSR treibt eine effiziente intrinsisch motivierte Exploration voran, die es Agenten ermöglicht, lokale diffusive Barrieren in großen, prozedural generierten Umgebungen zu überwinden, in denen Einzelschritt-Methoden versagen.

Experimentelle Ergebnisse

Die Autoren evaluierten HSR in diskreten, tabellarischen Umgebungen (speziell Vier-Zimmer-Umgebungen und prozedural generierte Labyrinthe) mittels Q-Learning mit linearer Funktionsapproximation.

Transfer-Effizienz: In einer Vier-Zimmer-Umgebung zeigten Agenten, die HSR-Zeilenfeatures verwendeten, eine signifikant höhere Transfer-Effizienz beim Wechsel von Zielorten im Vergleich zu Agenten mit Standard-SR (RW-SR) oder One-Hot-Kodierungen. Während Standard-SR-Agenten bei der Politik-Re-Optimierung Leistungseinbußen erlitten, passten sich HSR-Agenten schnell mit weniger Episoden an.
Stabilität der Repräsentation: Eine quantitative Analyse zeigte, dass HSR-Matrizen nach Politikänderungen eine signifikant geringere Reorganisation (niedrigerer relativer Frobenius-Norm-Änderung) erfuhren als Standard-SR-Matrizen.
NMF vs. SVD: In Experimenten mit niedrigdimensionalen Basen übertrafen HSR-Features, die via NMF zerlegt wurden, sowohl HSR-SVD als auch alle SR-basierten Baselines (einschließlich SR-SVD und SR-NMF). SR-NMF scheiterte aufgrund von Feature-Kollaps, während HSR-NMF einen spärlichen Code lieferte, der den Zustandsraum gleichmäßig verkachelte.
Wert-Rekonstruktion: HSR-Basen ermöglichten konsistent genauere Rekonstruktionen optimaler Wertfunktionen für ungesehene Aufgaben (andere Zielorte) im Vergleich zu SR-Basen, was auf eine bessere Ausrichtung auf das Manifold potenzieller Wertfunktionen hindeutet.
Exploration: In Sparse-Reward-Navigationsaufgaben innerhalb großer Labyrinthe behielt die HSR-augmentierte intrinsische Belohnung (speziell HSR-SPIE) eine hohe Zustandsabdeckung und Zielentdeckungsrate aufrecht, während Standard-SR-basierte Explorationsstrategien mit zunehmender Umgebunggröße signifikant degradierten.

Bedeutung und Ansprüche

Das Paper behauptet, dass die Integration von zeitlicher Abstraktion in prädiktive Repräsentationen eine robuste, interpretierbare Zustandsrepräsentation schafft, welche die Lücke zwischen modellfreier Effizienz und modellbasierter Flexibilität schließt.

Politik-agnostische Kartierung: HSR bietet eine hierarchische Karte, die weniger sensitiv auf spezifische Belohnungskonfigurationen reagiert und somit die prädiktive Struktur der Umgebung effektiv von den unmittelbaren Aufgabenanforderungen entkoppelt.
Komplementarität: Die Autoren positionieren HSR als komplementär zu Algorithmen der Generalized Policy Improvement (GPI). Während GPI sich auf die Komposition vortrainierter Politiken konzentriert, fokussiert sich HSR auf das Lernen einer generalisierbaren Repräsentation; die Kombination beider führt zu überlegenem Transfer.
Skalierbarkeit: Das Framework skaliert auf große, prozedural generierte Umgebungen, indem es Agenten ermöglicht, durch zeitlich ausgedehnte Vorhersagen „lokale diffusive Barrieren zu durchbrechen“, was einen zentralen Flaschenhals bei der Exploration in Sparse-Reward-Aufgaben adressiert.

Die Autoren merken an, dass ihre empirischen Evaluationen derzeit auf diskrete, tabellarische Umgebungen beschränkt sind, um topologische Eigenschaften zu isolieren. Sie schlagen vor, zukünftige Arbeiten die Integration von HSR in Deep-RL-Systeme für kontinuierliche Domänen zu untersuchen und die Entdeckung von Options in nicht-stationären Umgebungen zu erforschen.