🤖 machine learning

Task-Induced Representational Invariances Depend on Learning Objective in Deep RL

Diese Arbeit zeigt, dass Algorithmen des Deep Reinforcement Learning, spezifisch wertbasierte (DQN) und Policy-Gradient-Methoden (PPO), trotz vergleichbarer Leistung distinkte aufgabeninduzierte Repräsentationsinvarianzen erlernen – die jeweils mit MDP-Homomorphismus bzw. Aktionssymmetrien korrespondieren – und bietet somit einen fundierten Rahmen für den Vergleich von Modellen sowie für die Gewinnung von Erkenntnissen über die neuronale Kodierung.

Ursprüngliche Autoren: Manu Srinath Halvagal, Sebastian Lee, SueYeon Chung

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Manu Srinath Halvagal, Sebastian Lee, SueYeon Chung

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten zwei verschiedene Schüler darin, ein komplexes Labyrinth zu durchqueren, um einen verborgenen Schatz zu finden. Beide Schüler sind unglaublich intelligent, beide verwenden dieselbe Karte und beide finden jedes Mal perfekt den Schatz. Doch das Papier enthüllt, dass sie das Labyrinth auf völlig unterschiedliche Weise denken.

Diese Forschungsarbeit mit dem Titel „Task-Induced Representational Invariances Depend on Learning Objective in Deep RL“ untersucht, wie KI-Agenten die Welt „sehen“, wenn sie Probleme lösen. Die Autoren fanden heraus, dass die Art und Weise, wie eine KI lernt (das Lernziel), bestimmt, wie sie ihr internes Wissen organisiert, selbst wenn das Endergebnis dasselbe ist.

Hier ist eine Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

1. Die zwei Schüler: Der „Wert“-Schüler vs. der „Aktions“-Schüler

Die Forscher verglichen zwei berühmte KI-Lernmethoden: DQN und PPO.

Der „Wert“-Schüler (DQN): Dieser Schüler ist besessen vom Punktestand. Er fragt: „Wie gut ist dieser spezifische Ort im Labyrinth?“ Er lernt, Orte zusammenzufassen, die sich in Bezug auf ihren Wert gleich anfühlen.
- Die Analogie: Stellen Sie sich eine Stadtkarte vor, auf der der Schüler Stadtteile nicht danach gruppiert, was man dort tun kann, sondern danach, wie „kostbar“ oder „wertvoll“ die Immobilien dort sind. Wenn zwei verschiedene Straßen denselben Immobilienwert haben, behandelt dieser Schüler sie als identisch, selbst wenn die Gebäude unterschiedlich aussehen.
- Das Ergebnis der Arbeit: Dieser Schüler lernt MDP-Homomorphismus-Symmetrien. Auf einfaches Deutsch übersetzt: Er lernt, die zugrunde liegende mathematische Struktur des Labyrinths zu sehen. Er erkennt: „Hey, diese Ecke links ist mathematisch identisch mit jener Ecke rechts, weil die Regeln des Labyrinths symmetrisch sind.“ Er komprimiert die Welt zu einer kleineren, einfacheren Version ihrer selbst.
Der „Aktions“-Schüler (PPO): Dieser Schüler ist besessen davon, was als Nächstes zu tun ist. Er fragt: „Welche Bewegung sollte ich hier machen?“ Er lernt, Orte zusammenzufassen, an denen die beste Bewegung dieselbe ist.
- Die Analogie: Dieser Schüler betrachtet die Stadt und gruppiert Stadtteile nach den Ampeln. „Wenn die Ampel grün ist, gehe ich; wenn sie rot ist, halte ich an.“ Es ist ihm egal, ob die Gebäude unterschiedlich sind; ihm ist nur wichtig, dass die Aktion dieselbe ist.
- Das Ergebnis der Arbeit: Dieser Schüler lernt Aktions-Symmetrien. Er gruppiert Zustände basierend auf der optimalen Bewegung. Wenn die beste Bewegung in Zustand A „Nach links abbiegen“ ist und die beste Bewegung in Zustand B ebenfalls „Nach links abbiegen“ ist, behandelt er A und B als identisch, ungeachtet der tieferen mathematischen Struktur des Labyrinths.

2. Der Beweis: Gleiches Ziel, unterschiedliche Gehirne

Die Forscher testeten dies in einer Navigationsaufgabe (einem digitalen Labyrinth).

Das Ergebnis: Beide Schüler lösten das Labyrinth perfekt. Aber als die Forscher in ihre „Gehirne“ (die internen Datenrepräsentationen) blickten, sahen sie eine klare Trennung.
- Der „Wert“-Schüler (DQN) wies eine hohe Ähnlichkeit zwischen Zuständen auf, die mathematisch symmetrisch waren (wie Spiegelbilder des Labyrinths).
- Der „Aktions“-Schüler (PPO) wies eine hohe Ähnlichkeit zwischen Zuständen auf, die die gleiche Bewegung erforderten, selbst wenn die Mathematik dahinter unterschiedlich war.

Es ist, als würden zwei Köche genau denselben Kuchen backen. Der eine Koch organisiert seine Küche nach Zutaten (Mehl, Zucker, Eier), während der andere sie nach Schritten organisiert (mischen, backen, glasieren). Beide Kuchen schmecken gleich, aber ihre interne Organisation ist völlig verschieden.

3. Warum ist das wichtig? (Der Transfer-Test)

Das Papier stellt die Frage: Spielt dieser Unterschied im „Denkstil“ eine Rolle, wenn der Schüler vor einem neuen Problem steht?

Das Experiment: Sie nahmen die Schüler, die auf einem Spiel (wie Breakout) trainiert wurden, und ließen sie ein neues, ähnliches Spiel (wie Pong) spielen.
Das Ergebnis: Der „Wert“-Schüler (DQN) war viel besser darin, seine Fähigkeiten auf das neue Spiel zu übertragen. Da er die tiefen, strukturellen Regeln der Umgebung (die „Symmetrien“) gelernt hatte, konnte er sich schnell anpassen.
Der „Aktions“-Schüler (PPO) hatte mehr Schwierigkeiten. Da er so sehr auf spezifische Bewegungen fokussiert war, fiel es ihm schwerer zu erkennen, dass das neue Spiel lediglich eine gedrehte oder gespiegelte Version des alten war.

Die Metapher: Wenn man jemandem das Autofahren beibringt, indem man spezifische Abbiegevorgänge auswendig lernt („Biege links bei der roten Scheune ab“), wird er sich vielleicht verlaufen, wenn die Scheune weg ist. Wenn man ihm jedoch die Prinzipien des Autofahrens und der Straßengeometrie beibringt, kann er mit einer neuen Stadt mit anderen Wahrzeichen umgehen. Der „Wert“-Schüler lernte die Prinzipien; der „Aktions“-Schüler lernte die Abbiegevorgänge auswendig.

4. Die „Chatbot“-Überraschung (Large Language Models)

Die Forscher testeten auch ein Large Language Model (LLM) – eine Art von KI, die Chatbots antreibt – bei derselben Labyrinth-Aufgabe. Sie haben den Chatbot nicht trainiert, sondern ihm lediglich eine Beschreibung des Labyrinths im Chat gegeben.

Die Erkenntnis: Der „Denkstil“ des Chatbots änderte sich je nachdem, wie das Labyrinth beschrieben wurde.
- Wenn das Labyrinth als einfache Liste von Verbindungen beschrieben wurde, agierte der Chatbot wie der „Aktions“-Schüler (fokussiert auf Bewegungen).
- Wenn das Labyrinth als visuelle ASCII-Art-Struktur (die die Struktur klar zeigt) dargestellt wurde, begann der Chatbot plötzlich wie der „Wert“-Schüler zu agieren und erkannte die tiefen Symmetrien.
Das Faz-sait: Im Gegensatz zu den festen KI-Schülern ist der Chatbot flexibel. Er kann den „Denkstil“ allein durch den Prompt (die Anweisung) wechseln.

Zusammenfassung

Das Papier kommt zu dem Schluss, dass die Art und Weise, wie eine KI lernt, bestimmt, wie sie die Welt sieht.

Wenn Sie eine KI wollen, die die tiefen, strukturellen Regeln einer Umgebung versteht (ideal, um sich an neue Situationen anzupassen), sollten Sie wertbasierte Methoden (wie DQN) verwenden.
Wenn Sie eine KI wollen, die hyperfokussiert auf die unmittelbare beste Bewegung ist, verwenden Sie möglicherweise politikbasierte Methoden (wie PPO).

Dies ist nicht nur Mathematik; es geht darum zu verstehen, dass zwei Systeme das exakt gleiche perfekte Ergebnis erzielen können, während sie völlig unterschiedliche interne Karten der Realität aufbauen. Dies hilft Wissenschaftlern zu verstehen, nicht nur wie KI funktioniert, sondern potenziell auch, wie Tiergehirne das Lernen je nach Zielsetzung unterschiedlich organisieren könnten.

Technisches Resümee: Aufgabeninduzierte Repräsentations-Invarianzen hängen vom Lernziel ab

Problemstellung

Obwohl Deep Reinforcement Learning (RL) in Bereichen von der Spielsteuerung bis hin zur Ausrichtung von Large Language Models (LLMs) bemerkenswerte Erfolge erzielt hat, bleibt das theoretische Verständnis der in diesen Modellen erlernten Repräsentationen begrenzt. Diese Lücke erschwert den direkten Vergleich zwischen Computermodellen und dem Lernen bei Tieren sowie die systematische Analyse der Kodierung von Aufgabenstrukturen. Insbesondere ist unklar, wie verschiedene RL-Algorithmen (z. B. wertbasierte vs. Policy-Gradient-Verfahren) Aufgaben-Symmetrien kodieren und ob diese unterschiedlichen Repräsentationen funktionale Konsequenzen für das Transferlernen haben.

Methodik

Die Autoren analysieren Deep-RL-Repräsentationen durch die Linse der MDP-Reduktionstheorie, wobei sie sich speziell auf Invarianzen gegenüber Symmetrien konzentrieren. Die Methodik umfasst:

Theoretischer Rahmen:
- MDP-Homomorphismus: Nutzung der Gruppentheorie zur Identifizierung von Symmetrien im Zustands-Aktions-Raum, bei denen Übergangs- und Belohnungsfunktionen unter spezifischen Transformationen (z. B. Spiegelung) invariant bleiben. Dies definiert eine „MDP-Symmetrie“.
- Policy-Symmetrie: Definition von Symmetrie basierend darauf, ob eine gegebene Policy dieselbe Aktion für verschiedene Zustände auswählt (optimale Policy-Symmetrie, $\pi^*$ ).
- Representational Similarity Analysis (RSA): Einsatz von RSA zum Vergleich der internen Repräsentationen verschiedener Algorithmen. Anstatt rohe Aktivierungen zu vergleichen, berechnen die Autoren eine Representation Similarity Matrix (RSM) basierend auf paarweisen Kosinus-Ähnlichkeiten zwischen Zustandsrepräsentationen. Sie messen die Ähnlichkeit spezifisch für Zustands-Paare, die unter dem MDP-Homomorphismus äquivalent sind, im Gegensatz zu jenen, die unter der Policy-Symmetrie äquivalent sind.
Experimentelle Domänen:
- Navigationsaufgabe: Ein Labyrinth-Gridworld (basierend auf Rosenberg et al.) mit bekannten MDP-Homomorphismen (Spiegelsymmetrie). Sowohl tabellarische als auch visuelle (CNN-basierte) Versionen wurden verwendet.
- Verglichene Algorithmen:
  - DQN: Eine wertbasierte Methode (lernt eine Value Function, um eine Policy abzuleiten).
  - PPO: Eine Policy-Gradient-Methode (optimiert direkt die Policy).
  - Deep SARSA(n): Ein Kontrollexperiment, das On-Policy trainiert wurde (wie PPO), aber wertbasiert ist (wie DQN), um das Lernziel von den Datenerfassungsstrategien zu isolieren.
- Komplexe Umgebungen: CartPole (kontinuierlich) und Pong (hochdimensional, Pixel) zur Testung der Generalisierung über exakt reduzierbare MDPs hinaus.
- Transferlernen: Experimente an Atari-Spielen (Breakout, SpaceInvaders, Pong), um zu testen, ob erlernte Symmetrien die Generalisierung auf neue Aufgaben unterstützen.
- LLM-Analyse: Aufforderung von Qwen2.5-72B-Instruct zur Lösung der Navigationsaufgabe unter Verwendung unterschiedlicher Eingabeformate (ASCII-Baum vs. Edge-Liste), um emergente Symmetrien im In-Context-Lernen zu beobachten.

Zentrale Beiträge

Objektabhängige Repräsentations-Invarianzen: Das Paper zeigt, dass das Lernziel systematisch die Art der kodierten Symmetrie bestimmt, selbst wenn Algorithmen dieselbe Aufgabe mit vergleichbarer Leistung lösen.
- Wertbasierte Methoden (DQN) lernen Repräsentationen, die invariant gegenüber MDP-Homomorphismus-Symmetrien (strukturellen Umgebungssymmetrien) sind.
- Policy-Gradient-Methoden (PPO) lernen Repräsentationen, die invariant gegenüber Aktions-Symmetrien (Zustände, die dieselbe optimale Aktion teilen) sind.
Kausale Isolation des Lernziels: Durch das Deep-SARSA(n)-Experiment zeigen die Autoren, dass die Divergenz in der Symmetrie-Kodierung durch das Lernziel (wertbasiert vs. Policy-Gradient) getrieben wird und nicht durch die Datenerfassungsstrategien (Off-Policy vs. On-Policy).
Konsequenzen für das Transferlernen: Das Paper liefert empirische Belege dafür, dass Repräsentationen, die MDP-Homomorphismen kodieren (DQN), das Transferlernen zwischen Atari-Aufgaben mit gemeinsamen Umgebungssymmetrien besser unterstützen als Repräsentationen, die Aktions-Symmetrien kodieren (PPO).
Prompt-Abhängigkeit bei LLMs: Die Studie zeigt, dass LLMs beide Arten von Symmetrien aufweisen können, die Emergenz der MDP-Homomorphismus-Symmetrie jedoch prompt-abhängig ist. Sie tritt auf, wenn die Aufgabenstruktur explizit beschrieben wird (ASCII-Baum), aber nicht, wenn sie über eine weniger strukturierte Edge-Liste beschrieben wird, im Gegensatz zur robusten Policy-Symmetrie, die in beiden Formaten beobachtet wurde.

Kernergebnisse

Navigationsaufgabe: In der Labyrinth-Aufgabe zeigte DQN eine hohe Repräsentationsähnlichkeit für MDP-symmetrische Zustands-Paare, aber eine geringe Ähnlichkeit für Zustände, die dieselbe optimale Aktion teilen. Im Gegensatz dazu zeigte PPO eine hohe Ähnlichkeit für aktions-äquivalente Zustände und eine geringe Ähnlichkeit für MDP-symmetrische Paare.
Generalisierung: Diese Dissoziation blieb in kontinuierlichen (CartPole) und hochdimensionalen (Pong) Umgebungen bestehen, wenngleich das MDP-Symmetrie-Signal in Pong schwächer war, was vermutlich auf die lokalen rezeptiven Felder in CNNs zurückzuführen ist.
Transferlernen: In Atari-Transfer-Experimenten (z. B. Breakout $\to$ Pong) zeigten DQN-Agenten (die MDP-Symmetrien kodieren) signifikante Leistungssteigerungen und Stabilität unter Beobachtungsrotationen. PPO-Agenten zeigten kaum oder gar keinen Transfervorteil und reagierten empfindlicher auf Transformationen der Beobachtung.
LLM-Ergebnisse: LLMs kodierten robust die Policy-Symmetrie unabhängig vom Prompt-Format. Die MDP-Homomorphismus-Symmetrie trat jedoch nur auf, wenn der Prompt die hierarchische Struktur explizit hervorhob (ASCII-Repräsentation), was darauf hindeutet, dass LLMs über eine Flexibilität in der Repräsentation verfügen, die trainierten RL-Algorithmen fehlt.

Bedeutung und Ansprüche

Die Autoren behaupten, dass diese Arbeit einen prinzipiierten Ansatz bietet, um gelernte Repräsentationen über verschiedene RL-Algorithmen hinweg mittels MDP-Reduktionstheorie zu vergleichen. Die Bedeutung liegt in:

Algorithmenwahl: Sie bieten eine theoretische Basis für die Wahl von RL-Algorithmen basierend auf nachgelagerten Zielen. Praktiker, die Repräsentationen suchen, die die Umweltstruktur für Transfer oder Generalisierung erfassen, bevorzugen möglicherweise wertbasierte Methoden, während diejenigen, die die Organisation auf Aktions-Ebene priorisieren, eher Policy-Gradient-Methoden bevorzugen könnten.
Neurowissenschaften: Bereitstellung eines Rahmens zur Untersuchung biologischer neuronaler Schaltkreise. Die Autoren schlagen vor, dass diese Pipeline auf neuronale Aufzeichnungen ausgeweitet werden kann, um zu bestimmen, ob biologische Gehirne bevorzugt MDP-ähnliche Aufgaben-Symmetrien oder Policy-ähnliche Aktions-Mappings kodieren.
LLM Post-Training: Hervorhebung, dass RLHF und andere Post-Training-Methoden die Repräsentationen von LLMs auf eine Weise verändern können, die die In-Context-Lernfähigkeiten beeinflusst, was potenziell Biases einführt, die ähnlich den beobachteten PPO-Transferfehlern sind.

Das Paper schließt bescheiden und räumt Einschränkungen ein, wie die Annahme einer Eins-zu-eins-Abbildung von Zustand zu Beobachtung (problematisch in POMDPs), die Verwendung spezifischer Ähnlichkeitsmetriken (Kosinus-Ähnlichkeit) und das Fehlen einer formalen Theorie, die vorhersagt, welche Symmetrien aus spezifischen algorithmischen Eigenschaften entstehen. Sie betrachten ihre Ergebnisse als eine erste empirische Charakterisierung und nicht als eine vollständige Theorie.