🤖 machine learning

Investigating Action Encodings in Recurrent Neural Networks in Reinforcement Learning

Dieser Artikel untersucht, wie verschiedene Methoden zur Integration von Aktionsinformationen in die Zustandsaktualisierungsfunktion rekurrenter neuronaler Netze die Leistung im Reinforcement Learning beeinflussen, und bietet empirische Auswertungen sowie eine Diskussion zukünftiger Gestaltungs-Herausforderungen.

Ursprüngliche Autoren: Matthew Schlegel, Volodymyr Tkachuk, Adam White, Martha White

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Matthew Schlegel, Volodymyr Tkachuk, Adam White, Martha White

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, ein dunkles, verwirrendes Labyrinth zu navigieren. Der Roboter kann die gesamte Karte nicht sehen; er erhält nur winzige, unscharfe Einblicke in die Wände direkt vor ihm. Um gute Entscheidungen zu treffen, benötigt der Roboter ein „Gedächtnis", das sich daran erinnert, wo er gewesen ist und was er gerade getan hat. In der Welt der Künstlichen Intelligenz wird dieses Gedächtnissystem als Recurrent Neural Network (RNN) bezeichnet.

Dieser Artikel ist wie eine Mechanikeranleitung für dieses Gedächtnissystem. Die Autoren stellten eine einfache, aber entscheidende Frage: Wie sollte das Gedächtnissystem des Roboters auf die eigenen Aktionen des Roboters „hören"?

Wenn sich der Roboter bewegt (z. B. „Links abbiegen"), verändert diese Aktion die Welt. Das Gedächtnissystem muss sich basierend auf dieser Bewegung aktualisieren. Der Artikel testet verschiedene Möglichkeiten, diese Information „Links abbiegen" in das Gedächtnis einzuspeisen.

Hier sind die drei Hauptmethoden, die sie getestet haben, erläutert mit Analogien:

1. Der „Additive" Ansatz (Der Stapel Papier)

Stellen Sie sich Ihr Gedächtnis als einen Stapel Papier vor. Wenn Sie eine Aktion ausführen, fügen Sie einfach einen neuen Haftnotiz auf den Stapel, auf der steht: „Ich habe links abgebogen."

Wie es funktioniert: Der Computer klebt die Aktionsinformation einfach neben die Beobachtungsinformation und schiebt sie in das Gedächtnis.
Das Ergebnis: Es funktioniert einigermaßen, ist aber etwas ungeschickt. Das Gedächtnis wird unübersichtlich, und es hat manchmal Schwierigkeiten, die genaue Abfolge der Ereignisse zu behalten, insbesondere wenn das Labyrinth lang ist.

2. Der „Multiplikative" Ansatz (Der spezialisierte Filter)

Stellen Sie sich nun vor, Ihr Gedächtnis ist nicht nur ein Stapel Papier, sondern ein intelligenter Filter. Wenn Sie eine Aktion ausführen, fügt das Gedächtnis nicht nur eine Notiz hinzu; es verformt das gesamte Gedächtnis basierend auf dieser Aktion.

Wie es funktioniert: Wenn Sie „Links abbiegen", verändert das Gedächtnissystem aktiv, wie es die Vergangenheit verarbeitet. Es ist, als würde man sagen: „Weil ich links abgebogen bin, muss der Flur, in dem ich davor war, anders ausgesehen haben als wenn ich geradeaus gegangen wäre." Es multipliziert die Aktion mit dem Gedächtnis und schafft ein dynamisches, sich veränderndes Verständnis der Vergangenheit.
Das Ergebnis: Dies war in fast jedem Test der Gewinner. Der Roboter lernte schneller, machte weniger Fehler und konnte viel längere, schwierigere Labyrinthe navigieren als die „Additive" Version. Es war, als hätte der Roboter plötzlich ein sechstes Sinnesorgan dafür gewonnen, wie seine Aktionen die Welt verändern.

3. Der „Keine Aktion"-Ansatz (Der Amnesiker)

Dies ist die Kontrollgruppe. Der Roboter versucht, sich an das Labyrinth zu erinnern, ignoriert aber, was er gerade getan hat.

Das Ergebnis: Wie Sie sich vorstellen können, schnitt dies am schlechtesten ab. Ohne zu wissen, welche Bewegung er gerade gemacht hat, war der Roboter oft verwirrt und verirrte sich leicht.

Das „Geheimrezept": Warum Multiplikation gewinnt

Die Autoren fanden heraus, dass die „Multiplikative" Methode überlegen ist, weil sie die Aktionen des Roboters als aktive Zutaten behandelt und nicht nur als zusätzliche Daten.

Analogie: Stellen Sie sich vor, Sie backen einen Kuchen.
- Additiv: Sie geben Mehl, Zucker und Eier in eine Schüssel und rühren sie einfach zusammen. Sie liegen nebeneinander.
- Multiplikativ: Sie mischen die Zutaten so, dass sie chemisch reagieren. Das Mehl verändert sich wegen der Eier; der Zucker verändert sich wegen der Hitze. Das Ergebnis ist eine neue Substanz (der Kuchen), die grundlegend anders ist als die Summe ihrer Teile.
Im Gehirn des Roboters ermöglicht die „Multiplikative" Methode dem Gedächtnis zu verstehen, dass Aktion A die Bedeutung von Beobachtung B auf eine Weise verändert, die Aktion C nicht tun würde.

Die Experimente (Die Probefahrten)

Die Autoren testeten diese Methoden in mehreren „Labyrinthen":

Ring World: Eine einfache kreisförmige Strecke. Der Multiplikative Roboter lernte die Strecke perfekt und benötigte sehr wenig „Trainingszeit" (Trunkierung), um sie richtig zu beherrschen. Der Additive Roboter hatte Schwierigkeiten, den Überblick darüber zu behalten, wo er war.
TMaze: Ein langer Flur mit einer T-Kreuzung am Ende. Der Roboter musste einen Hinweis vom Anfang des Flurs merken, um zu wissen, in welche Richtung er am Ende abbiegen musste. Der Multiplikative Roboter löste dies mühelos. Der Additive Roboter vergaß den Hinweis oft.
Directional TMaze: Eine schwierigere Version, bei der die Ausrichtung des Roboters wichtig ist. Hier versagte der Additive Roboter vollständig, während der Multiplikative Roboter erfolgreich war.
Lunar Lander: Eine komplexe, videospieleähnliche Umgebung, in der ein Roboter auf dem Mond landen muss. Der Multiplikative Roboter lernte, viel schneller und zuverlässiger zu landen als die anderen.

Die große Erkenntnis

Der Artikel kommt zu dem Schluss, dass wie man das Gedächtnis des Roboters gestaltet, wichtiger ist als gedacht.

Viele KI-Forscher haben die „Additive" Methode verwendet (Daten einfach zusammenzukleben), weil dies die Standardweise ist, wie Computer Daten verarbeiten. Dieser Artikel zeigt, dass für Roboter, die lernen, in der realen Welt zu handeln, die „Multiplikative" Methode (Gedächtnis basierend auf Aktion verformen) eine viel bessere Passform ist. Es ist wie ein Upgrade von einem einfachen Notizblock zu einem dynamischen, denkenden Notizbuch, das Ursache und Wirkung versteht.

Kurz gesagt: Wenn Sie wollen, dass ein Roboter aus seinen Fehlern und Aktionen lernt, sagen Sie ihm nicht nur, was er getan hat; lehren Sie sein Gedächtnis, auf das, was es getan hat, zu reagieren. Der „Multiplikative" Ansatz macht genau das.

Technische Zusammenfassung: Untersuchung von Aktionskodierungen in rekurrenten neuronalen Netzen im Reinforcement Learning

Problemstellung

Der Einsatz von Reinforcement-Learning-(RL-)Agenten in realen, teilweise beobachtbaren Umgebungen erfordert die Fähigkeit, eine Zustandsrepräsentation aufzubauen und zu erhalten, die als hinreichende Statistik der Vergangenheit dient. Obwohl Rekurrente Neuronale Netze (RNNs) ein Standardwerkzeug zur Modellierung zeitlicher Abhängigkeiten sind, beinhaltet ihre Anwendung im RL kritische Designentscheidungen, die in der Literatur oft übersehen werden. Insbesondere adressiert das Papier die Strategie, wie Aktionsinformationen in die Zustandsupdate-Funktion des RNNs integriert werden. Die Autoren stellen fest, dass die Aktion zwar eine fundamentale Rolle bei der Wahrnehmung und Zustandskonstruktion spielt (unter Bezugnahme auf Noë, 2004; Prinz, 1990; Clark, 2013), viele bestehende RL-Implementierungen jedoch entweder Aktionsinputs weglassen oder diese durch einfache Konkatenation einbinden, ohne die Konsequenzen rigoros zu analysieren. Das Kernproblem besteht darin, zu bestimmen, wie der Mechanismus der Aktionskodierung (additiv vs. multiplikativ) die Fähigkeit eines Agenten beeinflusst, Wertfunktionen vorherzusagen und Kontrollpolitiken in teilweise beobachtbaren Markov-Entscheidungsprozessen (POMDPs) zu erlernen.

Methodik

Die Autoren formalisieren die Interaktion zwischen Agent und Umgebung als POMDP und bewerten verschiedene RNN-Architekturen, die darauf ausgelegt sind, den versteckten Zustand $s_t$ basierend auf der Beobachtung $o_t$ , der vorherigen Aktion $a_{t-1}$ und dem vorherigen Zustand $s_{t-1}$ zu aktualisieren. Die Studie konzentriert sich auf zwei Hauptkategorien der Aktionsintegration:

Additive Kodierungen:
- Standard-Additiv: Das Aktions-Embedding wird mit dem Beobachtungsvektor konkateniert, bevor es von der rekurrenten Zelle verarbeitet wird (z. B. $s_t = \sigma(W_x x_t + W_a a_{t-1} + b)$ ).
- Tief-Additiv: Die Aktion wird durch ein feed-forward neuronales Netz ( $f_a$ ) geleitet, um ein Embedding zu erzeugen, bevor es mit der Beobachtung konkateniert wird.
Multiplikative Kodierungen:
- Multiplikativ (Zweiter Ordnung): Inspiriert von RNNs zweiter Ordnung, nutzt dieser Ansatz ein Tensorprodukt zur Integration von Beobachtung, Zustand und Aktion. Die Update-Regel beinhaltet einen Gewichtstensor $W$ und $n$ -Modus-Produkte: $s_t = \sigma(W \times_2 x_t \times_3 a_{t-1})$ .
- Faktorisierter Multiplikativ: Um die hohe Parameteranzahl von vollrangigen multiplikativen Updates zu mindern, verwenden die Autoren eine Niedrigrang-Approximation mittels der kanonischen polyadischen (CP) Zerlegung. Dies faktorisiert den Tensor in eine Summe von Rang-1-Komponenten, reduziert die Parameterzahl und versucht gleichzeitig, die Vorteile multiplikativer Interaktion beizubehalten.

Die Experimente nutzen sowohl Standard-RNNs als auch Gated Recurrent Units (GRUs). Die Autoren setzen off-policy semi-gradient TD(0) für die Vorhersage (unter Verwendung von General Value Functions) und Q-Learning mit $\epsilon$ -greedy-Exploration für die Kontrolle ein. Um die Stichprobeneffizienz zu verbessern, integrieren sie Experience Replay (ER), wobei versteckte Zustände im Replay-Puffer gespeichert werden, um Sequenzen während des Samplings zu initialisieren.

Experimenteller Aufbau

Die Autoren bewerten diese Architekturen in mehreren illustrativen Domänen mit unterschiedlichen Beobachtungstypen und Dynamiken:

Ring World: Eine zyklische Umgebung, in der der Agent die Distanz zu einem aktiven Bit verfolgen muss. Dient zum Testen von Vorhersagefähigkeiten und der Empfindlichkeit gegenüber Trunkierungslängen.
TMaze: Eine klassische Korridorumgebung mit einer T-Kreuzung. Dient zum Testen von Kontrollfähigkeiten, bei denen die Relevanz der Aktion gering ist (nur Ost/West-Aktionen beeinflussen die Position signifikant).
Richtungs-TMaze: Eine modifizierte TMaze, bei der die Orientierung des Agents Teil des Zustands ist, was die Aktion für die Interpretation von Beobachtungen kritisch macht.
Bild-Richtungs-TMaze: Eine Erweiterung mit pixelbasierten Beobachtungen (MNIST-Ziffern), um die Leistung mit tiefen Merkmalsextraktoren zu testen.
Lunar Lander: Eine teilweise beobachtbare Version der OpenAI-Gym-Umgebung, um die Leistung in einem kontinuierlichen Kontrollsetting mit Sensorrauschen zu testen.

Schlüsselergebnisse

Die empirische Evaluation ergibt mehrere deutliche Befunde bezüglich der Wirksamkeit von Aktionskodierungen:

Überlegenheit multiplikativer Updates: In Domänen, in denen Aktionen die zugrunde liegende Zustandsdynamik kritisch beeinflussen (z. B. Ring World, Richtungs-TMaze, Lunar Lander), übertrifft das multiplikative Update konsistent additive und actions-freie Varianten. Die multiplikative Architektur erzielt einen niedrigeren Root Mean Squared Value Error (RMSVE) bei Vorhersageaufgaben und höhere Erfolgsraten bei Kontrollaufgaben, wobei oft kürzere Trunkierungslängen ( $\tau$ ) für ein effektives Lernen erforderlich sind.
Kontextabhängige Leistung: Im Standard-TMaze, wo die Aktionsrelevanz auf spezifische Übergänge beschränkt ist, übertrifft die multiplikative Variante andere Methoden nicht strikt; in einigen Fällen schnitten Standard-GRUs ohne Aktionsinputs vergleichbar oder besser ab. Dies legt nahe, dass der Nutzen komplexer Aktionskodierung an die spezifische Abhängigkeit zwischen Aktionen und Zustandsübergängen gebunden ist.
Parametereffizienz: Obwohl vollrangige multiplikative Updates deutlich mehr Parameter als additive haben, erreichen faktorisierte (niedrigrangige) multiplikative Varianten oft vergleichbare Leistung mit weniger Parametern, obwohl sie im Allgemeinen hinter der vollrangigen multiplikativen Version zurückbleiben.
Analyse der Zustandsrepräsentation: T-SNE-Visualisierungen der gelernten versteckten Zustände zeigen, dass multiplikative Zellen versteckte Zustände effektiver nach dem zugrunde liegenden Umgebungszustand clustern als additive Zellen. Additive Zellen neigen dazu, Zustände basierend auf der vorherigen Aktion übermäßig zu segregieren, während multiplikative Zellen trotz Aktionsvariationen eine kohärentere Repräsentation des Umgebungszustands beibehalten.
Limitationen von Tief-Additiv: Die „Tief-Additiv"-Variante, die ein Aktions-Embedding lernt, performte im Allgemeinen ähnlich oder schlechter als der Standard-Additiv-Ansatz, was darauf hindeutet, dass das Erlernen des Embeddings von Grund auf die strukturellen Limitationen des additiven Updates nicht überwindet.

Bedeutung und Behauptungen

Das Papier behauptet, dass die Wahl, wie Aktionen in die Zustandsupdate-Funktion integriert werden, eine kritische, oft übersehene Designentscheidung ist, die die Leistung von RL-Agenten erheblich beeinflusst. Die Autoren argumentieren, dass:

Annahmen des überwachten Lernens möglicherweise nicht übertragbar sind: Architekturen und Designentscheidungen, die im überwachten Lernen erfolgreich sind (wie einfache Konkatenation), sind möglicherweise nicht optimal für das RL-Setting, in dem der Agent seine eigene Agency auf dem Datenstrom modellieren muss.
Multiplikative Interaktionen sind vorteilhaft: Für Aufgaben, bei denen der Agent verfolgen muss, wie Aktionen den Zustand verändern (häufig in teilweise beobachtbarer Kontrolle), bieten multiplikative Updates eine strukturelle induktive Verzerrung, die eine bessere Zustandskonstruktion und schnelleres Lernen ermöglicht.
Bedarf an spezialisierten RL-Architekturen: Die Ergebnisse verdeutlichen eine Lücke in der aktuellen RL-Forschung und legen nahe, dass „fertige" RNNs aus überwachten Domänen unzureichend sind. Das Papier fordert zukünftige Arbeiten zur Entwicklung rekurrenter Zellen, die speziell für die einzigartigen Herausforderungen der Online-, aktiven Datensammlung im RL konzipiert sind, wie z. B. der Umgang mit langen zeitlichen Abhängigkeiten ohne ausschließliche reliance auf truncated Backpropagation Through Time (BPTT).

Die Autoren schließen, dass multiplikative Updates zwar in den getesteten Domänen als „klarer Gewinner" erscheinen, die optimale Architektur jedoch domänenspezifisch ist und zukünftige Systeme von Mechanismen profitieren könnten, die die geeignete strukturelle Verzerrung dynamisch lernen oder auswählen können.