📊 statistics

Informed Asymmetric Actor-Critic: Leveraging Privileged Signals Beyond Full-State Access

Dieses Paper führt das Informed Asymmetric Actor-Critic-Framework ein, welches asymmetrisches Reinforcement Learning erweitert, indem es den Critics ermöglicht, während des Trainings beliebige zustandsabhängige privilegierte Signale zu nutzen, und schlägt neuartige Kriterien vor, um die informativsten Signale auszuwählen, die es Policys ermöglichen, Full-State-Baselines zu erreichen oder zu übertreffen, während sie sich auf strikt weniger Zustandsinformationen verlassen.

Ursprüngliche Autoren: Daniel Ebi, Damien Ernst, Klemens Böhm, Gaspard Lambrechts

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Daniel Ebi, Damien Ernst, Klemens Böhm, Gaspard Lambrechts

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Videospiel zu spielen. In einer perfekten Welt hätte der Roboter eine „Gottesperspektive“ – er sähe die gesamte Karte, wüsste genau, wo jeder Gegner ist, und verstünde die verborgenen Regeln des Spiels. Dies nennt man den Zugriff auf den vollen Zustand (full state access).

In der realen Welt sind Roboter (und KI-Agenten) jedoch oft wie Spieler, die eine Augenbinde tragen oder durch ein schmales Schlüsselloch blicken. Sie sehen immer nur einen winzigen Ausschnitt der Welt zu einem bestimmten Zeitpunkt. Dies nennt man partielle Beobachtbarkeit (partial observability). Um gut spielen zu können, müssen sie sich daran erinnern, was sie vor ein paar Sekunden gesehen haben, um zu erraten, was gerade passiert.

Das Problem: Der „Lehrer“ vs. der „Schüler“

Traditionell versuchen wir, diese Roboter mit nur den begrenzten Informationen zu trainieren, die ihnen bei der tatsächlichen Anwendung zur Verfügung stehen werden (der „Schüler“). Aber das ist schwierig. Der Roboter wird verwirrt, weil er nicht genügend Anhaltspunkte hat, um den besten Zug zu bestimmen.

Einige Forscher versuchten einen cleveren Trick namens Asymmetrischer Actor-Critic. Stellen Sie sich eine Trainingseinheit vor, in der:

Der Schüler (Actor): Der Roboter, der das Spiel tatsächlich spielen wird. Er sieht nur die begrenzte Sicht (die Augenbinde).
Der Lehrer (Critic): Ein Coach, der direkt neben dem Roboter steht und die gesamte Karte sehen kann. Der Lehrer hilft dem Schüler beim Lernen, indem er sagt: „Das war ein guter Zug, weil ich den Gegner hinter dir gesehen habe“, obwohl der Schüler den Gegner nicht gesehen hat.

Das Problem mit bisherigen Methoden war, dass sie davon ausgingen, dass der Lehrer den gesamten Zustand der Welt (jeden einzelnen Pixel, jede verborgene Variable) sehen muss, um hilfreich zu sein. Aber in der Realität ist das Erhalten einer solchen vollständigen Sicht oft unmöglich oder zu kostspielig. Vielleicht haben Sie nur einen Sensor, der die Temperatur misst, oder eine Kamera, die eine Ecke des Raumes sieht. Sie haben nicht den „vollen Zustand“, aber Sie haben etwas zusätzliche Information.

Die Lösung: Der „informierte“ Lehrer

Dieses Paper stellt ein neues Framework namens Informed Asymmetric Actor-Critic vor.

Stellen Sie es sich so vor: Sie brauchen keinen Lehrer, der das gesamte Universum sieht, um Ihnen beim Lernen zu helfen. Sie brauchen nur einen Lehrer, der über irgendein zusätzliches Stück Information verfügt, das für das Spiel relevant ist, selbst wenn es nur ein winziger Hinweis ist.

Die Autoren beweisen mathematisch:

Es ist sicher: Sie können dem Lehrer jedes beliebige zusätzliche Signal geben (wie eine Temperaturmessung, eine Teilkarte oder einen Hinweis aus einem Simulator), und es wird den Schüler nicht verwirren. Das Lernen bleibt fair und präzise.
Es funktioniert: Selbst wenn der Lehrer nicht das ganze Bild sieht, hilft es dem Schüler bereits, wenn der Lehrer über einige zusätzliche Hinweise verfügt, um schneller und besser zu lernen als wenn der Lehrer gar keine zusätzlichen Hinweise hätte.

Die große Frage: Welche Hinweise zählen?

Wenn Sie dem Lehrer jedes beliebige zusätzliche Signal geben können, woher wissen Sie dann, welche davon tatsächlich nützlich sind? Dem Lehrer ein Signal zu geben, das nur aus zufälligem Rauschen besteht (wie die Farbe des Himmels in einem Videospiel), wird nicht helfen.

Das Paper schlägt zwei einfache „Tests“ vor, um herauszufinden, welche Signale die „goldenen Tickets“ sind:

Der „Residuen“-Test (Der Detektiv): Bevor Sie überhaupt mit dem Training beginnen, können Sie die Daten analysieren und fragen: „Sagt mir dieses zusätzliche Signal etwas über den zukünftigen Punktestand, das ich nicht bereits aus der Historie des Spiels ableiten kann?“ Wenn die Antwort „Ja“ lautet, ist es ein gutes Signal. Es ist wie ein Detektiv, der prüft, ob ein neuer Zeuge Informationen besitzt, die nicht bereits im Polizeibericht stehen.
Der „Vorhersage“-Test (Der Punktezähler): Nachdem Sie versucht haben, mit einem Signal zu trainieren, prüfen Sie: „Sind die Vorhersagen des Lehrers über den Punktestand aufgrund dieses Signals genauer geworden?“ Wenn der Lehrer den Punktestand mit dem Signal besser errät als ohne es, ist es ein nützliches Signal.

Die Ergebnisse

Die Autoren haben dies an verschiedenen „Spielen“ getestet (simulierte Umgebungen wie das Navigieren durch Labyrinthe oder das Balancieren von Stangen). Sie fanden heraus:

Ein Lehrer mit einem sorgfältig ausgewählten partiellen Signal (z. B. nur das Wissen über die Entfernung zu einem Ziel) konnte genauso gut oder sogar besser abschneiden als ein Lehrer mit dem vollen Zustand (der alles sieht).
Manchmal führte die Gabe von zu viel Information (einschließlich irrelevanter Störsignale) sogar zu schlechteren Ergebnissen. Es ist, als würde man einem Schüler ein Lehrbuch geben, das sowohl die Lösungsschlüssel als auch 500 Seiten unzusammenhängender Geschichte enthält; der Schüler lässt sich ablenken.
Durch die Verwendung ihrer beiden Tests zur Auswahl der richtigen Signale konnten sie Roboter trainieren, die intelligenter sind, ohne dass perfekte Sensoren für den vollen Zustand erforderlich waren.

Das Fazit

Man braucht keine Kristallkugel, um eine KI klug zu machen. Man muss nur die richtigen Hinweise finden. Dieses Paper liefert uns einen Weg, diese Hinweise zu finden und Roboter zu trainieren, die effektiv lernen können, selbst wenn sie nur einen Bruchteil der Welt wahrnehmen.

Technisches Resümee: Informed Asymmetric Actor-Critic

Problemstellung

Reinforcement Learning (RL) in teilweise beobachtbaren Umgebungen wird typischerweise als Partially Observable Markov Decision Processes (POMDPs) formalisiert, bei denen Agenten Entscheidungen basierend auf unvollständigen und verrauschten Beobachtungshistorien treffen müssen. Während Standard-RL-Methoden dies dadurch adaptieren, dass sie geschichtensequenzabhängige Policies erlernen (oft unter Verwendung von Rekurrenten Neuronalen Netzen), setzen sie voraus, dass die Beobachtbarkeit während des Trainings und der Ausführung identisch ist. Diese Annahme ist oft unnötig restriktiv, da viele Trainingsumgebungen (z. B. Simulatoren) über zusätzliche „privilegierte“ Informationen verfügen können – wie etwa den Zugriff auf den vollen Zustand, Experten-Policies oder Multi-View-Sensorik –, die während der Anwendung nicht verfügbar sind.

Bestehende asymmetrische Actor-Critic-Methoden versuchen, diese privilegierten Informationen zu nutzen, indem sie den Critic auf den vollen Zustand konditionieren, während der Actor sich auf die Beobachtungen stützt. Diese Ansätze setzen jedoch im Allgemeinen voraus, dass während des Trainings Zugriff auf den vollständigen Umgebungszustand besteht. Diese Anforderung ist in der Praxis oft unrealistisch, da lediglich teilweise oder beliebige zustandsabhängige Signale verfügbar sein können. Darüber hinaus wurde die theoretische Rechtfertigung für die Verwendung beliebiger privilegierter Signale (über den vollen Zustand hinaus) in asymmetrischen Settings bisher wenig untersucht, was eine Lücke im Verständnis hinterlässt, wie solche Signale effektiv ausgewählt und genutzt werden können, ohne einen Bias in den Policy-Gradienten zu erzeugen.

Methodik

Das Informed Asymmetric Actor-Critic (IAAC) Framework

Die Autoren führen das Informed Asymmetric Actor-Critic (IAAC) Framework ein, welches asymmetrische Actor-Critic-Methoden generalisiert, um den Critic während des Trainings auf beliebige zustandsabhängige privilegierte Signale ( $i_t$ ) zu konditionieren, anstatt den Zugriff auf den vollen Zustand ( $s_t$ ) vorauszusetzen.

Informed POMDP Formalismus: Aufbauend auf dem Konzept der „Informed POMDPs“ definieren die Autoren ein Framework, in dem während des Trainings eine Informationsvariable $i_t$ zur Verfügung steht. Die Beobachtung $o_t$ ist unter der Bedingung von $i_t$ bedingt unabhängig vom wahren Zustand $s_t$ . Dies ermöglicht es dem Critic, auf $i_t$ zuzugreifen, während der Actor auf die Historie von Beobachtungen und Aktionen ( $h_t$ ) beschränkt bleibt.
Informed History-Based Value Functions: Die Autoren definieren eine informierte geschichtensequenzbasierte Q-Funktion, $Q^\pi(h_t, i_t, a_t)$ , und eine entsprechende Value-Funktion, $V^\pi(h_t, i_t)$ . Diese Funktionen sind auf das privilegierte Signal $i_t$ konditioniert, aber es wird bewiesen, dass sie unverzerrte Schätzer (unbiased estimators) der standardmäßigen geschichtensequenzbasierten Gegenstücke ( $Q^\pi(h_t, a_t)$ und $V^\pi(h_t)$ ) sind.
Unbiased Policy Gradient: Ein zentraler theoretischer Beitrag ist Theorem 3.1, welches beweist, dass der mit dem informierten Critic (konditioniert auf $i_t$ ) berechnete Policy-Gradient äquivalent zum Standard-Policy-Gradienten ist. Speziell gilt für jede Wahl eines zustandsbedingten Signals $i_t$ , dass der informierte asymmetrische Policy-Gradient mit dem Standard-Gradienten übereinstimmt:
$\nabla^{IAAC}_\theta J(\pi_\theta) = \nabla_\theta J(\pi_\theta)$
Dieses Ergebnis gilt, ohne dass die POMDP zusätzliche Annahmen wie die Zustands-Dekodierbarkeit erfüllen muss. Es impliziert, dass die Verwendung privilegierter Signale die Varianz der Wertschätzungen reduziert (durch Disambiguierung der Zustände), ohne die Optimierungsrichtung zu verzerren.

Kriterien der Informativität zur Signalauswahl

Da jedes zustandsbedingte Signal unverzerrte Gradienten liefert, verschiebt sich die Herausforderung hin zur Auswahl der informativsten Signale. Die Arbeit schlägt zwei neuartige Kriterien vor, um den Nutzen eines privilegierten Signals $i_t$ hinsichtlich der Value-Estimation zu bewerten:

$\alpha$ -Residual Informativeness (Pre-training): Dieses Kriterium testet, ob $i_t$ Informationen über zukünftige Erträge ( $G_t$ ) liefert, die über das bereits in der beobachtbaren Historie-Aktions-Paar $(h_t, a_t)$ kodierte Wissen hinausgehen. Es umfasst:
- Schätzung der bedingten Mittelwerte $E[G_t|h_t, a_t]$ und $E[i_t|h_t, a_t]$ mittels Regressionsmodellen (z. B. Random Forests oder RNNs).
- Berechnung der Residuen $e_{G_t}$ und $e_{i_t}$ .
- Test auf statistische Abhängigkeit zwischen diesen Residuen unter Verwendung eines Maßes wie dem Hilbert-Schmidt Independence Criterion (HSIC).
- Wird die Nullhypothese der Unabhängigkeit abgelehnt, gilt das Signal als informativ. Dieser Test kann auf Daten durchgeführt werden, die von einer beliebigen explorativen Policy (z. B. Random) gesammelt wurden, bevor das Training des Actors beginnt.
$(\epsilon, \delta)$ -Prediction Informativeness (Post-hoc): Dieses Kriterium evaluiert, ob die Einbeziehung von $i_t$ die Vorhersagegenauigkeit der Value-Funktion verbessert. Es vergleicht den quadratischen Fehler eines symmetrischen Critics (der nur $h_t$ nutzt) mit einem informierten Critic (der $h_t$ und $i_t$ nutzt). Wenn die Einbeziehung von $i_t$ eine statistisch signifikante Reduktion des Vorhersagefehlers (positiver Gewinn) bewirkt, wird das Signal als informativ eingestuft.

Wichtigste Ergebnisse

Benchmark-Leistung

Die Autoren evaluierten IAAC auf 12 teilweis beobachtbaren Benchmarks (6 Navigationsaufgaben aus Baisero & Amato, 2022, und 6 aus der POPGym-Suite).

Performance: Der Informed Asymmetric Actor-Critic übertraf konsistent symmetrische Baselines (A2C) oder entsprach diesen, und übertraf oft auch asymmetrische Baselines, die auf den vollen Zustand zugreifen (asym-A2C-hs).
Effizienz: In mehreren Umgebungen (z. B. Car-Flag, Shopping-5) konvergierte die Methode schneller und erreichte höhere asymptotische Erträge als Full-State-asymmetrische Varianten, obwohl sie streng weniger Zustandsinformationen nutzte.
Stabilität: Die Methode zeigte eine größere Trainingsstabilität im Vergleich zu symmetrischen Ansätzen, die in hochdimensionalen oder teilweise beobachtbaren Settings gelegentlich Leistungseinbußen oder Konvergenzprobleme aufwiesen.

Validierung der Informativitätskriterien

Unter Verwendung synthetischer informierter POMDPs mit bekannten Belohnungsstrukturen validierten die Autoren ihre Auswahlkriterien:

Korrelation mit der Performance: Signale, die Merkmale enthalten, welche direkt mit der Belohnung relevant sind (z. B. spezifische Zustandsdimensionen, die die Belohnung bestimmen), wurden von beiden Kriterien konsistent als informativ identifiziert.
Redundanzdetektion: Signale, die nur redundante oder irrelevante Merkmale enthielten, wurden korrekt als uninformativ identifiziert.
Full State vs. Informative Subsets: Die Experimente zeigten, dass der Zugriff auf den vollen Zustand nicht immer die beste Performance liefert, wenn der Zustand verrauschte oder irrelevante Merkmale enthält. Sorgfältig ausgewählte Teilmengen privilegierter Signale konnten Full-State-Baselines übertreffen.
Robustheit: Die Kriterien blieben auch unter verrauschten Beobachtungsbedingungen effektiv und ordneten Signale basierend auf ihrer Fähigkeit, die Varianz der Erträge zu erklären, korrekt ein.

Bedeutung und Ansprüche

Das Paper beansprucht, das Paradigma des asymmetrischen Reinforcement Learnings von einem Fokus auf den Zugriff auf den vollen Zustandsraum hin zur Auswahl informativer Signale während der Trainingszeit zu verschieben.

Theoretische Generalisierung: Die Arbeit liefert die erste theoretische Rechtfertigung für die Verwendung beliebiger zustandsbedingter privilegierter Signale in asymmetrischen Actor-Critic-Methoden, indem bewiesen wird, dass deren Nutzung unverzerrte Policy-Gradienten bewahrt. Dies generalisiert vorangegangene Arbeiten (z. B. Baisero & Amato, 2022), die auf Full-State-Critics beschränkt waren.
Praktischer Nutzen: Durch den Nachweis, dass sorgfältig ausgewählte partielle Signale die Full-State-Performance erreichen oder sogar übertreffen können, stellt die Arbeit die Annahme in Frage, dass der Zugriff auf den vollen Zustand für effektives asymmetrisches Lernen essenziell ist.
Systematische Auswahl: Die Einführung datengesteuerter Kriterien zur Signalauswahl bietet einen prinzipiierten Ansatz zum Umgang mit dem „Fluch der Dimensionalität“ bei privilegierten Informationen, wodurch Praktiker in der Lage sind, nützliche Hilfssignale ohne manuelles Feature-Engineering zu identifizieren.

Die Autoren kommen zu dem Schluss, dass ihr Framework neue Wege eröffnet, um die Auswahl, Bewertung und Integration privilegierter Informationen zu untersuchen, um das Lernen in teilweise beobachtbaren Umgebungen zu erleichtern. Sie merken an, dass zukünftige Arbeiten die end-to-end Signalauswahl und die Integration der Signalkomplexität in den Lernprozess untersuchen könnten.