🤖 machine learning

Intrinsic Vicarious Conditioning for Deep Reinforcement Learning

Dieser Artikel stellt die intrinsische vicariöse Konditionierung vor, einen speicherbasierten intrinsischen Belohnungsmechanismus, der von der psychologischen Literatur inspiriert ist und es Deep-Reinforcement-Learning-Agenten ermöglicht, aus Demonstrationen zu lernen, ohne Zugriff auf deren Policies oder Belohnungsfunktionen zu haben, wodurch das Lernen mit wenigen Beispielen und das kontinuierliche Lernen in Umgebungen mit spärlichen oder nicht beschreibenden Endbedingungen erleichtert wird.

Ursprüngliche Autoren: Rodney A Sanchez, Ferat Sahin, Alex Ororbia, Jamison Heard

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rodney A Sanchez, Ferat Sahin, Alex Ororbia, Jamison Heard

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, einen belebten Bürgersteig entlangzugehen. Beim traditionellen Robotlernen muss der Roboter versuchen zu gehen, hinfallen, von einer Computerscore-Bewertung „bestraft" werden, wieder aufstehen und es erneut versuchen. Er muss durch Versuch und Irrtum lernen. Doch was bedeutet es, wenn das Hinfallen bedeutet, dass der Roboter für immer kaputtgeht (ein „Single-Life"-Szenario)? Er kann es sich nicht leisten, durch Abstürze zu lernen.

Dieser Artikel stellt eine neue Methode vor, mit der Roboter lernen können, die als Intrinsische Vikariierende Konditionierung bezeichnet wird. Anstatt durch Abstürze zu lernen, lernt der Roboter, indem er jemand anderen beobachtet und eine „Bauchreaktion" auf der Grundlage dessen entwickelt, was ihm widerfahren ist.

So funktioniert es, aufgeschlüsselt in einfache Konzepte und Analogien:

Die Kernidee: Lernen aus dem Fehler eines Freundes

Stellen Sie sich ein Kind vor, das beobachtet, wie sein Elternteil eine heiße Herdplatte berührt. Das Kind berührt die Herdplatte nicht selbst. Stattdessen sieht es, wie der Elternteil die Hand zurückzieht, und hört ein Schmerzensschreien. Das Kind lernt sofort: „Heiße Herdplatte = schlecht", ohne jemals verbrannt zu werden.

In der Welt des Reinforcement Learning (wo KI durch Punkte für gute Aktionen lernt) ist dies normalerweise schwierig. Die meisten KI-Methoden erfordern, dass der Roboter die exakten Bewegungen sieht, die der Experte gemacht hat, oder die exakte Mathematik hinter der Bewertung des Experten kennt. Diese neue Methode sagt: „Wir brauchen weder das Spielbuch des Experten noch seine Punktekarte. Wir müssen nur sehen, was sie getan haben, und wissen, ob das Ergebnis gut oder schlecht war."

Die vier Schritte der „Vikariierenden Konditionierung"

Die Autoren entlehnen ein psychologisches Rahmenwerk (wie Menschen durch Beobachtung lernen) und verwandeln es in ein Computerprogramm mit vier Schritten:

Aufmerksamkeit (Die Augen): Der Roboter sieht sich einen kurzen Videoclip eines „Demonstrators" (eines anderen Agenten) an. Er muss nicht wissen, warum sich der Demonstrator bewegt hat; er muss nur sehen, was er getan hat.
Behaltensvermögen (Das Gedächtnis): Der Roboter speichert einen „Schnappschuss" dieses Verhaltens in seiner Gedächtnisbank. Er merkt sich auch das „Urteil" des Ergebnisses. War das Ergebnis gut (positiv) oder schlecht (negativ)?
- Analogie: Stellen Sie sich vor, der Roboter schreibt eine Notiz in sein Tagebuch: „Ich sah, wie ein Auto gegen eine Wand fuhr. Urteil: SCHLECHT."
Reproduktion (Der Spiegel): Während der Roboter versucht, allein zu gehen oder zu fahren, prüft er ständig seine aktuellen Aktionen gegen seine Gedächtnisbank.
- Analogie: Der Roboter betrachtet seinen eigenen Weg und fragt: „Sieht das aus wie das ‚Schlechte Auto', das ich früher gesehen habe?" Wenn die Antwort „Ja" lautet, löst dies einen inneren Alarm aus.
Verstärkung (Das Bauchgefühl): Dies ist der magische Teil. Wenn der Roboter sieht, dass er etwas Ähnliches wie das „Schlechte Auto" tut, gibt er sich eine negative interne Belohnung (ein Gefühl der Angst). Wenn er sieht, dass er etwas wie ein „Gutes Auto" tut, gibt er sich eine positive interne Belohnung (ein Gefühl der Aufregung).
- Dieses innere Gefühl dient als Leitfaden, der den Roboter vor Gefahren warnt oder in Richtung Sicherheit lenkt, selbst wenn das Hauptspiel ihm keine Punkte für die Vermeidung des Absturzes gibt.

Das „Hemmungs"-Tor (Die Bremsen)

Der Artikel führt einen cleveren Sicherheitsschalter ein, der als Hemmungsschwelle bezeichnet wird.

Stellen Sie sich das Gedächtnis des Roboters als einen lauten Raum vor. Wenn der Roboter zu empfindlich ist, könnte er denken, dass jeder Schritt wie das „Schlechte Auto" aussieht, und er könnte erstarren.
Die „Schwelle" ist wie ein Lautstärkeregler. Der Roboter erhält nur das „Angstsignal", wenn er sehr sicher (hohe Konfidenz) ist, dass seine aktuelle Aktion mit der schlechten Erinnerung übereinstimmt. Dies verhindert, dass der Roboter durch Fehlalarme gelähmt wird.

Wie sie es getestet haben

Die Forscher testeten dies in zwei videospielesähnlichen Umgebungen:

Der Bürgersteig (Vermeidung):
- Das Setup: Ein Roboter geht einen Bürgersteig entlang. Wenn er vom Rand absteigt, stirbt er sofort mit null Punkten (keine Warnung, keine Punktzahl).
- Das Problem: Ohne Hilfe wandert der Roboter einfach ziellos umher und fällt herunter, weil er kein „Bestrafungs"-Signal erhält, bis es zu spät ist.
- Das Ergebnis: Indem er einige Beispiele dafür sah, wie jemand vom Rand fiel, lernte der Roboter, „Angst" zu empfinden, wenn er sich dem Rand näherte. Er blieb viel länger auf dem Bürgersteig, obwohl das Spiel ihm nie sagte: „Falle nicht herunter."
Autorennen (Annäherung und Vermeidung):
- Das Setup: Ein Auto fährt auf einer Strecke. Das Spiel gibt Punkte für schnelles Fahren und das Überfahren jedes Fliesens auf der Straße.
- Der Twist: Das Spiel ermutigt zu rücksichtslosem Fahren (schnelles Überfahren von Fliesen), aber die Strecke hat Gras an den Seiten. Wenn man das Gras trifft, stürzt man ab.
- Das Ergebnis:
  - Wenn ein „Guter Fahrer" gezeigt wurde, der in der mittleren Spur blieb, lernte der Roboter, konservativ zu fahren. Er fuhr langsamer und überfuhr weniger Fliesen (und erhielt weniger Spiel-Punkte), aber er überlebte dreimal so lange wie die Roboter, die versuchten, durch Rücksichtslosigkeit zu gewinnen.
  - Wenn ein „Schlechter Fahrer" gezeigt wurde, der das Gras traf, lernte der Roboter, das Gras zu meiden.

Warum das wichtig ist

Die meisten KI-Lernprozesse sind wie ein Schüler, der einen Test 1.000 Mal bestehen muss, um den Stoff zu lernen. Diese Methode ist wie ein Schüler, der einen Freund beim einmaligen Durchfallen des Tests beobachtet und sofort lernt.

Der Artikel behauptet, dies sei ein großer Schritt hin zu „Single-Life-Lernen". In der realen Welt können Roboter (oder autonome Fahrzeuge) es oft nicht leisten, abzustürzen und daraus zu lernen. Sie müssen aus wenigen Beobachtungen anderer lernen, indem sie ein inneres „Bauchgefühl" nutzen, um sicher zu bleiben, ohne die komplexe Mathematik darüber zu kennen, wie der erfahrene Fahrer denkt.

Kurz gesagt: Der Artikel lehrt Roboter, durch das Beobachten anderer einen „sechsten Sinn" für Gefahr und Sicherheit zu entwickeln, sodass sie in gefährlichen Umgebungen überleben können, ohne zuerst abstürzen zu müssen.

Technische Zusammenfassung: Intrinsische vicariöse Konditionierung für Deep Reinforcement Learning

Problemstellung

Reinforcement Learning (RL) hat sich durch Reward-Shaping und Methoden des Lernens aus Demonstration (LfD) erheblich weiterentwickelt. Allerdings teilen diese Ansätze eine kritische Einschränkung: Sie erfordern typischerweise Zugriff auf interne Repräsentationen eines Experten-Demonstrators, Trajektorien auf Handlungsebene oder Kenntnisse seiner Reward-Funktion. Diese Abhängigkeit wird in Umgebungen mit spärlichen extrinsischen Belohnungen und katastrophalen terminalen Bedingungen (z. B. Agententod) problematisch, die kein Feedback-Signal liefern. In solchen „Single-Life"-Szenarien lernen biologische Agenten, Gefahren zu vermeiden und wünschenswerte Zustände anzustreben, indem sie andere beobachten, ohne direkte Erfahrung zu sammeln; ein Prozess, der als vicariöse Konditionierung bekannt ist. Aktuelle RL-Methoden haben Schwierigkeiten, diese Fähigkeit nachzuahmen, ohne die Policy oder Reward-Funktion des Demonstrators zu benötigen, und zwingen Agenten somit, sich auf kostspielige Selbsterkundung oder umfangreiche Datensätze zu verlassen.

Methodik

Die Autoren schlagen Vicariöse Konditionierung (VC) als intrinsischen Belohnungsmechanismus vor, der einem Agenten ermöglicht, aus wenigen beobachteten Demonstrationen zu lernen, ohne Zugriff auf die Policy ( $\pi_d$ ) oder die Reward-Funktion ( $r_d$ ) des Demonstrators zu haben. Die Methode basiert auf Banduras Vier-Schritte-Modell des beobachtenden Lernens: Aufmerksamkeit, Behaltensleistung, Reproduktion und Verstärkung.

1. Problemformulierung

Die Umgebung wird als Partially Observable Markov Decision Process (POMDP) modelliert. Der Agent erhält eine zusammengesetzte Belohnung $\bar{r}(o_t) = r_{ext}(o_t) + \alpha \cdot r_{vic}(o_t)$ , wobei $r_{ext}$ die spärliche Umgebungsbelohnung und $r_{vic}$ die intrinsische vicariöse Belohnung ist.
Der Agent beobachtet eine Demonstrator-Trajektorie $\tau = (o^d_1, \dots, o^d_T, v_\tau)$ , wobei $v_\tau \in \mathbb{R}$ ein kommunizierter Wert ist, der die Valenz (positiv für Annäherung, negativ für Vermeidung) und Intensität des Ergebnisses angibt. Entscheidend ist, dass der Agent die Handlungen oder internen Zustände des Demonstrators nicht sieht.

2. Die vier Schritte der Implementierung

Die Autoren implementieren diese Schritte unter Verwendung einer Siamesischen Speicher-erweiterten Neuronale Netzwerk (MANN)-Architektur.

Aufmerksamkeit: Ein gemeinsamer Controller Encoder (CE), implementiert als siamesisches Long Short-Term Memory (LSTM)-Netzwerk, bildet Beobachtungssequenzen (sowohl vom Demonstrator als auch vom Agenten) auf festdimensionale Embeddings ( $e_\tau$ und $e_t$ ) ab. Dies stellt sicher, dass verhaltensähnliche Sequenzen vergleichbare Embeddings erzeugen, unabhängig davon, ob sie vom Demonstrator oder vom Agenten stammen.
Behaltensleistung: Der Agent speichert die Embeddings des Demonstrators zusammen mit einem kommunizierten Wert. Der vicariöse Wert $V^{vic}$ wird durch rückwärts gerichtete Diskontierung vom Nutzen des Ergebnisses berechnet, moduliert durch einen Vertrauenskoeffizienten $k$ . Diese Embeddings und Werte werden mittels inhaltsbasierter Adressierung (Least Recently Used-Zugriff) in eine externe Speichermatrix $M_t$ geschrieben. Das MANN wird mittels Cross-Entropy-Verlust trainiert, um die Valenz (positiv/negativ) der gespeicherten Trajektorien zu klassifizieren.
Reproduktion: Der Agent generiert eine intrinsische Belohnung, indem er sein aktuelles Verhaltens-Embedding ( $e_t$ $e_{t}$ ) mit dem gespeicherten Speicher vergleicht. Ein Generalization Kernel berechnet die Ähnlichkeit (Kosinus-Ähnlichkeit) zwischen dem aktuellen Zustand und den gespeicherten Erinnerungen. Eine Klassifikationsschicht gibt Konfidenzwerte ( $p_t$ $p_{t}$ ) für jede Verhaltensklasse aus. Die intrinsische Belohnung $r_{vic}$ $r_{v i c}$ wird aus diesen Werten aggregiert und durch einen Inhibitionsschwellenwert ( $\theta_{thr}$ $θ_{t h r}$ ) gesteuert, um zu verhindern, dass Matches mit niedriger Konfidenz Belohnungen auslösen.
- Negative Konditionierung: Wenn der Zustand des Agenten einer gespeicherten „Vermeidungs"-Trajektorie ähnelt, erhält er eine negative intrinsische Belohnung.
- Positive Konditionierung: Wenn der Zustand des Agenten einer gespeicherten „Annäherungs"-Trajektorie ähnelt, erhält er eine positive intrinsische Belohnung.
Verstärkung: Die intrinsische Belohnung wird mit der extrinsischen Belohnung kombiniert. Der Agent optimiert die Policy, um die erwartete Rendite dieses zusammengesetzten Signals zu maximieren. Die extrinsische Belohnung dominiert schließlich, wenn Widersprüche auftreten, wodurch sichergestellt wird, dass die Policy für die spezifische Umgebung optimal bleibt.

Hauptbeiträge

Allgemeine Formulierung: Die Arbeit liefert einen formalen RL-Rahmen für vicariöse Konditionierung, der die biologischen Schritte Aufmerksamkeit, Behaltensleistung, Reproduktion und Verstärkung explizit auf neuronale Netzwerkkomponenten abbildet.
Siamesische Speicher-erweiterte Architektur: Die Autoren entwerfen ein siamesisches MANN, das Few-Shot-Lernen ermöglicht. Durch das Teilen des Encoders zwischen Demonstrator und Agent stellt das System sicher, dass ähnliches Verhalten zu ähnlichen Embeddings führt, was dem Agenten erlaubt, seine eigenen Erfahrungen basierend auf wenigen gespeicherten Demonstrationen zu erkennen und darauf zu reagieren.
Valenzspezifische Mechanismen: Die Methode führt unterschiedliche Mechanismen für negative (Vermeidung) und positive (Annäherung) Konditionierung ein, sodass der Agent sowohl lernen kann, was zu vermeiden ist, als auch was anzustreben ist, allein basierend auf kommunizierten Ergebniswerten.

Experimentelle Ergebnisse

Der Ansatz wurde in zwei Umgebungen evaluiert: MiniWorld Sidewalk (Test der negativen Konditionierung/Vermeidung) und Box2D CarRacing (Test der positiven Konditionierung/Annäherung und zusammengesetzten Konditionierung).

MiniWorld Sidewalk: In einer Umgebung mit einer nicht-deskriptiven terminalen Bedingung (Tod bringt keine Belohnung) erreichte Standard-PPO etwa 117 Schritte. Die VC-Methode mit einem optimalen Schwellenwert ( $\theta_{thr} = 0,60$ ) übertraf die Baseline signifikant und erreichte 142,16 Schritte (zusammengesetzte Belohnung) und 139,96 Schritte (nur intrinsisch). Die Ergebnisse zeigten, dass VC den Agenten erfolgreich von gefährlichen Zuständen (Gehweggrenzen) abhielt, ohne explizite Belohnungssignale für den Tod zu benötigen.
CarRacing:
- Positive VC: Der Agent lernte, in der mittleren Spur zu bleiben (demonstriertes Verhalten) und erreichte fast dreimal die Episodenlänge der Basis-PPO (88,45 Schritte vs. 33,27 Schritte). Obwohl dies zu einer geringeren extrinsischen Belohnung führte (aufgrund defensiver Fahrweise im Vergleich zur aggressiven Fliesenbesuchung), war die zusammengesetzte Belohnung signifikant höher.
- Negative VC: Bei Anwendung auf eine Annäherungsaufgabe (Vermeidung der Streckengrenze) schnitt die negative Konditionierung schlechter als die Baseline ab, was die Empfindlichkeit der Methode gegenüber der Valenz bestätigt; Vermeidungssignale sind schädlich, wenn die Aufgabe Annäherung erfordert.
- Zusammengesetzte VC: Die Kombination positiver und negativer Signale zeigte gemischte Ergebnisse mit hoher Varianz bei strengen Schwellenwerten, was auf die Notwendigkeit einer sorgfältigen Kalibrierung der Valenzsignale hindeutet.

Bedeutung und Behauptungen

Die Autoren behaupten, dass diese Arbeit die Lücke zwischen biologischen Lernfähigkeiten und aktuellen RL-Einschränkungen schließt. Indem sie Agenten ermöglicht, aus wenigen beobachteten Demonstrationen zu lernen, ohne Zugriff auf Policies, große Datensätze oder Reward-Funktionen zu haben, bietet vicariöse Konditionierung eine kognitiv plausible Alternative für Single-Life-Lernen und kontinuierliches Lernen.

Die Arbeit betont, dass dieses Paradigma besonders für reale Umgebungen geeignet ist, die riesig, teilweise beobachtbar und gefährlich sind, wo katastrophales Versagen nicht durch direktes Trial-and-Error gelernt werden kann. Die Methode imitiert erfolgreich den biologischen Prozess, bei dem ein Agent aus den kommunizierten Ergebnissen anderer lernt, was es ihm ermöglicht, katastrophale terminale Bedingungen zu vermeiden und wünschenswerte Zustände mit minimalen Daten anzustreben. Die Autoren räumen Einschränkungen ein, wie die Unfähigkeit, ununterscheidbare Verhaltensweisen im Merkmalsraum zu unterscheiden, und das Fehlen einer Gedächtnisextinktion (einmal gespeichert, persistiert ein vicariöser Wert), argumentieren jedoch, dass der Verstärkungsschritt es extrinsischen Belohnungen schließlich erlaubt, die intrinsische Konditionierung bei Bedarf zu überschreiben.