🤖 AI

Artificial Empathy: Towards a Framework for Unsupervised Agency Detection and Policy Reconstruction

Dieses Paper schlägt ein Framework vor, das einen auf eine unabhängige Aufgabe trainierten Reinforcement-Learning-Agenten als Prior nutzt, um die unüberwachte Detektion anderer Agenten sowie die Rekonstruktion ihrer Policies allein aus Umweltbeobachtungen zu ermöglichen.

Ursprüngliche Autoren: Peter Kuhn, Chris Pang, Sonakshi Chauhan

Veröffentlicht 2026-08-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Peter Kuhn, Chris Pang, Sonakshi Chauhan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In den stillen Ecken der Forschung zur künstlichen Intelligenz bleibt eine grundlegende Frage bestehen: Wie kann eine Maschine verstehen, dass etwas anderes in der Welt mit einer Absicht handelt? Damit ein Computer mit Menschen oder anderen Maschinen kooperieren kann, muss er zuerst zwischen einem Stein, der aufgrund der Schwerkraft fällt, und einer Person, die nach diesem Stein greift, um ihn zu nehmen, unterscheiden können. Diese Fähigkeit, die als Agentenerkennung (Agency Detection) bekannt ist, bildet das Fundament sozialer Interaktion. Oh\ne sie verfügt die künstliche Intelligenz nur über einen chaotischen Strom von Ereignissen und ist unfähig, den Unterschied zwischen zufälligem Rauschen und einem zielgerichteten Plan zu erkennen. Die Herausforderung ist noch größer, wenn die Maschine herausfinden muss, was dieser andere Agent tun will – eine Aufgabe, die als Richtlinienrekonstruktion (Policy Reconstruction) bezeichnet wird. Wenn eine Maschine lernen könnte, diese verborgenen Absichten zu identifizieren und sie zu modellieren, ohne explizit darauf trainiert worden zu sein, wäre dies ein massiver Schritt hin zu einem wahrhaft kooperativen Partner, der in der Lage ist, seine eigenen Ziele mit denen der Wesen um ihn herum in Einklang zu bringen.

Ein Team von Forschern am Human Inductive Bias Project in Cambridge hat einen bedeutenden Schritt zur Lösung dieses Rätsels unternommen, indem sie ein System namens „künstliche Empathie“ vorschlugen. Anstatt zu versuchen, eine komplexe Theorie des Geistes (Theory of Mind) von Grund auf neu zu bauen, schlagen sie vor, dass eine künstliche Intelligenz andere verstehen kann, indem sie ihre eigenen internen Mechanismen als Leitfaden nutzt. Der Kern der Idee ist, dass eine KI, die selbst ein Agent ist, der Entscheidungen trifft und in der Welt handelt, bereits ein eingebautes Verständnis davon besitzt, wie Agentivität aussieht. Indem die Forscher ein System darauf trainierten, die Zukunft basierend auf seinen eigenen gelernten Verhaltensmustern vorherzusagen, schufen sie ein Framework, das in der Lage ist, eine Umgebung zu scannen, andere Agenten zu entdecken und zu erkennen, was diese Agenten zu erreichen versuchen – und das alles ohne menschliche Etiketten oder Anweisungen.

Die Forscher testeten dieses Konzept in einer kontrollierten digitalen Umgebung, einer einfachen Welt aus Gittern (Grid World), in der sich ein Agent bewegt, um Belohnungen zu sammeln. Sie trainierten einen Standard-KI-Agenten, um eine spezifische Aufgabe zu lösen, wie etwa die untere linke Ecke des Gitters zu erreichen, um Punkte zu verdienen. Dieser trainierte Agent diente als der „Experte“ oder das „Andere“, das das neue System verstehen musste. Um die Aufgabe schwierig und realistisch zu gestalten, führten die Forscher ein störendes Element ein: einen zweiten, falschen Agenten, der sich zufällig bewegte, wie ein Blatt, das im Wind weht. Das Ziel für das neue System war es, die zufällige Bewegung zu ignorieren, den wahren Agenten korrekt zu identifizieren und dann zu lernen, dessen spezifische Strategie zu imitieren, um das Ziel zu erreichen. Dem System wurde nicht gesagt, welcher der echte Agent war; es musste es selbst herausfinden.

Um dies zu erreichen, erhielt das neue System einen Vorsprung, indem man ihm das „Gehirn“ einer anderen KI vorlud, die auf einer völlig unzusammenhängenden Aufgabe trainiert worden war, wie etwa dem Sammeln von Nahrungsmitteln. Dieses vorgeladene Wissen fungierte als Prior, ein Satz von Erwartungen darüber, wie Agenten im Allgemeinen agieren und wie ihre Handlungen die Welt verändern. Das System beobachtete dann den Strom der Ereignisse in der Grid-Welt. Es nutzte sein internes Modell, um eine einfache Frage zu stellen: Wenn ich annehme, dass ein Agent hier handelt, kann ich vorhersagen, was als Nächstin passiert? Wenn das System den zufälligen Wanderer betrachtete, scheiterten seine Vorhersagen, da die zufälligen Bewegungen keinem logischen Muster der Zielverfolgung folgten. Als es jedoch den Experten-Agenten beobachtete, funktionierten seine Vorhersagen gut, da die Bewegungen des Experten mit der Logik eines Agenten übereinstimmten, der versucht, ein Ziel zu erreichen. Durch die Minimierung des Fehlers zwischen seinen Vorhersagen und der Realität filterte das System effektiv das Rauschen heraus und konzentrierte sich auf den wahren Agenten.

Die Ergebnisse dieses Experiments waren vielversprechend. Nachdem das System die Umgebung für eine kurze Zeit beobachtet hatte, lernte es, den zufälligen Ablenkungsmanöver zu ignorieren und erfolgreich die Strategie des Experten-Agenten zu übernehmen. In einer Reihe von Versuchen stieg die Leistung des Systems schnell über das Niveau eines zufälligen Rates hinaus und erreichte schließlich das Geschicksniveau des ursprünglichen Experten. Dies demonstrierte, dass das System tatsächlich unüberwachte Agentenerkennung durchführen konnte, indem es den zielgerichteten Akteur inmitten des Chaos identifizierte und dessen Richtlinie rekonstruierte. Die Forscher merkten an, dass dieser Erfolg darauf beruhte, dass das System seine eigenen internen Dynamiken als Linse nutzte, um die Welt zu betrachten – im Sinne von: „Ich weiß, wie es sich anfühlt, ein Ziel zu haben, also kann ich es in anderen erkennen.“

Trotz dieser ermutigenden Ergebnisse sind die Forscher vorsichtig darin, dies eher als einen frühen Beweis der Konzeptfähigkeit (Proof of Concept) denn als eine fertige Lösung darzustellen. Die Experimente wurden in einer kleinen, vollständig sichtbaren Grid-Welt durchgeführt, in der es nur einen echten Agenten und einen falschen gab. Das System hing stark von der Tatsache ab, dass der Prior-Agent und der Ziel-Agent strukturell ähnlich waren, und es ist noch nicht bekannt, wie gut dieser Ansatz funktionieren würde, wenn die Agenten sehr unterschiedlich wären oder wenn die Umgebung komplex und teilweise verborgen wäre. Die Studie legt nahe, dass selbstbezügliche Priors die Erkennung von Agentivität unterstützen können, behauptet aber noch nicht, das breitere Problem der Ausrichtung künstlicher Intelligenz an menschlichen Werten in der realen Welt gelöst zu haben. Die Arbeit öffnet eine Tür und zeigt, dass eine KI lernen kann, sich um andere zu kümachen, indem sie zuerst sich selbst versteht, doch der Weg zu einer vollkommen kooperativen Zukunft bleibt lang und ungeprüft.

Technisches Resümee: Künstliche Empathie: Auf ein Framework für unüberwachte Agenten-Detektion und Policy-Rekonstruktion

Problemdefinition

Die Arbeit adressiert zwei miteinander verknüpfte Herausforderungen in der KI-Alignment und Multi-Agenten-Systemen:

Agenten-Detektion (Agency Detection): Die Aufgabe, zwischen agentischem Verhalten (zielgerichteter Aktivität) und nicht-agentischen, zufälligen Dynamiken innerhalb einer Umgebung zu unterscheiden.
Policy-Rekonstruktion: Die Aufgabe, die zugrunde liegende Policy ( $\pi_O$ ) eines Agenten ausschließlich aus beobachtetem Verhalten abzuleiten, ohne Zugriff auf Belohnungsfunktionen oder gelabelte Aktions-Trajektorien.

Während Inverse Reinforcement Learning (IRL) die Policy-Rekonstruktion adressiert, erfordert es typischerweise vorverarbeitete Beobachtungs-Aktions-Paare und setzt voraus, dass die Identität des Agenten bereits bekannt ist. Die Autoren argumentieren, dass die gemeinsame Lösung beider Aufgaben in einer unüberwachten Weise ein notwendiger Schritt zur KI-Alignment ist, um einem System die Fähigkeit zu verleihen, eine „gemeinsame Policy“ zu entwickeln, die die eigenen Ziele mit denen anderer Agenten synthetisiert, was dem System effektiv eine Neigung verleiht, für andere zu „sorgen“.

Methodik

Die Autoren schlagen Künstliche Empathie (Artificial Empathy, AE) vor, ein Framework, bei dem ein KI-System seine eigenen gelernten agentischen Dynamiken als Prior nutzt, um andere Agenten zu detektieren und zu modellieren. Der Ansatz basiert auf einer Model-based Reinforcement Learning (RL) Architektur.

1. Basis-Agenten-Architektur

Das Fundament bildet ein Deep Q-Learning-Agent, der durch ein trainierbares Weltmodell ergänzt wird, das von Variational Autoencoders (VAEs) inspiriert ist. Die Architektur besteht aus:

Encoder ( $p_\theta$ ): Einem Convolutional Network, das latente Weltzustände ( $s_t$ ) aus Beobachtungen ( $o_t$ ) ableitet.
Transitionsmodell ( $q_\phi$ ): Einem dichten Netzwerk, das den nächsten latenten Zustand ( $s_{t+1}$ ) unter Berücksichtigung des aktuellen Zustands und der Aktion ( $s_t, a_t$ ) vorhersagt.
Decoder ( $d_\omega$ ): Rekonstruiert Beobachtungen aus latenten Zuständen.
Q-Netzwerk ( $Q_\rho$ ): Prädiziert Q-Werte für Weltzustände.

Der Basis-Agent wird mittels einer kombinierten Verlustfunktion ( $L_{base}$ ) trainiert, die aus besteht:

Rekonstruktionsverlust ( $L_{recon}$ ): MSE zwischen der wahren und der rekonstruierten Beobachtung.
Transitionsverlust ( $L_{trans}$ ): KL-Divergenz zwischen der modellierten Posterior-Verteilung und der approximativen Posterior-Verteilung.
Q-Loss ( $L_Q$ ): MSE zwischen Ziel- und vorhergesagten Q-Werten.

2. Künstliche Empathie (AE) System

Das AE-System nutzt einen trainierten Basis-Agenten (den „Prior-Agenten“) als strukturellen Prior für agentische Dynamiken. Es versucht, die Policy eines „Ziel“- oder „Experten“-Agenten zu rekonstruieren, der in einer Umgebung agiert.

Initialisierung: Das AE-System initialisiert seine Gewichte basierend auf den Gewichten des Prior-Agenten und erzwingt einen Gaußschen Prior im Gewichtsraum über Strafterme ( $R_p, R_q, R_Q$ ).
Vorhersagemechanismus: Das AE-System nimmt an, dass die Umgebung einen Agenten enthält. Es kodiert Beobachtungen in latente Zustände und sagt den nächsten Zustand ( $p^*(s_{t+1}|s_t, A)$ ) voraus, indem es über alle möglichen Aktionen ( $N$ ) marginalisiert, gewichtet durch die Wahrscheinlichkeit jeder Aktion, die aus dem AE-Q-Netzwerk abgeleitet wurde:
$p^*(s_{t+1}|s_t, A) = \sum_{i=0}^{N} P(a_i)q'(s_{t+1}|s_t, a_i)$
Verlustfunktion: Das System minimiert die Diskrepanz zwischen den kodierten Weltzuständen und den vorhergesagten Weltzuständen unter der Annahme von Agency. Der Gesamtverlust ( $L_{AE}$ $L_{A E}$ ) beinhaltet:
- KL-Divergenz ( $L_{KL}$ ): Zwischen der kodierten Verteilung und der agent-vorhergesagten Verteilung.
- Entropie-Strafterm ( $R_H$ ): Um das System dazu zu zwingen, sich auf spezifische Aktionen festzulegen, anstatt glatte Verteilungen zu erzeugen.
- Gewichtsstrafen ( $R_p, R_q, R_Q$ ): Um die strukturelle Ähnlichkeit zum Prior-Agenten aufrechtzuerhalten.

Experimenteller Aufbau und Ergebnisse

Die Autoren validierten das Framework in einer 15×15 Gridworld mit zwei unterschiedlichen Aufgaben:

Food-Game: Sammeln von drei Nahrungsmitteln.
Edge-Game: Erreichen der unteren linken Kante.

Setup:

Ein auf dem Food-Game trainierter Agent diente als Prior.
Ein auf dem Edge-Game trainierter Agent diente als Experte.
Das AE-System wurde mit dem Food-Game Prior initialisiert und hatte die Aufgabe, die Policy des Edge-Game Experten zu imitieren.
Störfaktor (Confounding Factor): Ein „Decoy“-Agent (Lockvogel), der eine Random Walk Bewegung ausführt, wurde dem Beobachtungsstrom hinzugefügt, um die Agenten-Detektion zu testen.

Ergebnisse:

Das AE-System lernte erfolgreich, die Policy des Experten (Edge-Game) zu imitieren, obwohl es mit einem strukturell unterschiedlichen Prior (Food-Game) initialisiert wurde.
Entscheidend ist, dass das System die Agenten-Detektion implizit löste: Es ignorierte die zufälligen Dynamiken des Decoy-Agenten und konzentrierte sich auf das agentische Verhalten des Experten.
Die Leistungsmetriken zeigten, dass der kumulative Reward des AE-Agenten nach 35 Episoden einen Random Walk signifikant übertraf und sich dem des Basis-Experten-Agenten näherte.

Kernbeiträge

Framework-Vorschlag: Einführung von „Künstlicher Empathie“ als ein First-Principles-Framework für unüberwachte Agenten-Detektion und Policy-Rekonstruktion.
Selbstreferenzielle Prior: Die neuartige Nutzung der eigenen Dynamiken eines Agenten (via eines trainierten Weltmodells) als Prior zur Identifikation und Modellierung anderer Agenten, inspiriert durch die Simulationstheorie und Spiegelneuron-Mechanismen in der Kognitionswissenschaft.
Gemeinsame Problemlösung: Demonstration, dass eine einzige Architektur gleichzeitig zwischen agentischer und nicht-agentischer Aktivität unterscheiden und die zugrunde liegende Policy ohne gelabelte Daten rekonstruieren kann.

Bedeutung und Ansprüche

Das Paper positioniert diese Arbeit als einen grundlegenden Schritt zur Lösung des KI-Alignment-Problems. Durch die Befähigung einer KI, andere Agenten zu detektieren und zu modellieren, kann das System theoretisch eine gemeinsame Policy ( $\pi_\Omega$ ) konstruieren, die seine eigenen Ziele mit denen anderer synthetisiert und so kooperatives Verhalten fördert.

Die Autoren stellen explizit klar, dass ihre aktuellen Ergebnisse die Machbarkeit (Feasibility) demonstrieren, nicht jedoch Robustheit oder Skalierbarkeit. Sie räumen ein, dass die Experimente auf kleine, vollständig beobachtbare Gridworlds mit einem einzelnen störenden Agenten beschränkt sind. Das Paper behauptet nicht, das KI-Alignment gelöst zu haben, sondern legt nahe, dass die Etablierung der Künstlichen Empathie als Framework eine notwendige Voraussetzung ist, um Systeme zu entwickeln, die in der Lage sind, für andere Agenten zu „sorgen“. Als zukünftige Arbeiten wird die Erweiterung des Frameworks auf partielle Beobachtbarkeit, multiple Agenten und nicht-stationäre Policies identifiziert.