🤖 machine learning

Intention Inference Under Execution Noise: Separating Aleatoric and Epistemic Uncertainty in Social Dilemmas

Dieses Paper schlägt ein Framework eines partiell beobachtbaren Markov-Entscheidungsprozesses (POMDP) innerhalb der aktiven Inferenz vor, um zwischen feindseliger Absicht und Ausführungsfehlern in verrauschten sozialen Dilemmata zu unterscheiden, und zeigt auf, dass während die Intentionsinferenz die Kooperation gegen konditionale Gegner verbessert, eine gegenseitige Inferenz unter hohem Rauschen paradoxerweise einen korrelierten, glaubensgesteuerten Kollaps auslösen kann.

Ursprüngliche Autoren: Kival Mahadew, Jonathan Shock

Veröffentlicht 2026-08-04

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kival Mahadew, Jonathan Shock

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie spielen ein Spiel namens „Vertrauen“ mit einem Freund. Sie beide haben ein geheimes Ziel: zu kooperieren und einen großen Preis zu teilen. Aber hier ist der Clou – das Spiel wird über ein Walkie-Talkie gespielt, das manchmal Störungen aufweist. Sie wollen vielleicht gerade sagen „Ich vertraue dir“, aber das Rauschen verzerrt Ihre Nachricht, und Ihr Freund hört „Ich stehle deinen Preis“. Nun muss Ihr Freund eine wichtige Entscheidung treffen: Haben Sie wirklich versucht, ihn zu bestehlen, oder war es nur eine schlechte Verbindung? Wenn er annimmt, dass Sie jedes Mal ein Dieb sind, wenn die Leitung knackt, wird er Ihnen nie wieder vertrauen, und Sie werden beide den Preis verlieren. Dies ist das Herzstück eines berühmten Rätsels der Spieltheorie, bekannt als das Gefangenendilemma, aber mit einer chaotischen, verrauschten Wendung. Wissenschaftler haben lange darüber nachgeforscht, wie man Roboter oder KI bauen kann, die herausfinden können, ob ein „schlechter Zug“ ein Fehler oder ein Verrat war, besonders wenn die Welt voller statischer Störungen ist. Wenn sie es falsch machen, könnten sie eine Kettenreaktion des Zorns auslösen, die die Kooperation zerstört.

Dieses Paper befasst sich genau mit diesem Problem. Die Autoren Kival Mahadewa und Jonathan Shock fragen: Wie kann ein Agent zwischen einem verrauschten Unfall und einer böswilligen Absicht unterscheiden? Sie schlagen eine neue Art des Denkens über diese Spiele vor, indem sie die Absicht als ein verborgenes Geheimnis und die Handlung als einen verrauschten Hinweis behandeln. Sie fanden heraus, dass dieser „Gedankenlese“-Ansatz zwar brillant funktioniert, wenn man gegen einen Freund spielt, der kooperieren möchte, aber tatsächlich nach hinten losgehen kann, wenn beide Spieler versuchen, die Gedanken des anderen zu lesen, und dies in einer sehr verrauschten Welt geschieht. In diesen Fällen könnten die beiden Spieler in einer Schleife gefangen sein, in der beide korrekt erraten, dass der andere wütend ist, was zu einem totalen Zusammenbruch des Vertrauens führt. Es stellt sich heraus, dass es eine Falle sein kann, zu gut darin zu sein, Absichten zu erraten, wenn das Rauschen zu laut ist.

Die Geschichte des glitschigen Walkie-Talkies

Lassen Sie uns die Szene setzen. Stellen Sie sich vor, zwei Agenten (nennen wir sie „Robo-A“ und „Robo-B“) spielen ein Spiel namens „Iteriertes Gefangenendilemma“. In diesem Spiel nehmen sie abwechselnd die Entscheidung, entweder zu kooperieren (nett zu sein) oder zu defektieren (egoistisch zu sein). Wenn beide kooperieren, gewinnen beide groß. Wenn einer defektiert, während der andere kooperiert, gewinnt der Defektor riesig und der Kooperierende verliert. Wenn beide defektieren, erhalten beide eine kleine, traurige Belohnung.

Nun stellen Sie sich vor, sie spielen dieses Spiel über ein Walkie-Talkie, das ein „Statik-Problem“ hat. Sagen wir, die Statik verzerrt ihre beabsichtigte Nachricht in 10 % der Fälle. Robo-A beabsichtigt, den „Kooperieren“-Knopf zu drücken, aber die Statik verändert es, und Robo-B sieht ein „Defektieren“-Signal.

Hier liegt das Problem: Robo-B weiß nicht, ob Robo-A gemein sein wollte oder ob die Statik einfach nur dazwischengefunkt hat.

Der alte Weg (MDP): Standardmäßige Computermodelle behandeln das „Defektieren“-Signal als eine Tatsache. Sie denken: „Robo-A hat mich gerade verraten!“ und reagieren sofort mit Vergeltung. Dies führt zu einem Abwärtsspiral der Wut, in dem sie einander für Fehler bestrafen, die nie stattgefunden haben.
Der neue Weg (POMDP): Die Autoren schlagen ein klügeres Modell vor. Anstatt nur auf das Signal zu schauen, sollte der Roboter versuchen, die Absicht zu erraten. Er fragt sich: „Angesichts der Tatsache, dass ich ein ‚Defektieren‘-Signal gesehen habe und ich weiß, dass das Walkie-Talkie fehlerhaft ist, ist es wahrscheinlicher, dass Robo-A gemein war oder dass es nur Statik war?“

Der „gedankenlesende“ Roboter

Die Autoren bauten einen Roboter unter Verwendung eines Frameworks namens Active Inference. Denken Sie an diesen Roboter als einen Detektiv, der ständig versucht, zwei Geheimnisse gleichzeitig zu lösen:

Was versucht mein Freund gerade zu tun? (Ist das ein Fehler oder ein Verrat?)
Wie lernt mein Freund? (Wenn ich kooperiere, wird er lernen, zurück zu kooperieren?)

Der Roboter hat eine spezielle „Kostenfunktion“ (eine Art, seine Entscheidungen zu bewerten), die zwei Wünsche ausbalanciert:

Pragmatischer Wert: „Ich möchte jetzt die beste Belohnung bekommen.“ (Lass dich nicht austricksen!)
Epistemischer Wert: „Ich möchte die Wahrheit lernen.“ (Ich muss testen, ob mein Freund wirklich nett ist oder nur so tut.)

Durch das Ausbalancieren dieser Werte kann der Roboter sagen: „Ich habe ein ‚Defektieren‘-Signal gesehen, aber mein Freund kooperiert normalerweise, und die Statik ist hoch. Ich werde annehmen, dass es ein Fehler war, und erneut versuchen zu kooperieren, um zu sehen, was passiert.“ Dies ist eine fundierte Art der „Vergebung“, ohne ein Spielball zu sein.

Die überraschende Wendung: Wenn Gedankenlesen nach hinten losgeht

Das Paper führte tausende Simulationen durch, um zu sehen, wie dieser neue Roboter gegen verschiedene Arten von Gegnern abschneidet.

Szenario 1: Spielen gegen einen „netten“ Gegner (Tit-for-Tat)
Wenn der Roboter gegen einen Gegner spielt, der darauf programmiert ist, zu kooperieren, sofern er nicht provoziert wird, ist der neue „gedankenlesende“ Roboter ein Superstar. Er identifiziert korrekt, dass die meisten „Defektieren“-Signale nur Statik sind. Er vergibt die Fehler, kooperiert weiter und erzielt viel höhere Punktzahlen als der alte „Geh vom Schlimmsten aus“-Roboter. Er lernt das Muster des Gegners und pendelt sich in einen glücklichen, kooperativen Rhythmus ein.

Szenario 2: Spielen gegen einen „Nachahmer“ (Selbstspiel)
Hier wird es seltsam. Die Autoren ließen zwei dieser neuen „gedankenlesenden“ Roboter gegeneinander antreten.

Bei geringem Rauschen (sehr klares Walkie-Talkie) finden beide heraus, dass der andere nett ist, und sie kooperieren perfekt.
Aber bei hohem Rauschen (sehr fehlerhaftes Walkie-Talkie) passiert etwas Merkwürdiges. Die Roboter beginnen zu kollabieren.

Warum? Weil sie zu gut in ihrem Job sind.
Stellen Sie sich vor, Roboter A sieht ein „Defektieren“-Signal. Er denkt: „Hm, das Rauschen ist hoch, aber mein Freund hat in letzter Zeit seltsam gehandelt. Vielleicht ist er ja doch wütend?“ Er entscheidet sich für eine Vergeltung. Roboter B sieht die Vergeltung von Roboter A, denkt: „Oh, er ist jetzt definitiv wütend“, und vergilt zurück.
Weil beide Roboter versuchen, die wahre Absicht des anderen zu erschließen, erzeugen sie versehentlich eine Rückkopplungsschleife. Beide deduzieren korrekt, dass der andere tatsächlich feindselig ist (weil der erste eben tatsächlich vergeltet hat), und sie kämpfen also weiter. Das „Rauschen“ verursachte nicht nur ein Missverständnis; es verursachte einen glaubensgesteuerten Kollaps. Sie hörten auf zu kooperieren, nicht weil sie verwirrt waren, sondern weil sie sich zu sicher waren, dass der andere gemein war.

Die kritische Schwelle

Das Paper berechnet einen spezifischen „Kipppunkt“ für das Rauschen.

Wenn das Rauschen unter 10 % liegt (speziell zwischen 0,05 und 0,10 in ihrer Mathematik), können die Roboter den Unterschied zwischen einem Fehler und einem Verrat meistens erkennen.
Wenn das Rauschen über 15 % steigt, können die Roboter untereinander die Kooperation nicht mehr aufrechterhalten. Die „kooperative Absicht“ wird so unwahrscheinlich, dass die Roboter entscheiden: „Das ist kein Fehler; sie versuchen mich definitiv zu verletzen“, und sie wechseln zur permanenten Verteidigung.

Die Autoren fanden heraus, dass dieser Kollaps nicht etwa darauf beruht, dass die Roboter schlecht in Mathe sind; sondern dass die Mathematik zu genau ist. In einer verrauschten Welt können zwei Agenten, die beide versuchen, die verborgenen Gedanken des jeweils anderen zu erraten, sich versehentlich davon überzeugen, dass der andere ein Bösewicht ist, obwohl beide ursprünglich das Ziel hatten, Freunde zu sein.

Was das bedeutet

Das Paper behauptet nicht, das Problem der Kooperation für immer gelöst zu haben. Stattdessen zeigt es, dass die Art und Weise, wie wir die Welt repräsentieren, entscheidend ist.

Wenn Sie Handlungen als Fakten behandeln (der alte Weg), werden Sie zu leicht verwirrt und wütend.
Wenn Sie Handlungen als verrauschte Hinweise auf verborgene Absichten behandeln (der neue Weg), können Sie viel klüger und nachsichtiger sein.
Aber, wenn alle die „Gedankenleser“-Strategie in einer sehr verrauschten Umgebung anwenden, riskieren Sie einen „Vertrauenskollaps“, bei dem jeder korrekt errät, dass jeder andere wütend ist, und das gesamte System zusammenbricht.

Die Autoren legen nahe, dass diese „Absichtsinferenz“ ein mächtiges Werkzeug ist, aber es hat eine Grenze. Es funktioniert großartig, wenn man gegen jemanden spielt, der kooperieren möchte, aber es kann fragil sein, wenn alle versuchen, die Gedanken der anderen in einer chaotischen Welt zu erraten. Es ist eine Erinnerung daran, dass es manchmal dazu führen kann, dass wir weniger bereit sind, anderen zu vertrauen, wenn wir zu viel darüber wissen, was sie vielleicht denken könnten.

Technisches Resümee: Intentionsinferenz unter Ausführungslärm

Problemstellung

In sozialen Dilemmata wie dem Iterierten Gefangenendilemma (IPD) hängt die Stabilität von Kooperation davon ab, dass Agenten die Entscheidungen der jeweils anderen zuverlässig beobachten können. Unter Ausführungslärm (Execution Noise) werden die beabsichtigten Handlungen jedoch stochastisch korrumpiert, bevor sie ausgeführt werden (z. B. wird eine kooperative Intention als Defektion ausgeführt). Dies erzeugt ein Attributionsproblem: Eine beobachtete Defektion kann entweder aus feindseliger Absicht oder lediglich aus einem Ausführungsfehler resultieren.

Standardmäßige Markov-Entscheidungsprozess-Formulierungen (MDP) behandeln die ausgeführten Aktionen als den Zustandsraum. Diese strukturelle Wahl verhindert die Unterscheidung zwischen Intention und Ausführung, was dazu führt, dass Agenten alle beobachteten Defektionen als absichtlich behandeln. Infolgedessen zeigen Standard-Agenten eine systematische Überreaktion (Over-Retaliation), was die Kooperation destabilisiert. Während konstruierte Vergebungsstrategien (z. B. Generous Tit-for-Tat) praktische Lösungen bieten, fehlt ihnen eine fundierte Begründung dafür, wie viel Vergebung angesichts der Evidenz gerechtfertigt ist, und sie können sich nicht an spezifische Gegner anpassen. Reinforcement-Learning-Ansätze scheitern oft daran, latente Intentionen zu modellieren, was zur gleichen strukturellen Unfähigkeit führt, die Hypothese aufzustellen, dass ein Gegner „kooperieren wollte, aber fehlerhaft ausgeführt hat“.

Methodik

Die Autoren schlagen eine Formulierung als Partiell beobachtbarer Markov-Entscheidungsprozess (POMDP) vor, der innerhalb des Active Inference (AIF)-Frameworks gelöst wird.

1. Der latente Intentions-POMDP

Die zentrale Innovation besteht darin, aleatorische Unsicherheit (Ausführungslärm) von epistemischer Unsicherheit (Unsicherheit über die Intention) zu trennen.

Zustände ( $S$ ): Kodieren die gemeinsamen intendierten Aktionen (latente Zustände) vor der Ausführung (z. B. $CC$, $CD$, $DC$, $DD$).
Beobachtungen ( $O$ ): Entsprechen den ausgeführten gemeinsamen Aktionen, welche verrauschte Versionen der Zustände sind.
Beobachtungsmodell ( $A$ ): Ein fester binärer symmetrischer Kanal mit einem Rauschparameter $\epsilon$ , der die intendierten Zustände auf die beobachteten Aktionen abbildet.
Transitionsmodell ( $B$ ): Kodiert die reaktive Policy des Gegners (wie die nächste Intention von der vorherigen gemeinsamen Ausgabe abhängt). Diese Matrix ist unbekannt und wird online gelernt.
Präferenzen ( $C$ ): Log-Präferenzen über Beobachtungen, die aus der Auszahlungsstruktur abgeleitet sind (z. B. $T > R > P > S$ ).

2. Active-Inference-Lösung

Der Agent minimiert die Erwartete Freie Energie (G), die in zwei Komponenten zerfällt:

Pragmatischer Wert: Treibt den Agenten zu bevorzugten, hochrentablen Beobachtungen (Exploitation).
Epistemischer Wert: Treibt informationssuchende Handlungen an, um Unsicherheit aufzulösen. Dieser wird weiter unterteilt in:
- Zustands-Informationsgewinn: Reduzierung der Unsicherheit über die aktuelle latente Intention des Gegners.
- Parameter-Informationsgewinn: Reduzierung der Unsicherheit über das Transitionsmodell (die reaktive Policy) des Gegners.

3. Online-Lernen

Der Agent lernt die reaktive Policy des Gegners ( $B$ -Matrix) mittels Dirichlet-Zählungsakkumulation. Belief-Updates über die verborgenen Zustände liefern ein „sauberes“ Trainingssignal für die Dirichlet-Zählungen, wodurch das Lernen der Strategie des Gegners von dem Rauschen der Ausführung entkoppelt wird. Dies schafft ein gekoppeltes System, in dem die genaue Schätzung der Intention das Lernen der Policy verbessert und das genaue Lernen der Policy die Schätzung der Intention verbessert.

Zentrale Beiträge

POMDP-Formulierung: Eine neuartige Trennung von aleatorischem Ausführungslärm und epistemischer Unsicherheit über die Intention, mit Präferenzen, die konsistent mit den Auszahlungsstrukturen sind.
Online-Lernmechanismus: Kopplung von Zustandsinferenz mit Modelllernen über Dirichlet-Posteriori-Verteilungen, was es dem Agenten ermöglicht, die reaktive Policy des Gegners aktiv durch das Rauschen hindurch zu lernen.
Analyse des kritischen Rauschschwellenwerts: Ableitung eines theoretischen Schwellenwerts, der den Kollaps der Kooperation steuert. Die Autoren identifizieren, dass die Kooperation nicht deshalb scheitert, weil Agenten nicht zwischen Rauschen und Feindseligkeit unterscheiden können (Diskriminierbarkeit), sondern weil die Wahrscheinlichkeit der Fortdauer kooperativer Intention über den Planungshorizont hinweg unter einen kritischen Punkt fällt.
Empirische Validierung: Demonstration, dass der Wert der Intentionsinferenz kontextabhängig ist, indem sie Vorteile gegenüber reziproken Gegnern aufzeigt, aber Fragilität bei gegenseitiger Inferenz bei hohem Rauschen aufweist.

Ergebnisse

Performance gegenüber verschiedenen Gegnern

Selbstspiel (POMDP vs. POMDP):
- Bei geringem Rauschen ( $\epsilon \le 0,10$ ) hält der POMDP eine nahezu perfekte Kooperation aufrecht und übertrifft die MDP-Baseline.
- Bei einem kritischen Schwellenwert ( $\epsilon \in [0,10, 0,15]$ ) erlebt der POMDP einen scharfen, katastrophalen Kollaps der Kooperation. Dies wird durch korrelierte Belief-Dynamiken verursacht: Wenn ein Agent aufgrund von Rauschen zurückschlägt, inferiert der andere korrekt eine feindselige Intention und schlägt ebenfalls zurück, was einen selbstverstärkenden Kreislauf erzeugt.
- Die MDP-Baseline degradiert graduell ohne einen scharfen Schwellenwert, da ihr die latente Intentionsschicht fehlt, die diesen spezifischen belief-getriebenen Kaskadeneffekt auslösen würde.
vs. Tit-for-Tat (TFT):
- Der POMDP behält einen konsistenten Vorteil über alle Rauschniveaus bei. Da die Policy von TFT stationär ist, destabilisieren die Belief-Dynamiken des fokalen Agenten den Gegner nicht, was den korrelierten Kollaps verhindert, der im Selbstspiel beobachtet wurde.
vs. Win-Stay Lose-Shift (WSLS):
- Beide Formulierungen kollabieren bei jedem $\epsilon > 0$ in eine Ausbeutungsphase (DC/DD-Zyklen). Die nachgiebige Disposition des POMDP verzögert diesen Übergang und führt zu geringfügig niedrigeren Scores als der MDP, der schneller adaptiert, um WSLS auszubeuten.

Mechanismus des Scheiterns

Eine Analyse der Zerlegung der Erwarteten Freien Energie zeigt, dass im POMDP das bekannte Beobachtungsmodell das Rauschen absorbiert, wodurch der Zustands-Informationsgewinn gegen Null konvergiert. Im Gegensatz dazu leidet der MDP unter irreduzibler Zustandsunsicherheit, was zu anhaltender Unentschlossenheit und unentschiedenen Policies führt.

Der kritische Rauschschwellenwert wird als der Punkt definiert, an dem die Überlebenswahrscheinlichkeit der Kooperation ( $p_t(CC)^h$ ) unter 0,5 fällt. Jenseits dieses Punktes wird die „feindselige“ Hypothese zur wahrscheinlicheren Erklärung für beobachtete Defektionen über den Planungshorizont hinweg, was eine Vergeltung zu einer rationalen Antwort macht, selbst wenn der Agent zwischen Rauschen und Intention perfekt unterscheiden könnte.

Bedeutung und Ansprüche

Das Paper behauptet, dass die repräsentative Wahl dessen, was als Zustand versus Beobachtung gilt, darüber entscheidet, ob eine prinzipielle Kooperation unter Rauschen strukturell möglich ist.

Notwendigkeit von Repräsentation und Antrieb: Die kooperativen Vorteile ergeben sich spezifisch aus der Interaktion zwischen der POMDP-Struktur (die aleatorischen Lärm isoliert) und dem epistemischen Antrieb (der die Policy des Gegners aktiv sondiert). Weder Komponente allein ist ausreichend; das Entfernen der epistemischen Terme elimiziert die „Explore-then-Commit“-Trajektorie, während die Verwendung des POMDP ohne epistemischen Antrieb keinen Verbesserung führt.
Kontextabhängiger Wert: Intentionsinferenz ist vorteilhaft gegenüber reziproken Gegnern, wird aber in Szenarien mit hohem Rauschen im Selbstspiel zur Belastung, in denen gegenseitige Inferenz eine Rückkopplungsschleife der Vergeltung erzeugt.
Strategische Struktur: Der Vorteil ist spezifisch für Spiele, in denen die Attribution von Intention entscheidungsrelevant ist (z. B. IPD, wo $T > R$ ). In Spielen wie dem Stag Hunt ( $T < R$ ), in denen es keine Versuchung zur Ausbeutung gibt, performen POMDP und MDP ähnlich, da die Unterscheidung zwischen Fehler und Intention weniger konsequenziell ist.
Limitierungen: Die Autoren merken an, dass der scharfe Kollaps im Selbstspiel eine Eigenschaft der gegenseitigen Inferenz ist und kein Fehler des Modells selbst. Das Modell setzt eine stationäre Opponent-Policy voraus; wenn beide Agenten ko-evolvieren, wird diese Annahme verletzt, was zu Modellfehlbeurteilungen führt. Das Paper schlägt vor, dass Vergessensmechanismen oder Change-Point-Detection in zukünftiger Arbeit die Probleme mildern könnten.

Zusammenfassend argumentiert das Paper, dass die Genauigkeit der Inferenz unter Rauschen durch den Kontext begrenzt ist, in dem sie operiert: Während die Trennung von Rauschen und Intention eine robuste Kooperation gegen feste oder reziproke Strategien ermöglicht, führt sie in Settings mit gegenseitiger Inferenz zu einer Fragilität, in denen Rauschen einen selbstverstärkenden Übergang zu gegenseitiger Defektion auslösen kann.