🤖 AI

Integrating Counterfactual Simulations with Language Models for Explaining Multi-Agent Behaviour

Dieses Paper stellt AXIS vor, ein Framework, das große Sprachmodelle nutzt, um Umgebungssimulatoren mittels kontrafaktischer Prompts zu hinterfragen und dadurch menschenzentrierte Erklärungen für Multi-Agenten-Systeme generiert, die die wahrgenommene Korrektheit und die Genauigkeit der Zielvorhersage im Vergleich zu bestehenden Baselines signifikant verbessern.

Ursprüngliche Autoren: Bálint Gyevnár, Christopher G. Lucas, Stefano V. Albrecht, Shay B. Cohen

Veröffentlicht 2026-06-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Bálint Gyevnár, Christopher G. Lucas, Stefano V. Albrecht, Shay B. Cohen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten eine komplexe Tanzaufführung mit fünf Tänzern (den Agenten), die sich auf einer Bühne bewegen. Plötzlich macht einer der Tänzer eine seltsame Bewegung. Sie fragen sich: „Warum hat er das getan?“

In der Welt autonomer Systeme (wie etwa selbstfahrenden Autos) ist es schwer, eine gute Antwort auf diese Frage zu erhalten. Der „Tanz“ findet in einer chaotischen Umgebung statt, und die Tänzer reagieren aufeinander auf eine Weise, die schwer zu entwirren ist.

Dieses Paper stellt eine neue Methode namens AXIS (Agentic eXplanations via Interrogative Simulation) vor, um diese Bewegungen zu erklären. Betrachten Sie AXIS nicht als einen statischen Bericht, sondern als einen Detektiv mit einer Zeitmaschine und einem magischen Drehbuchautor.

So funktioniert es, unterteilt in einfache Schritte:

1. Der Detektiv (Das Large Language Model)

Der „Detektiv“ ist eine intelligente KI (ein Large Language Model oder LLM). Seine Aufgabe ist es, mit Ihnen zu sprechen und die Geschichte hinter der Aktion herauszufinden. Aber er rät nicht einfach nur; er besitzt ein spezielles Werkzeug.

2. Die Zeitmaschine (Der Simulator)

Der Detektiv hat Zugriff auf eine perfekte Simulation der Welt. Dies ist wie ein Videospiel, das genau den Moment wiederholen kann, in dem die Aktion stattgefunden hat.

3. Das Verhör (Das Fragen nach dem „Was wäre wenn?“)

Anstatt nur das Video anzusehen und zu raten, beginnt der Detektiv, der Zeitmaschine spezifische Fragen mittels „Interrogations-Prompts“ zu stellen. Es ist wie ein Wissenschaftler, der Experimente durchführt:

„Entfernen“: „Was wäre, wenn wir das andere Auto komplett aus der Szene entfernt hätten? Wäre unser Fahrer immer noch die Spur gewechselt?“
„Was wäre wenn“: „Was wäre, wenn das andere Auto geradeaus gefahren wäre, anstatt abzubiegen? Hätte unser Fahrer gewartet?“

4. Die Synthese (Das Zusammenfügen des Puzzles)

Die Zeitmaschine führt diese Szenarien aus und liefert dem Detektiv neue Daten. Der Detektiv betrachtet dann die Unterschiede:

Szenario A (Reales Leben): Auto 1 biegt ab, Auto 0 weicht aus.
Szenario B (Zeitmaschine): Auto 1 fährt geradeaus, Auto 0 weicht nicht aus.

Der Detektiv erkennt: „Aha! Auto 0 ist ausgewichen, weil Auto 1 abgebogen ist. Wenn Auto 1 nicht abgebogen wäre, wäre nichts passiert.“

Der Detektiv schreibt dann eine menschenfreundliche Erklärung basierend auf diesen „Was-wäre-wenn“-Experimenten, anstatt nur die Rohdaten zu beschreiben.

Warum ist das besser als die alte Methode?

Das Paper vergleicht AXIS mit zwei anderen Methoden:

Der „Nur-Modell“-Ansatz: Dies ist so, als würde man den Detektiv bitten, das Video einmal anzusehen und den Grund zu erraten, ohne etwas zu testen. Das Paper fand heraus, dass dies oft zu generischen, falschen oder oberflächlichen Antworten führt (z. B. „Sie haben sich bewegt, weil Platz war“, wobei der eigentliche Grund fehlt).
Der „Keine Erklärung“-Ansatz: Dem Nutzer einfach nur Rohdaten zu geben, damit er sie selbst herausfinden muss.

Die Ergebnisse:
Als die Forscher dies an Szenarien mit selbstfahrenden Autos testeten (wie das Einfädeln auf einer Autobahn oder das Navigieren durch einen Kreisverkehr), schnitt AXIS signifikant besser ab:

Genauer: Die Erklärungen wurden als korrekter bewertet (um etwa 7,7 % bis 17 % besser als die Baseline).
Bessere Vorhersagen: Wenn Menschen die AXIS-Erklärung lasen, waren sie viel besser darin, vorherzusagen, was das Auto als Nächstes tun würde oder wohin es fahren wollte (bis zu 23 % genauer bei einigen Modellen).
Fokus auf Kausalität: Der „Detektiv“ lernte, die richtigen „Was-wäre-wenn“-Fragen zu stellen, um die wahre Ursache zu finden, anstatt nur Fakten aufzulisten.

Der Haken (Einschränkungen)

Das Paper ist ehrlich über die Bereiche, in denen das System Schwierigkeiten hat:

Irrationale Akteure: Wenn ein „Tänzer“ in der Simulation etwas völlig Verrücktes tut oder gegen die Verkehrsregeln verstößt, wird der Detektiv manchmal verwirrt, da er davon ausgeht, dass alle logisch handeln.
Verborgene Akteure: Wenn ein Auto hinter einem Gebäude verdeckt ist (okkludiert), übersieht der Detektiv manchmal, dass dieses versteckte Auto der wahre Grund für die Aktion ist, da er es in der Simulation nicht „sehen“ kann.
Der Richter: Um zu testen, wie gut die Erklärungen waren, nutzten die Forscher eine andere KI, um sie zu bewerten (da menschliche Studien teuer sind). Obwohl dies funktionierte, merkt das Paper an, dass KI-Richter eigene Vorurteile haben könnten, wie etwa die Bevorzugung kürzerer Antworten oder die Verwirrung durch zu viele Details.

Das Fazzeit

AXIS ist ein System, das hilft, die Entscheidungen einer KI zu erklären, indem es alternative Realitäten simuliert. Anstatt nur zu sagen „Ich habe X getan“, fragt es: „Was wäre passiert, wenn ich nicht X getan hätte?“ und nutzt die Antwort, um dem menschlichen Nutzer eine klare Ursache-Wirkungs-Geschichte zu erzählen. Es funktioniert am besten, wenn die Akteure logisch handeln und die Umgebung sichtbar ist.

Technisches Resümee: Integration von kontrafaktischen Simulationen mit Sprachmodellen zur Erklärung von Multi-Agenten-Verhalten

Problemstellung
Autonome Multi-Agenten-Systeme (MAS), wie etwa selbstfahrende Autos oder Handelsalgorithmen, stehen vor erheblichen Vertrauensherausforderungen aufgrund von Risiken wie Fehlkoordination und Zielabweichungen. Während erklärbare KI (XAI) entscheidend für die Kalibrierung von Vertrauen ist, stehen aktuelle Methoden für erklärbare sequentielle Entscheidungsfindung (Explainable Sequential Decision-Making, SDM) vor drei primären Hürden: (1) der Komplexität der Umgebungen (hochdimensionale Räume, teilweise Beobachtbarkeit, nicht-stationäre Dynamiken); (2) dem „Faktor Mensch“, bei dem Erklärungen mit unterschiedlichen kognitiven Prozessen und Präferenzen übereinstimmen müssen; und (3) einem Mangel an standardisierten Evaluierungsmetriken. Bestehende Ansätze konzentrieren sich oft auf niedrigschwellige mechanistische Erklärungen (z. B. Saliency Maps) statt auf hochgradige „Aktionserklärungen“, die das Verhalten von Agenten in Form von kausalen Beziehungen zwischen Aktionen, Überzeugungen (Beliefs) und Ergebnissen beschreiben.

Methodik: AXIS
Die Autoren schlagen Agentic eXplanations via Interrogative Simulation (AXIS) vor, ein Framework, das durch die Kombination von Large Language Models (LLMs) mit Umgebungssimulatoren menschenzentrierte Aktionserklärungen generiert. AXIS operationalisiert das Counterfactual Effect Size Model (CESM), welches postuliert, dass eine Ursache für eine Erklärung ausgewählt wird, wenn sie unter anderen, aber ähnlichen Hintergrundbedingungen mit einem Ereignis koexistiert.

Das AXIS-Framework funktioniert durch einen mehrstufigen Interrogations- und Syntheseprozess:

Kontextualisierung: Das System ruft den aktuellen Zustand des MAS ab (modelliert als ein stochastisches Spiel mit partieller Beobachtbarkeit, oder Partially Observable Stochastic Game, POSG) und verbalisiert Beobachtungen, Aktionen und statische Umgebungselemente in Text für das LLM.
Interrogation (Befragung): Das LLM schlägt Interventions-Prompts (z. B. remove, whatif, add, what) für den Simulator vor. Diese Prompts basieren auf Options (hochgradigen Aktionsabstraktionen), um die Lücke zwischen niedrigschwelligen Simulatorzuständen und den Denkfähigkeiten des LLMs zu schließen.
Simulation: Der Simulator führt die vorgeschlagene Intervention aus und führt eine Vorwärts-Simulation der Umgebung durch, um kontrafaktische Trajektorien und Belohnungen zu generieren.
Synthese: Die Ergebnisse der Simulation werden verbalisiert und zurück an das LLM gespeist, welches die kontrafaktischen Informationen zu einer partiellen Erklärung synthetisiert.
Iteration: Diese Schleife wiederholt sich bis zu einer maximalen Anzahl von Runden ( $N_{max}$ ), was es dem LLM ermöglicht, sein Verständnis der kausalen Beziehungen zu verfeinern, bevor es eine endgültige Erklärung generiert.

Wesentliche Beiträge

Formalisierung: Das Problem der Aktionserklärung für MAS wird im Kontext von stochastischen Spielen mit partieller Beobachtbarkeit formalisiert.
Framework: Die Einführung von AXIS, einer neuartigen Methode zur Generierung von Aktionserklärungen unter Verwendung von kontrafaktischen Simulationen und LLMs.
Evaluierungsmethodik: Ein umfassendes Evaluierungsframework für erklärbares SDM, das Folgendes kombiniert:
- Qualitative Korrektheitsanalyse.
- Robustheitstests gegenüber Hyperparametern und Modellvariationen.
- Subjektive Präferenzmetriken (Vollständigkeit, Zufriedenheit, Detailgrad, Vertrauenswürdigkeit).
- Objektive Handlungsmetriken (Ziel- und nächstfolgende Aktions-Vorhersagegenauigkeit).
- Die Nutzung eines externen LLMs als Richter zur Skalierung der Evaluierung.
Empirische Validierung: Experimente durchgeführt auf autonomer Fahrplanung in zehn Szenarien (rational, irrational und Okklusion/Verdeckung) unter Verwendung von fünf verschiedenen LLMs.

Ergebnisse
Die Evaluierung, die in autonomen Fahrszenarien mit bis zu fünf Agenten durchgeführt wurde, lieferte die folgenden Erkenntnisse:

Wahrgenommene Korrektheit: AXIS verbesserte die wahrgenommene Korrektheit der Erklärungen über alle getesteten Modelle hinweg um mindestens 7,7 % im Vergleich zu einem „ModelOnly“-Baseline-Modell (bei dem das LLM nur den ursprünglichen Kontext ohne Simulation erhält).
Zielvorhersage: AXIS verbesserte die Genauigkeit der Zielvorhersage um 23 % für vier der fünf getesteten Modelle.
Aktionsvorhersage: Die Ergebnisse waren vergleichbar oder verbesserten sich bei der Aktionsvorhersage über vier Modelle hinweg.
Nutzen der Interrogation: Eine Analyse der Prompt-Nutzung zeigte, dass Modelle, die remove- und whatif-Prompts verwendeten (welche kontrafaktisches Denken erleichtern), höhere Korrektheitswerte erreichten. Modelle, die diese Prompts nicht nutzten (z. B. DeepSeek-V3), schnitten schlecht ab.
Einschränkungen im Denken: Während AXIS in rationalen Szenarien effektiv war, hatte es Schwierigkeiten mit irrationalem Agentenverhalten und okkludierten Faktoren (verdeckten Faktoren). LLMs neigten dazu, eine rationale Einhaltung von Regeln vorauszusetzen, und versäumten es, Interventionen vorzuschlagen, die irrationales Verhalten erzwingen oder okkludierte Agenten korrekt inferieren würden, was die aktuellen Einschränkungen des LLM-Reasonings bezüglich partieller Beobachtbarkeit verdeutlicht.
Modellvarianz: Kein einzelnes LLM dominierte alle Metriken. Stärkere Reasoning-Modelle (z. B. o4-mini, DeepSeek-R1) lieferten eine hohe wahrgenommene Korrektheit, aber teilweise niedrigere Handlungsmetriken, was potenziell auf einen übermäßigen Kontext zurückzuführen ist, der das Evaluierungs-LLM „verwirrt“.

Bedeutung und Ansprüche
Das Paper behauptet, dass AXIS einen bedeutenden Schritt nach vorn für erklärbare MAS darstellt, indem es von statischer, Post-hoc-Merkmalsattribution zu dynamischem, interaktivem kontrafaktischem Denken übergeht. Die Autoren behaupten, dass ihr Interrogations-Synthese-Prozess die Auswahl der relevantesten kausalen Faktoren ermöglicht, was zu Erklärungen führt, die genauer und handlungsorientierter für nachgelagerte Aufgaben wie die Zielvorhersage sind.

Die Autoren nehmen jedoch eine bescheidene Haltung gegenüber ihren Ansprüchen ein:

Sie räumen ein, dass die Verwendung eines LLMs als Evaluator potenzielle Verzerrungen (Biases) einführt, insbesondere bei subjektiven Präferenzbewertungen, und fordern zukünftige Studien mit menschlichen Probanden.
Sie stellen fest, dass der Erfolg der Methode derzeit durch die Fähigkeiten der zugrunde liegenden LLMs begrenzt ist, insbesondere hinsichtlich des Denkens über Irrationalität und partielle Beobachtbarkeit.
Sie weisen darauf hin, dass der Mangel an standardisierten Baselines in diesem Bereich direkte Vergleiche einschränkt, obwohl sie eine „ModelOnly“-Baseline zur Kontextualisierung ihrer Verbesserungen etabliert haben.
Die Arbeit wird als Proof-of-Concept für die Integration von Simulation und Sprachmodellen präsentiert, wobei die Skalierbarkeit auf eine größere Anzahl von Agenten und diskrete Domänen eine offene Frage für die zukünftige Forschung bleibt.