Integrating Counterfactual Simulations with Language Models for Explaining Multi-Agent Behaviour

Technische Samenvatting: Integratie van Counterfactual Simulaties met Taalmodellen voor het Verklaren van Multi-Agent Gedrag

Probleemstelling
Autonome Multi-Agent Systemen (MAS), zoals zelfrijdende auto's en handelsalgoritmen, kampen met aanzienlijke vertrouwensproblemen door risico's zoals miscoördinatie en doelmisalignment. Hoewel uitlegbare AI (XAI) cruciaal is voor vertrouwen-kalibratie, worden huidige methoden voor Uitlegbare Sequentiële Besluitvorming (SDM) geconfronteerd met drie primaire hindernissen: (1) de complexiteit van omgevingen (hoog-dimensionale ruimtes, partiële observeerbaarheid, niet-stationaire dynamiek); (2) de "menselijke factor", waarbij verklaringen moeten aansluiten bij diverse cognitieve processen en voorkeuren; en (3) een gebrek aan gestandaardiseerde evaluatiemetrieken. Bestaande benaderingen richten zich vaak op laag-niveau mechanistische verklaringen (bijv. saliency maps) in plaats van hoog-niveau "actie-verklaringen" die agentgedrag beschrijven in termen van causale relaties tussen acties, overtuigingen en uitkomsten.

Methodologie: AXIS
De auteurs stellen Agentic eXplanations via Interrogative Simulation (AXIS) voor, een framework dat mensgerichte actie-verklaringen genereert door Large Language Models (LLMs) te combineren met omgeving-simulatoren. AXIS operationaliseert het Counterfactual Effect Size Model (CESM), dat stelt dat een oorzaak wordt geselecteerd voor een verklaring als deze samenvalt met een gebeurtenis onder andere maar vergelijkbare achtergrondcondities.

Het AXIS-framework functioneert via een meer-ronden interrogatie- en syntheseproces:

1. Contextualisering: Het systeem haalt de huidige staat van de MAS op (gemodelleerd als een Partially Observable Stochastic Game, of POSG) en verbaliseert observaties, acties en statische omgevings-elementen naar tekst voor het LLM.
2. Interrogatie: Het LLM stelt interventie-prompts voor (bijv. remove, whatif, add, what) aan de simulator. Deze prompts zijn gebaseerd op opties (hoog-niveau actie-abstracties) om de kloof tussen laag-niveau simulator-staten en de redeneercapaciteiten van het LLM te overbruggen.
3. Simulatie: De simulator voert de voorgestelde interventie uit, waarbij de omgeving voorwaarts simuleert om counterfactual trajecten en beloningen te genereren.
4. Synthese: De resultaten van de simulatie worden geverbaliseerd en teruggevoerd naar het LLM, dat de counterfactual informatie synthetiseert tot een gedeeltelijke verklaring.
5. Iteratie: Deze lus herhaalt zich voor een maximaal aantal ronden ($N_{max}$), waardoor het LLM de kans krijgt zijn begrip van causale relaties te verfijnen voordat het een definitieve verklaring genereert.

Belangrijkste Bijdragen

1. Formalisering: Het probleem van actie-verklaring voor MAS wordt geformaliseerd binnen de context van partially observable stochastic games.
2. Framework: De introductie van AXIS, een nieuwe methode voor het genereren van actie-verklaringen met behulp van counterfactual simulaties en LLMs.
3. Evaluatiemethodologie: Een uitgebreid evaluatieframework voor uitlegbare SDM dat combineert:
   • Kwalitatieve correctheid-analyse.
   • Robuustheidstesten tegen hyperparameters en modelvariaties.
   • Subjectieve voorkeur-metrieken (volledigheid, tevredenheid, detail, betrouwbaarheid).
   • Objectieve actieerbaarheid-metrieken (doel- en volgende-actie voorspellingsnauwkeurigheid).
   • Het gebruik van een extern LLM als beoordelaar om evaluatie te schalen.
4. Empirische Validatie: Experimenten uitgevoerd op autonome rij-planning over tien scenario's (rationeel, irrationeel en occlusie) met vijf verschillende LLMs.

Resultaten
De evaluatie, uitgevoerd op autonome rij-scenario's met tot vijf agenten, leverde de volgende bevindingen op:

• Waargenomen Correctheid: AXIS verbeterde de waargenomen correctheid van verklaringen met minstens 7,7% over alle geteste modellen vergeleken met een "ModelOnly" baseline (waarbij het LLM alleen de initiële context ontvangt zonder simulatie).
• Doelvoorspelling: AXIS verbeterde de nauwkeurigheid van doelvoorspelling met 23% voor vier van de vijf geteste modellen.
• Actievoorspelling: Resultaten waren vergelijkbaar of verbeterd voor actievoorspelling over vier modellen.
• Nut van Interrogatie: Analyse van prompt-gebruik toonde aan dat modellen die remove en whatif prompts gebruikten (die counterfactual redeneren faciliteren) hogere correctheidsscores behaalden. Modellen die deze prompts niet gebruikten (bijv. DeepSeek-V3) presteerden slecht.
• Beperkingen in Redeneren: Hoewel effectief in rationele scenario's, had AXIS moeite met irrationeel agentgedrag en occlusie-factoren. LLMs hadden de neiging om rationele naleving van regels aan te nemen en faalden in het voorstellen van interventies die irrationeel gedrag afdwongen of het correct afleiden van occludeerde agenten, wat de huidige beperkingen van LLM-redeneren met betrekking tot partiële observeerbaarheid benadrukt.
• Modelvariantie: Geen enkel LLM domineerde alle metrieken. Sterkere redeneermodellen (bijv. o4-mini, DeepSeek-R1) boden een hoge waargenomen correctheid maar soms lagere actieerbaarheidsscores, mogelijk door excessieve context die de evaluator-LLM "verward".

Betekenis en Claims
Het artikel claimt dat AXIS een belangrijke stap voorwaarts vertegenwoordigt in uitlegbare MAS door te verschuiven van statische, post-hoc feature attributie naar dynamische, interactieve counterfactual redenering. De auteurs stellen dat hun interrogatie-synthese proces toestaat om de meest relevante causale factoren te selecteren, wat resulteert in verklaringen die nauwkeuriger en acteerbaarder zijn voor downstream taken zoals doelvoorspelling.

De auteurs houden echter een bescheiden standpunt aan met betrekking tot hun claims:

• Zij erkennen dat het gebruik van een LLM als evaluator potentiële biases introduceert, met name in subjectieve voorkeursscores, en pleiten voor toekomstig onderzoek met menselijke proefpersonen.
• Zij merken op dat het succes van de methode momenteel begrensd wordt door de capaciteiten van de onderliggende LLMs, specifiek met betrekking tot redeneren over irrationaliteit en partiële observeerbaarheid.
• Zij benadrukken dat het gebrek aan gestandaardiseerde baselines in het veld directe vergelijkingen beperkt, hoewel zij een "ModelOnly" baseline hebben opgezet om hun verbeteringen te contextualiseren.
• Het werk wordt gepresenteerd als een proof-of-concept voor de integratie van simulatie en taalmodellen, waarbij de schaalbaarheid naar grotere aantallen agenten en discrete domeinen een open vraag blijft voor toekomstig onderzoek.