TriEx: A Game-based Tri-View Framework for Explaining Internal Reasoning in Multi-Agent LLMs

Probleemstelling

De uitlegbaarheid (explainability) van Large Language Model (LLM) agents is bijzonder uitdagend in interactieve omgevingen met gedeeltelijke waarneembaarheid, zoals strategische spellen. Bestaande methoden voor uitleg, zoals Chain-of-Thought (CoT) of post-hoc redeneringen, zijn voornamelijk ontwikkeld voor statische, single-turn taken. Ze falen echter om de dynamiek van overtuigingen (beliefs) te vangen die evolueren door interactie met andere agents.

Recente observaties (bijv. in AlphaArena) tonen aan dat zelfs state-of-the-art modellen in interactieve settings onstabiele strategieën vertonen en dat hun natuurlijke taal-uitleg vaak afwijkt van de daadwerkelijk uitgevoerde beslissingen. Dit suggereert "post-hoc rationalisatie" in plaats van eerlijke uitleg. Er ontbreekt een raamwerk om te onderzoeken hoe LLMs andere agents modelleren, hoe ze hun overtuigingen updaten, en hoe betrouwbaar hun interne redenering is in vergelijking met hun daden.

Methodologie: Het TriEx Framework

TriEx is een raamwerk dat de uitlegbaarheid van LLM-agents benadert vanuit drie complementaire perspectieven (de "Tri-View"), geïnspireerd door menselijke sociale cognitie. Het framework instrumenteert sequentiële besluitvorming met uitgelijnde artefacten in een gecontroleerde omgeving (Texas Hold'em poker).

Elke beslissing wordt vastgelegd in een gestructureerde "decision trace" die dient als basis voor drie views:

1. Eerste Perspectief (First-Person View):

   • Doel: De eigen redenering van de agent vastleggen.
   • Implementatie: Voordat een agent een actie uitvoert, moet deze een gestructureerd "zelf-redenerings-artefact" genereren. Dit bevat een vrije tekst-uitleg en een machine-leesbare JSON met de gekozen actie en interne beslissingsvariabelen (bijv. handsterkte, risicobereidheid).
   • Functie: Dit maakt de zelftoelichting een testbare hypothese die direct gekoppeld is aan de uitgevoerde actie en objectieve spelstatistieken.

2. Tweede Perspectief (Second-Person View):

   • Doel: De interne modellen van de agent over andere spelers blootleggen.
   • Implementatie: De agent onderhoudt expliciete "profielstaten" van tegenstanders, bijgewerkt na elke interactie. Deze profielen bestaan uit een vector van interpreteerbare gedragsdimensies (bijv. agressiviteit, risicotolerantie, blufffrequentie) en een kwalitatieve samenvatting.
   • Functie: Dit maakt zichtbaar hoe de agent de intenties en neigingen van anderen interpreteert en hoe deze overtuigingen de latere beslissingen beïnvloeden.

3. Derde Perspectief (Third-Person View):

   • Doel: Een onafhankelijke audit van de consistentie tussen de bovenstaande views.
   • Implementatie: Een "Oracle" (een LLM of een deterministische regelcheck) analyseert de volledige beslissingstrace. De Oracle vergelijkt de eerste-persoons uitleg, de tweede-persoons overtuigingen en de uitgevoerde actie met objectieve, door de omgeving gegenereerde referentiesignalen (zoals pot-odds en hand-equity).
   • Functie: Dit detecteert inconsistenties, rationalisaties en beoordeelt de betrouwbaarheid van de uitleg.

Belangrijkste Bijdragen

1. Het TriEx Framework: Een nieuw raamwerk dat uitlegbaarheid transformeert van vrije tekst naar bewijs-gebaseerde objecten die over tijd en perspectieven kunnen worden vergeleken.
2. Testbaarheid van Agent Uitleg: Het mogelijk maken van cross-view checks om de "trouw" (faithfulness) van uitleg aan acties te testen, de causaliteit van overtuigingen te verifiëren via interventies, en de betrouwbaarheid van evaluatoren te meten.
3. Empirische Patronen: Het identificeren van drie robuuste patronen in het gedrag van LLM-agents:
   • De trouw van redenering verslechtert naarmate de complexiteit van de beslissing toeneemt.
   • Overtuigingen over tegenstanders zijn gevoelig voor interventies en vormen daadwerkelijk het beslissingsgedrag.
   • De betrouwbaarheid van evaluatie door LLMs hangt af van het type oordeel (categorisch vs. absoluut scoren).

Resultaten en Bevindingen

De experimenten werden uitgevoerd in Texas Hold'em met een mix van open-source en proprietary LLMs (zoals GPT-4, DeepSeek, Llama, Qwen) tegen algoritmische tegenstanders.

• Afname van Redeneertrouw (Finding 1): Er is een duidelijke correlatie tussen complexiteit en uitlegkwaliteit. In de vroege fase van het spel (Preflop) zijn uitleggen vaak trouw aan de actie. Zodra gemeenschappelijke kaarten worden gedeeld en de complexiteit toeneemt (Flop, Turn, River), neemt het aantal "gerationaliseerde" uitleggen (waarbij de tekst niet overeenkomt met de daadwerkelijke redenering) sterk toe.
• Interne Modellen en Causaliteit (Finding 2 & 3): Agents bouwen stabiele interne modellen van tegenstanders. Beloften over oppervlakkige acties (zoals agressiviteit) convergeren snel tussen modellen, maar abstracte interpretaties (zoals risicotolerantie) divergeren. Cruciaal is dat het manipuleren van deze interne overtuigingsvectors (interventies) leidt tot systematische en semantisch consistente veranderingen in het gedragsbeleid, wat bewijst dat deze overtuigingen causaal invloed hebben op de beslissingen.
• Betrouwbaarheid van Evaluatie (Finding 4, 5 & 6):
  • LLM-evaluatoren kunnen consistente signalen van redelijkheid vangen, maar hun betrouwbaarheid neemt af in complexe situaties.
  • Er is een hiërarchie van betrouwbaarheid: Categorische en rangschikkings-gebaseerde oordelen (bijv. "is deze uitleg beter dan die?") zijn zeer robuust over verschillende modellen heen.
  • Absolute scores (bijv. "geef een score van 1 tot 5") zijn echter zeer instabiel en afhankelijk van het specifieke evaluatiemodel.

Significantie en Implicaties

TriEx biedt een fundamentele verschuiving in hoe we uitlegbaarheid voor LLM-agents benaderen:

• Interactie-afhankelijkheid: Uitlegbaarheid is geen statische eigenschap van een model, maar een interactie-afhankelijke eigenschap die alleen volledig begrepen kan worden in dynamische, multi-agent omgevingen.
• Van "Is het correct?" naar "Wat werkt?": In plaats van te vragen of een uitleg in isolation correct is, stelt TriEx de vraag welke interne representaties echt invloed hebben op gedrag en wanneer uitleg systematisch faalt.
• Evaluatie Benchmark: Het framework fungeert als een diagnostisch instrument dat niet alleen prestaties meet, maar ook de kwaliteit van redenering, overtuigingsvorming en stabiliteit van agents in kaart brengt via een multidimensionaal profiel.

Samenvattend stelt TriEx dat voor betrouwbare uitlegbaarheid in multi-agent systemen een multi-perspectief aanpak nodig is, waarbij uitleg wordt verankerd in objectieve bewijslast en waarbij de betrouwbaarheid van de evaluatie zelf kritisch wordt onderzocht.