TriEx: A Game-based Tri-View Framework for Explaining Internal Reasoning in Multi-Agent LLMs

1. Il Problema

L'articolo affronta la sfida critica della spiegabilità (explainability) degli agenti basati su Large Language Models (LLM) in contesti interattivi, parzialmente osservabili e multi-agente.

• Limiti delle metodologie attuali: I metodi esistenti (come le giustificazioni post-hoc o le tracce Chain-of-Thought) sono stati sviluppati principalmente per compiti statici a turno singolo. Falliscono nel catturare la dinamica delle credenze dipendenti dall'interazione e il ragionamento multi-agente.
• Il divario di fedeltà: Osservazioni empiriche (es. AlphaArena) mostrano che, in ambienti strategici complessi, le spiegazioni naturali degli LLM spesso divergono dalle decisioni effettivamente prese, suggerendo una razionalizzazione post-hoc e una scarsa fedeltà al processo decisionale interno.
• Mancanza di modelli interni: Non è chiaro se gli LLM sviluppino modelli mentali coerenti degli avversari (credenze su preferenze, tendenze e profili strategici) e come queste rappresentazioni influenzino le decisioni successive.

2. Metodologia: Il Framework TriEx

Gli autori introducono TriEx, un framework di spiegabilità a "tre viste" (tri-view) progettato per ispezionare il processo decisionale degli agenti LLM in ambienti controllati (in questo caso, il Poker Texas Hold'em). TriEx trasforma le spiegazioni da narrazioni libere in oggetti ancorati a prove, confrontabili nel tempo e tra prospettive diverse.

Il framework instrumenta ogni punto decisionale con una traccia strutturata che include tre prospettive complementari:

A. Prima Persona (First-Person View)

• Cosa è: L'auto-spiegazione strutturata dell'agente prima dell'esecuzione dell'azione.
• Implementazione: L'agente produce un artefatto contenente una breve narrazione in linguaggio naturale e un record decisionale macchina-leggibile (JSON) che vincola l'azione a variabili decisionali dichiarate (es. forza della mano, atteggiamento al rischio).
• Scopo: Trattare la spiegazione come un'ipotesi verificabile sul processo decisionale interno, ancorata a fatti oggettivi del gioco.

B. Seconda Persona (Second-Person View)

• Cosa è: La rappresentazione interna dell'agente riguardo agli altri giocatori (modelli degli avversari).
• Implementazione: L'agente mantiene e aggiorna dinamicamente un "profilo avversario" esplicito. Questo profilo è un vettore su dimensioni comportamentali interpretabili (es. Aggressività, Tolleranza al Rischio, Frequenza di Bluff) e include un razionale per gli aggiornamenti basati sulle evidenze osservate.
• Scopo: Rendere trasparenti le credenze latenti sugli avversari e tracciarne l'evoluzione durante l'interazione.

C. Terza Persona (Third-Person View)

• Cosa è: Un audit esterno condotto da un "Oracolo" (un altro LLM o un controllore deterministico).
• Implementazione: L'oracolo analizza la traccia completa (azione, auto-spiegazione, profili avversari) e la confronta con segnali di riferimento oggettivi derivati dall'ambiente (es. probabilità di vincita, pot odds, statistiche comportamentali reali).
• Scopo: Verificare la coerenza tra ciò che l'agente dice, ciò che crede e ciò che fa, identificando incoerenze sistematiche.

3. Contributi Chiave

1. Framework TriEx: Un nuovo paradigma per la spiegabilità che integra auto-spiegazioni, modelli di avversari e audit esterni in un'unica struttura testabile.
2. Metodologia di Valutazione: Abilita il controllo incrociato (cross-view checks) per misurare la fedeltà delle spiegazioni, la fondazione delle credenze e l'affidabilità dei valutatori (LLM-as-Judge).
3. Benchmarks e Analisi: Dimostra l'efficacia del framework in un ambiente di gioco strategico (Poker), fornendo un protocollo per analizzare la dinamica delle credenze e la coerenza comportamentale.

4. Risultati Sperimentali

Lo studio ha coinvolto diversi modelli LLM (sia open-weight che proprietari) in partite di Texas Hold'em contro agenti algoritmici e altri LLM. Le scoperte principali sono:

• Degrado della fedeltà per complessità (Finding 1): La fedeltà delle auto-spiegazioni diminuisce sistematicamente all'aumentare della complessità decisionale. Mentre le spiegazioni pre-flop sono spesso fedeli, quelle post-flop mostrano un aumento significativo di razionalizzazioni post-hoc (spiegazioni plausibili ma non allineate alla decisione reale).
• Divergenza delle interpretazioni interne (Finding 2): Gli agenti sviluppano credenze stabili sugli avversari. Tuttavia, mentre le credenze legate ad azioni superficiali (es. aggressività) convergono tra modelli diversi, le interpretazioni di livello superiore (es. tolleranza al rischio) divergono sistematicamente, rivelando semantiche interne specifiche del modello.
• Sensibilità causale delle credenze (Finding 3): Le credenze di seconda persona sono causalmente sensibili. Interventi controllati sui vettori di credenza (modificando i valori numerici senza cambiare il prompt testuale) inducono cambiamenti sistematici e coerenti nelle distribuzioni delle azioni, dimostrando che queste credenze guidano realmente il comportamento.
• Gerarchia di affidabilità nella valutazione (Finding 4-6):
  • Gli audit basati su LLM sono affidabili per giudizi categoriali e di ranking (es. "l'agente ha sovrastimato il rischio?").
  • Sono invece instabili per punteggi assoluti scalari (es. "quanto è fedele la spiegazione su una scala da 1 a 5").
  • L'affidabilità dell'audit degrada in stati decisionali complessi (post-flop) o con mani forti, dove l'ambiguità aumenta.

5. Significato e Implicazioni

Il lavoro di TriEx ha implicazioni profonde per la ricerca sugli agenti LLM:

• Spiegabilità dipendente dall'interazione: La qualità di una spiegazione non è una proprietà statica, ma emerge dall'interazione dinamica e dalla complessità del contesto.
• Oltre l'introspezione: Per comprendere gli agenti multi-agente, è necessario analizzare non solo ciò che dicono, ma anche come modellano gli altri e come queste credenze influenzano le azioni.
• Nuovi standard di valutazione: Suggerisce un passaggio da metriche di punteggio singolo a valutazioni strutturate e comparative. La capacità di un modello di fornire spiegazioni fedeli e credenze coerenti è un indicatore critico della sua robustezza in ambienti incerti.
• Generalizzabilità: Sebbene testato sul Poker, il framework è applicabile a qualsiasi dominio decisionale interattivo con informazione parziale (negoziazione, pianificazione, coordinamento multi-agente).

In sintesi, TriEx fornisce un metodo rigoroso per "aprire la scatola nera" degli agenti LLM in contesti sociali complessi, rivelando discrepanze sistematiche tra ragionamento dichiarato, modelli interni e azioni eseguite, e offrendo strumenti per migliorare la trasparenza e l'affidabilità di questi sistemi.