Explainable Decision Graphs for Trustworthy Autonomous Multi-Agent Systems

Sintesi Tecnica: Grafi Decisionali Spiegabili per Sistemi Multi-Agente Autonomi Affidabili

Definizione del Problema
I Sistemi Multi-Agente (MAS) autonomi sono sempre più impiegati in domini critici come la sanità, la finanza, la cybersicurezza e il trasporto autonomo. Sebbene questi sistemi offrano flessibilità e scalabilità attraverso il processo decisionale distribuito, la loro natura collaborativa crea un problema di "scatola nera" (black box). Le decisioni finali emergono spesso da sequenze complesse di osservazioni, comunicazioni tra agenti, ragionamenti intermedi, conflitti e passaggi di verifica. Le tecniche esistenti di Intelligenza Artificiale Spiegabile (XAI), specificamente LIME (Local Interpretable Model-Agnostic Explanations) e SHAP (SHapley Additive exPlanations), sono progettate principalmente per spiegare singole predizioni di modelli di machine learning. Esse mancano della capacità di rappresentare fenomeni a livello di sistema, come quali agenti specifici abbiano contribuito a una decisione, come siano state scambiate le prove, come siano stati risolti i conflitti o come siano state applicate le regole di verifica. Di conseguenza, esiste una lacuna nella rappresentazione del processo di ragionamento distribuito dei MAS in una forma comprensibile, tracciabile e verificabile.

Metodologia: Il Grafo Decisionale Spiegabile (EDG)
Per affrontare questa lacuna, il documento propone il framework Explainable Decision Graph (EDG). Questo framework funge da livello di spiegazione e tracciabilità che opera accanto, piuttosto che sostituire, gli agenti autonomi sottostanti. La metodologia si compone di quattro moduli primari:

1. Esecuzione e Monitoraggio degli Agenti: Questo modulo monitora l'esecuzione dei runtime degli agenti autonomi, registrando eventi tra cui identificativi degli agenti, input/osservazioni, decisioni intermedie, punteggi di confidenza, prove a supporto e timestamp.
2. Tracciamento delle Interazioni tra Agenti: Questo modulo registra le comunicazioni tra agenti, definite come tuple di mittente, destinatario, messaggio e tempo. Traccia specificamente i conflitti in cui gli agenti propongono decisioni divergenti.
3. Costruzione del Grafo Decisionale Spiegabile: Il cuore del framework costruisce un grafo diretto $G = (V, E)$. L'insieme dei nodi $V$ è l'unione di nodi-agente, nodi di input/osservazione, nodi di prova, nodi decisionali, nodi di verifica e nodi di azione. Gli archi rappresentano relazioni quali "supporta", "influenza", "comunica", "contraddice", "verifica" e "produce". Questa struttura consente il tracciamento a ritroso di un'azione finale del sistema verso i suoi agenti e le sue prove contribuenti.
4. Verifica e Generazione della Spiegazione: Un livello di verifica controlla le decisioni rispetto a vincoli di sicurezza e policy predefiniti ($D |= R$). In base alla struttura del grafo, il sistema genera spiegazioni a tre livelli distinti:
   • Livello Utente: Un riepilogo conciso del motivo principale della decisione.
   • Livello Sviluppatore: Informazioni dettagliate riguardanti agenti, prove, interazioni e verifica.
   • Livello Auditor: Una traccia completa degli eventi decisionali e dei risultati di verifica.

Il framework utilizza il benchmark MAESTRO MAS per la valutazione sperimentale, che fornisce tracce di esecuzione da 12 sistemi multi-agente. La metodologia di valutazione proposta si concentra su metriche quali fedeltà della spiegazione, completezza, tracciabilità della decisione, comprensibilità umana, accuratezza decisionale, coerenza della spiegazione e overhead computazionale.

Contributi Chiave
Il documento delinea cinque contributi primari al campo dell'IA affidabile:

1. Rappresentazione Grafica a Livello di Sistema: Una nuova struttura basata su grafi per spiegare le decisioni multi-agente che va oltre le spiegazioni dei singoli modelli.
2. Tracciabilità Consapevole delle Interazioni: Un meccanismo che connette esplicitamente agenti, prove, decisioni intermedie e azioni finali, catturando le dipendenze inter-agente.
3. Spiegazione Consapevole della Verifica: Un meccanismo integrato che assicura che i percorsi decisionali possano essere esaminati rispetto ai vincoli di sicurezza e di policy.
4. Spiegazioni Multi-livello: La capacità di personalizzare le spiegazioni per diversi stakeholder (utenti, sviluppatori, auditor) basandosi sugli stessi dati grafici sottostanti.
5. Metodologia Sperimentale: Un framework proposto per valutare l'EDG rispetto agli approcci esistenti (LIME, SHAP, XAI a livello di agente) utilizzando metriche quantitative e qualitative.

Risultati e Stato Sperimentale
Il documento dichiara esplicitamente che i risultati numerici empirici sono riservati alla fase di implementazione e valutazione. Di conseguenza, la sezione "Risultati" non presenta dati sulle prestazioni, punteggi di accuratezza o misurazioni di latenza. Presenta invece:

• Confronti Concettuali: Una tabella (Tabella I) che illustra come, a differenza di LIME o SHAP, il proposto EDG supporti capacità a livello di agente, a livello di interazione, di tracciabilità e di verifica.
• Visualizzazioni Pronte alla Misurazione: Figure e tabelle (ad esempio, Fig. 4, Tabella II, Fig. 7) sono presentate come modelli per dati futuri. Indicano che la complessità del grafo sarà misurata rispetto al numero di agenti partecipanti e che i confronti sulle prestazioni saranno condotti rispetto ai baseline.
• Framework Statistico: Il documento definisce i metodi statistici (statistica descrittiva, t-test, ANOVA, intervalli di confidenza) che verranno utilizzati per analizzare i dati una volta che il framework sarà eseguito sul dataset MAESTRO.

Significatività e Rivendicazioni
Il documento rivendica con modestia che il framework EDG fornisce una struttura fondamentale per la tracciabilità, la trasparenza e la responsabilità a livello di sistema. Sostiene che, sebbene i metodi esistenti come LIME e SHAP siano preziosi per i singoli modelli, essi siano insufficienti per il ragionamento collaborativo tipico dei MAS. La significatività di questo lavoro risiede nella sua capacità di:

• Rappresentare l'intero percorso decisionale, inclusi conflitti ed eventi di verifica.
• Consentire agli utenti di risalire dalle decisioni finali a specifici agenti e prove.
• Supportare la verifica delle decisioni rispetto ai vincoli di sicurezza.

L'autore riconosce i limiti, notando che i grafi decisionali possono diventare estesi con l'aumentare del numero di agenti, aumentando potenzialmente l'overhead computazionale e le sfide di interpretabzza umana. Il documento conclude che il framework è un passo verso un'IA affidabile, ma sottolinea che è necessaria la validazione empirica per sostanziare le affermazioni riguardanti i miglioramenti delle prestazioni o la significatività statistica. Il lavoro futuro è identificato nel focus su costruzione in tempo reale, ragionamento causale, integrazione con i Large Language Models e verifica formale.