Explainable Decision Graphs for Trustworthy Autonomous Multi-Agent Systems

Technische Samenvatting: Uitlegbare Beslissingsgrafieken voor Betrouwbare Autonome Multi-Agent Systemen

Probleemstelling
Autonome Multi-Agent Systemen (MAS) worden steeds vaker ingezet in kritieke domeinen zoals de gezondheidszorg, financiën, cybersecurity en autonoom transport. Hoewel deze systemen flexibiliteit en schaalbaarheid bieden door middel van gedistribueerde besluitvorming, creëert hun collaboratieve aard een "black box"-probleem. Eindbeslissingen ontstaan vaak uit complexe sequenties van observaties, communicatie tussen agenten, intermediaire redeneringen, conflicten en verificatiestappen. Bestaande technieken voor Explainable Artificial Intelligence (XAI), specifiek Local Interpretable Model-Agnostic Explanations (LIME) en SHapley Additive exPlanations (SHAP), zijn primair ontworpen om individuele machine learning-voorspellingen uit te leggen. Ze missen het vermogen om systeembrede fenomenen weer te geven, zoals welke specifieke agenten hebben bijgedragen aan een beslissing, hoe bewijslast is uitgewisseld, hoe conflicten zijn opgelost of hoe verificatieregels zijn toegepast. Bijgevolg is er een kloof in het representeren van het gedistribueerde redeneerproces van MAS in een vorm die begrijpelijk, traceerbaar en verifieerbaar is.

Methodologie: De Explainable Decision Graph (EDG)
Om dit gat te dichten, stelt het papier het Explainable Decision Graph (EDG) framework voor. Dit framework fungeert als een uitleg- en traceerbaarheidslaag die naast, in plaats van ter vervanging van, de onderliggende autonome agenten opereert. De methodologie bestaat uit vier primaire modules:

1. Agent Execution and Monitoring: Deze module monitort de runtime van autonome agenten en registreert gebeurtenissen inclusief agent-identificatoren, inputs/observaties, intermediaire beslissingen, betrouwbaarheidsscores, ondersteunend bewijs en tijdstempels.
2. Inter-Agent Interaction Tracking: Deze module registreert communicatie tussen agenten, gedefinieerd als tupels van zender, ontvanger, bericht en tijd. Het houdt specifiek rekening met conflicten waarbij agenten uiteenlopende beslissingen voorstellen.
3. Explainable Decision Graph Construction: De kern van het framework construeert een gerichte graaf $G = (V, E)$. De verzameling knopen $V$ is een unie van agent-knopen, input/observatie-knopen, bewijsknopen, beslissingsknopen, verificatieknopen en actie-knopen. Randen representeren relaties zoals "ondersteunt", "beïnvloedt", "communiceert", "spreekt tegen", "verifieert" en "produceert". Deze structuur maakt het mogelijk om de beslissing van een finale systeemactie achterwaarts te traceren naar de bijdragende agenten en bewijslast.
4. Verification and Explanation Generation: Een verificatielaag controleert beslissingen tegen vooraf gedefinieerde veiligheids- en beleidsrestricties ($D |= R$). Op basis van de grafische structuur genereert het systeem verklaringen op drie verschillende niveaus:
   • User-level: Een beknopte samenvatting van de primaire reden voor de beslissing.
   • Developer-level: Gedetailleerde informatie met betrekking tot agenten, bewijslast, interacties en verificatie.
   • Auditor-level: Een volledige trace van beslissingsgebeurtenissen en verificatieresultaten.

Het framework maakt gebruik van de MAESTRO MAS Benchmark voor experimentele evaluatie, die executietraces van 12 multi-agent systemen biedt. De voorgestelde evaluatiemethodologie richt zich op metrieken zoals verklarende getrouwheid (fidelity), volledigheid, beslissingstraceerbaarheid, menselijke begrijpelijkheid, beslissingsnauwkeurigheid, verklarende consistentie en computationele overhead.

Belangrijkste Bijdragen
Het papier schetst vijf primaire bijdragen aan het veld van betrouwbare AI:

1. Systeem-niveau Grafische Representatie: Een nieuwe grafische structuur voor het verklaren van multi-agent beslissingen die verder gaat dan individuele modelverklaringen.
2. Interactie-bewuste Traceerbaarheid: Een mechanisme dat agenten, bewijslast, intermediaire beslissingen en finale acties expliciet verbindt en de onderlinge afhankelijkheden tussen agenten vastlegt.
3. Verificatie-bewuste Verklaring: Een geïntegreerd mechanisme dat ervoor zorgt dat beslissingspaden kunnen worden getoetst aan veiligheids- en beleidsrestricties.
4. Multi-level Verklaringen: Het vermogen om verklaringen af te stemmen op verschillende belanghebbenden (gebruikers, ontwikkelaars, auditors) op basis van dezelfde onderliggende grafische data.
5. Experimentele Methodologie: Een voorgesteld framework voor het evalueren van EDG ten opzichte van bestaande benaderingen (LIME, SHAP, agent-niveau XAI) met kwantitatieve en kwalitatieve metrieken.

Resultaten en Experimentele Status
Het papier vermeldt expliciet dat empirische numerieke resultaten zijn voorbehouden aan de implementatie- en evaluatiefase. Bijgevolg presenteert de sectie "Resultaten" geen prestatiegegevens, nauwkeurigheidsscores of latentiemetingen. In plaats daarvan biedt het:

• Conceptuele Vergelijkingen: Een tabel (Tabel I) die illustreert dat, in tegen tegenstelling tot LIME of SHAP, het voorgestelde EDG ondersteuning biedt voor agent-niveau, interactie-niveau, traceerbaarheid en verificatie.
• Meetbare Visualisaties: Figuren en tabellen (bijv. Fig. 4, Tabel II, Fig. 7) worden gepresenteerd als templates voor toekomstige data. Deze geven aan dat grafische complexiteit zal worden gemeten tegen het aantal participerende agenten en dat prestatievergelijkingen zullen worden uitgevoerd tegen baselines.
• Statistisch Framework: Het papier definieert de statistische methoden (beschrijvende statistiek, t-toetsen, ANOVA, betrouwbaarheidsintervallen) die zullen worden gebruikt om de data te analyseren zodra het framework wordt uitgevoerd op de MAESTRO-dataset.

Significantie en Claims
Het papier claimt bescheiden dat het EDG-framework een fundamentele structuur biedt voor systeem-niveau traceerbaarheid, transparantie en verantwoording in autonome MAS. Het voert aan dat hoewel bestaande methoden zoals LIME en SHAP waardevol zijn voor individuele modellen, ze onvoldoende zijn voor de collaboratieve redenering die kenmerkend is voor MAS. De significantie van dit werk ligt in het vermogen om:

• Het volledige beslissingspad, inclusief conflicten en verificatiegebeurtenissen, te representeren.
• Gebruikers in staat te stellen finale beslissingen terug te traceren naar specifieke agenten en bewijslast.
• De verificatie van beslissingen tegen veiligheidsrestricties te ondersteunen.

De auteur erkent beperkingen en merkt op dat beslissingsgrafieken groot kunnen worden bij een toename van het aantal agenten, wat potentieel de computationele overhead en de menselijke interpreteerbaarheid bemoeilijkt. Het papier concludeert dat het framework een stap is naar betrouwbare AI, maar benadrukt dat empirische validatie vereist is om claims over prestatieverbeteringen of statistische significantie te onderbouwen. Toekomstig werk wordt geïdentificeerd als gericht op real-time constructie, causale redenering, integratie met Large Language Models en formele verificatie.