Explaining Reinforcement Learning Agents via Inductive Logic Programming

Technische Samenvatting: Het verklaren van Reinforcement Learning-agenten via Inductive Logic Programming

Probleemstelling
Explainable Reinforcement Learning (XRL) streeft ernaar om geleerde beleidsregels (policies) transparant en interpreteerbaar te maken, een noodzaak voor veiligheidskritische en mensgerichte toepassingen. Huidige XRL-benaderingen kampen echter met twee primaire beperkingen:

1. Subjectiviteit: De meeste methoden vertrouwen op gebruikersstudies (bijv. getrouwheid, begrijpelijkheid) die gericht zijn op specifieke doelgroepen en geen gedeelde, objectieve evaluatiemetrieken hebben.
2. Gebrek aan Kwantificering: Hoewel logica-gebaseerde benaderingen in Explainable AI (XAI) menselijk leesbare abstracties bieden, is er geen systematische manier om de mate van verklaarbaarheid van deze logische representaties te kwantificeren. Bestaande metrieken richten zich vaak op feature-belangrijkheid in statisch supervised learning of globale return, maar falen in het vastleggen van actie-specifieke dynamiek, de evolutie van beleid tijdens training, of de onderlinge relaties tussen agenten in Multi-Agent Reinforcement Learning (MARL).

Methodologie
De auteurs stellen een framework voor dat Inductive Logic Programming (ILP) combineert met Answer Set Programming (ASP) om symbolische representaties van RL-beleidsregels te extraheren en een nieuwe set objectieve, gebruikersonafhankelijke metrieken te definiëren om deze te evalueren.

1. Beleidsextractie via ILP:

   • Het systeem observeert executietracés (toestand-actie paren) van getrainde RL-agenten (bijv. DQN, MAPPO).
   • Deze tracés worden geformaliseerd als Context-Dependent Partial Interpretations (CDPI's) binnen het ASP-formalisme.
   • Met behulp van het ILP-systeem induceert het framework een hypothese $H$ (een verzameling logische regels) die het waargenomen gedrag het beste verklaart, wat dient als een symbolische benadering van de black-box policy $\pi$.

2. Nieuwe Verklaarbaarheidsmetrieken:
   Het artikel definieert vier metrieken om de eigenschappen van de geleerde symbolische beleidsregels te kwantificeren:

   • Activatiepercentage ($\alpha$): Meet hoe vaak specifieke regels of acties in het symbolische beleid overeenkomen met het werkelijke gedrag van de agent. Het identificeert welke actie-specifieke beleidsregels robuust zijn geleerd en brengt overfitting of instabiliteit in kaart.
   • Feature Coverage ($\phi$): Kwantificeert het aandeel van de symbolische theorie dat gebruikmaakt van specifieke omgevingskenmerken (features). In tegenstelling tot globale feature-belangrijkheid biedt dit een verfijnd beeld van de relevantie van features per actie.
   • Syntactische Afstand ($\lambda$): Berekent de structurele dissimilariteit (Jaccard-index van regelcorpora) tussen twee symbolische theorieën. Het beoordeelt of verschillende agenten of trainingscheckpoints op dezelfde domeinconcepten vertrouwen.
   • Semantische Afstand ($\delta$): Meet de gedragsdivergentie tussen twee theorieën onder identieke omstandigheden door hun gegenereerde answer sets te vergelijken. Het legt vast of beleidsregels consistente beslissingen produceren, zelfs als hun syntactische structuren verschillen.

Belangrijkste Bijdragen

• Objectieve Metrieken voor XRL: Dit werk introduceert het eerste evaluatieframework dat specifetisch gericht is op het kwantitatief verklaren van diverse aspecten van RL- en MARL-beleidsregels met behulp van objectieve, gebruikersonafhankelijke criteria.
• Actie-specifieke Analyse: De metrieken gaan verder dan globale return-curves door de convergentie, robuustheid en specialisatie van sub-beleidsregels voor individuele acties te analyseren.
• Multi-Agent Dynamiek: Het framework biedt instrumenten om coördinatie-, specialisatie- en adaptatiepatronen in MARL te analyseren door de symbolische benaderingen van verschillende agenten te vergelijken.
• Beoordeling van Generalisatie: De metrieken worden toegepast om de overdraagbaarheid van geleerde symbolische regels naar scenario's buiten de distributie (out-of-distribution) en variërende domeincomplexiteiten te evalueren.

Experimentele Resultaten
Het framework werd geëvalueerd in zowel single-agent (Intersection domain) als multi-agent (RWARE coöperatief, Simple Adversary contrastief) omgevingen.

• Trainingsdynamiek: Het activatiepercentage onthulde dat symbolische representaties vaak convergeren voordat de globale return-curve stabiliseert. Het maakte ook duidelijk dat bepaalde acties (bijv. "load" in RWARE) betrouwbaarder worden geleerd dan andere (bijv. beweging), iets wat globale metrieken missen.
• Multi-Agent Alignement: Syntactische en semantische afstanden toonden aan dat terwijl agenten in coöperatieve taken (RWARE) gealigneerde gedragingen ontwikkelen (lage semantische afstand), agenten in competitieve taken (Simple Adversary) een hoge divergentie behouden. Opvallend genoeg ontwikkelden zelfs agenten die op dezelfde taak waren getraind in Simple Adversary semantisch verschillende strategieën (specialisatie), ondanks vergelijkbare returns.
• Feature Belangrijkheid: Feature coverage toonde aan dat standaardmethoden voor feature-belangrijkheid misleidend kunnen zijn. Zo werd in RWARE de "good_shelf" feature steeds kritischer voor de "load"-actie specifiek, een nuance die door geaggregeerde analyse verborgen blijft.
• Generalisatie: Wanneer getest in moeilijkere omgevingen, bleef het activatiepercentage van specifieke regels (bijv. "load") hoog, wat aangeeft dat het framework kan identificeren welke geleerde vaardigheden robuust en overdraagbaar zijn.

Betekenis en Claims
De auteurs claimen dat dit werk de stand van de techniek vooruithelpt door rigoureuze, objectieve en interpreteerbare metrieken aan te bieden om de eigenschappen van symbolische beleidsregels te evalueren. De betekenis ligt in:

• Debugging en Verfijning: Het bieden van instrumenten om te begrijpen waarom een agent op een bepaalde manier handelt, waardoor de identificatie van non-stationariteit, instabiliteit of overfitting in specifieke acties mogelijk wordt.
• Betrouwbaarheid: Het verplaatsen van XRL van subjectieve gebruikersstudies naar principiële, kwantitatieve beoordelingen van de robuustheid en generalisatie van beleid.
• MARL Inzichten: Het blootleggen van coördinatie- en specialisatiepatronen in multi-agent systemen die onzichtbaar zijn voor conventionele prestatie-metrieken.

Het artikel concludeert dat hoewel het framework een belangrijke stap voorwaarts is, toekomstig werk de temporele afhankelijkheden moet verkennen, gebruikersgerichte evaluaties met deze objectieve metrieken moet integreren en de aanpak moet toepassen op complexere, real-world veiligheidskritische systemen.