ReasonX: Declarative Reasoning on Explanations

Het artikel introduceert ReasonX, een declaratief en interactief uitlegtool dat gebruikmaakt van een gesloten algebra van lineaire constraints en Mixed-Integer Linear Programming om verklaringen te genereren voor machine learning-modellen, waarbij gebruikers achtergrondkennis kunnen integreren voor redenering op verschillende abstractieniveaus.

De kern

Stel je voor dat je een zeer complexe, maar ondoorzichtige machine hebt die beslissingen neemt. Bijvoorbeeld een computer die bepaalt of je een lening krijgt of niet. Je vraagt: "Waarom werd mijn aanvraag afgewezen?" De machine geeft een antwoord, maar het is als een zwart doosje: je ziet de uitkomst, maar niet hoe het er binnenin aan toe gaat.

Dit is het probleem dat kunstmatige intelligentie (AI) vaak heeft: we vertrouwen het niet als we niet begrijpen waarom het iets doet.

Deze paper introduceert REASONX, een slim hulpmiddel dat als een vertaler en onderzoeker werkt om die zwarte doos open te maken. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Vertaler: Van "Zwart Doos" naar "Rekenregels"

Stel je voor dat de AI een vreemde taal spreekt die niemand begrijpt. REASONX pakt die taal en vertaalt het naar lineaire regels (zoals simpele wiskundige vergelijkingen: "Als je leeftijd + inkomen > X, dan krijg je geld").

In plaats van een ingewikkelde grafiek te tonen, zegt REASONX: "Je kreeg geen geld omdat je inkomen lager was dan 50.000 en je leeftijd onder de 30." Dit is de basis: het maakt de beslissing van de machine begrijpelijk.

2. De "Wat-als" Spelregels (De Algebra)

Het echte magische van REASONX is dat je niet alleen kunt vragen "Waarom?", maar ook kunt spelen met de regels. Stel je voor dat je een Lego-bouwer bent die een model bouwt.

• Feitelijke uitleg: "Waarom kreeg ik geen geld?" -> "Omdat je inkomen te laag was."
• Contrastieve uitleg (Het 'Wat-als' spel): "Wat moet ik veranderen om wel geld te krijgen?" -> "Als je inkomen 5.000 euro hoger was, had je het wel gekregen."

REASONX laat je dit spelletje spelen met regels. Je kunt zeggen: "Houd mijn leeftijd vast (dat kan ik niet veranderen), maar laat zien wat er gebeurt als ik mijn inkomen verhoog." Het systeem rekent dan direct uit wat de nieuwe situatie zou zijn.

3. De "Onvolledige" Puzzelstukken

Normale systemen hebben altijd een volledig ingevuld formulier nodig om een antwoord te geven. REASONX is slimmer. Het kan werken met onvolledige informatie.

Stel je voor dat je vraagt: "Wat gebeurt er met mijn lening als ik ouder ben dan 30?" Je geeft geen exacte leeftijd, maar alleen een grens. REASONX kan daar een antwoord op geven: "Als je tussen de 30 en 40 zit, krijg je het. Als je ouder bent dan 40, krijg je het ook." Het vult de gaten in voor je, zelfs als je niet alle details weet.

4. De Tijdreis en Vergelijkingen

Soms veranderen de regels van de machine. Vandaag zegt de bank "nee", morgen misschien "ja" omdat de computer is bijgewerkt.
REASONX kan als een tijdmachine werken. Je kunt twee versies van dezelfde AI naast elkaar leggen en vragen: "Zijn de regels voor het krijgen van een lening vandaag anders dan gisteren?"
Het systeem zoekt dan naar de overlappende regels. Als beide versies zeggen: "Alleen als je geen autolease hebt, krijg je geld", dan is dat een heel sterke, stabiele regel. Als ze het oneens zijn, weet je dat de AI onstabiel is en dat je voorzichtig moet zijn.

5. De Twee-Lagen Architectuur (De Chef en de Rekenmeester)

REASONX werkt met twee lagen, net als een restaurant:

• De Python-laag (De Chef): Dit is het gedeelte waar jij, de gebruiker, komt. Je klikt, typt en stelt vragen. De Chef begrijpt jouw taal en maakt de bestelling.
• De CLP-laag (De Rekenmeester): Dit is de achtergrond, waar de zware wiskunde gebeurt. De Chef geeft de bestelling door aan de Rekenmeester, die met een superkrachtige rekenmachine (Constraint Logic Programming) de regels controleert, de "wat-als" scenario's uitrekent en het antwoord terugstuurt.

Waarom is dit belangrijk?

Vroeger waren AI-verklaringen vaak statisch: je kreeg één antwoord en dat was het. Met REASONX kun je interacteren. Je kunt zeggen: "Nee, dat is niet wat ik bedoel, probeer het nog eens met deze extra regel."

Het is alsof je niet alleen een kaart krijgt van een stad, maar een GPS die met je meereist. Je kunt zeggen: "Ik wil niet door de stad rijden, ik wil een route die geen tolwegen gebruikt." En de GPS rekent direct een nieuwe route uit.

Kortom: REASONX maakt AI niet alleen begrijpelijk, maar ook bespreekbaar. Het geeft mensen de macht om te vragen, te twijfelen en te controleren of de beslissingen van machines eerlijk en logisch zijn, zelfs als die machines heel complex zijn.

Technische samenvatting

Probleemstelling

De acceptatie en het vertrouwen in kunstmatige intelligentie (AI) worden vaak gehinderd door de "black-box" aard van complexe Machine Learning (ML) modellen. Bestaande methoden voor Explainable AI (XAI) hebben verschillende tekortkomingen:

1. Gebrek aan abstractie: Ze focussen vaak op volledig gespecificeerde voorbeelden en kunnen moeilijk redeneren over onder-gespecificeerde scenario's (bijv. "wat als de leeftijd tussen 20 en 30 ligt?" in plaats van exact 25).
2. Beperkte interactie: Gebruikers kunnen vaak niet dynamisch hun vragen verfijnen of achtergrondkennis integreren in de uitleg.
3. Gebrek aan symbolische integratie: Er is weinig ondersteuning voor het combineren van ML-modellen met formeel symbolische kennis (zoals wiskundige constraints of domeinregels).
4. Staticiteit: Bestaande tools bieden zelden de mogelijkheid om uitleggen te vergelijken over verschillende modellen of in de tijd.

Methodologie: REASONX

Het paper introduceert REASONX, een neuro-symbolisch uitlegtool dat gebaseerd is op een declaratieve algebra van operatoren over theorieën van lineaire constraints. Het systeem combineert een Python-laag (voor de gebruiker) met een Constraint Logic Programming (CLP) laag (voor het redeneren).

Kerncomponenten:

1. De Query Algebra:

   • REASONX definieert een gesloten algebra van operatoren op sets van lineaire constraints.
   • Gebruikers kunnen queries formuleren als expressies over deze algebra.
   • Belangrijke operatoren zijn:
     • inst(I, DT, l, pr): Haalt de paden uit een Beslissingsboom (DT) op die leiden tot een specifieke klasse met een bepaalde betrouwbaarheid.
     • cross(...): Berekent het kruisproduct van constraints van verschillende instanties of modellen.
     • sat(...): Controleert de satisfiabiliteit (oplosbaarheid) van constraints.
     • πw(...): Projecteert constraints op een subset van variabelen (bijv. alleen de contrastieve instantie).
     • inf(...): Minimaliseert een afstandsfunctie (bijv. L1-norm) tussen instanties.
     • relax(...): Verslapt strikte ongelijkheden om onzekerheid aan de randen van beslissingsgrenzen te behandelen.

2. Architectuur:

   • Python-laag: Dient als interface voor data-analisten. Hier worden datasets (pandas), modellen (scikit-learn) en gebruikersconstraints (achtergrondkennis) gedefinieerd. Deze laag vertaalt input naar CLP-facts.
   • CLP-laag (Constraint Logic Programming over Reals): Implementeert een meta-interpreter die de algebra-uitdrukkingen uitvoert. Het gebruikt Mixed-Integer Linear Programming (MILP) om redeneren over zowel continue als discrete (nominaal/ordinaal) features mogelijk te maken.

3. Redeneringscapaciteiten:

   • Factuele uitleg: Verklaart waarom een model een bepaalde voorspelling deed.
   • Contrastieve uitleg: Bepaalt welke minimale wijzigingen nodig zijn om tot een ander resultaat te komen (What-if).
   • Onder-gespecificeerde instanties: Kan redeneren over sets van instanties (bijv. "alle klanten ouder dan 30") in plaats van alleen individuele datapunten.
   • Tijd en meerdere modellen: Kan uitleggen vergelijken tussen verschillende modellen (bijv. een model van vandaag vs. gisteren) of tussen een black-box en een surrogate model.

Belangrijkste Bijdragen

1. Formele Algebra: De introductie van een gesloten algebra van operatoren over lineaire constraints die complexe uitlegproblemen (factueel, contrastief, minimaal) als queries kan modelleren.
2. REASONX Tool: De ontwikkeling van een tweelaags systeem (Python + CLP) dat deze algebra implementeert en gebruikers toestaat om achtergrondkennis (als lineaire constraints) direct in het uitlegproces te integreren.
3. Intensionele Redenering: Het vermogen om te redeneren over sets van instanties (via constraints) in plaats van alleen extensieve (concrete) datapunten, wat een unieke eigenschap is ten opzichte van bestaande XAI-tools.
4. Interactiviteit: Ondersteuning voor het iteratief verfijnen van uitleggen door constraints toe te voegen, te verwijderen of te projecteren, waarbij het antwoord van de ene query direct als input voor de volgende kan dienen.

Resultaten en Evaluatie

De auteurs evalueren REASONX zowel kwalitatief als kwantitatief:

• Kwalitatieve Demonstraties:

  • Toont aan hoe REASONX kan redeneren over synthetische data en de Adult Income dataset.
  • Demonstreert het vinden van intersecties in uitleggen tussen twee verschillende modellen (bijv. een Decision Tree en een XGBoost model) of tussen twee versies van een model in de tijd.
  • Toont aan dat het systeem bias kan detecteren door het analyseren van welke gevoelige attributen (zoals geslacht of ras) voorkomen in contrastieve regels.

• Kwantitatieve Vergelijking:

  • Tegenover DiCE (Contrastive Explanations): REASONX produceert contrastieve voorbeelden die dichter bij de originele instantie liggen (kleinere afstand) dan DiCE, vooral wanneer constraints worden opgelegd.
  • Tegenover ANCHORS (Factuele regels): REASONX levert regels die consistent zijn met de onderliggende beslissingsboom en garandeert dat alle datapunten in de feature space worden gedekt door precies één regel (geen overlap), wat bij andere rule-based methoden niet altijd het geval is.
  • Performance: De runtime van REASONX is hoger dan die van DiCE en ANCHORS, wat verwacht wordt gezien de complexiteit van het symbolische redeneren en de communicatie-overhead tussen Python en CLP. Echter, het biedt veel meer expressiviteit en controle.

Significantie en Toekomstperspectief

REASONX markeert een verschuiving in XAI van statische, beschrijvende uitleggen naar declaratief, interactief en formeel onderbouwd redeneren.

• Neuro-symbolische Integratie: Het combineert de voorspellende kracht van ML met de strikte logica van symbolische systemen, wat zorgt voor uitleggen die zowel accuraat als formeel verifieerbaar zijn.
• Gebruikerscentrisch: Het stelt gebruikers in staat om hun eigen kennis en beperkingen (bijv. "leeftijd kan niet dalen") direct in de uitleg te integreren, wat essentieel is voor bruikbare aanbevelingen (algorithmic recourse).
• Toekomst: De auteurs wijzen op de noodzaak van verdere validatie met gebruikersstudies en de uitbreiding naar niet-lineaire constraints en ongestructureerde data (tekst/beeld). Een interessante toekomstrichting is de integratie van Large Language Models (LLMs) om de interactie tussen natuurlijke taal en de formele query-taal te vergemakkelijken.

Kortom, REASONX biedt een robuust raamwerk voor het begrijpen van ML-modellen op een manier die dieper gaat dan oppervlakkige feature-importance, en stelt gebruikers in staat om actief te participeren in het uitlegproces.