🤖 machine learning

Causal Explanations from the Geometric Properties of ReLU Neural Networks

Dit artikel stelt een methode voor het genereren van accurate causale verklaringen voor ReLU-neurale netwerken voor door beslissingsregels rechtstreeks uit hun geometrische structuur als stuksgewijs lineaire functies gedefinieerd door convexe polytoepen te extraheren, waardoor de prestatiedegradatie en de betrouwbaarheidsproblemen die gepaard gaan met het distilleren van modellen voor interpretatie worden vermeden.

Oorspronkelijke auteurs: Hector Woods, Philippa Ryan, Rob Alexander

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Hector Woods, Philippa Ryan, Rob Alexander

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robotbestuurder hebt gebouwd. Deze bestuurder is zo goed in navigeren dat hij nooit crasht, maar het is een "black box". Je kunt hem niet vragen waarom hij linksaf sloeg in plaats van rechts; hij doet het gewoon. Dit maakt mensen nerveus. Als er iets misgaat, weten we niet of de robot kapot is of gewoon een vreemde keuze maakt.

Dit artikel stelt een manier voor om die black box open te maken, specifiek voor een type AI dat een ReLU-Neuraal Netwerk wordt genoemd. Hieronder leggen de auteurs het uit, met behulp van eenvoudige ideeën en metaforen.

De Kernidee: De "Gevouwen Papier"-Kaart

De auteurs betogen dat deze specifieke AI-netwerken niet eigenlijk mysterieuze wolkjes wiskunde zijn. In plaats daarvan gedragen ze zich als een gevouwen stuk papier of een verkreukelde kaart.

De Vouw: De AI neemt een enorme, complexe wereld van invoer (zoals snelheid, afstand, weer) en vouwt deze op tot vele kleine, platte, geometrische vormen die polytoepen worden genoemd. Denk hierbij aan kleine, platte kamers.
De Regel: Binnenin elk van deze kleine kamers is de AI eigenlijk heel simpel. Het doet gewoon basiswiskunde (een rechte lijn). Het "denkt" niet diep; het volgt gewoon één simpele regel voor die specifieke kamer.
Het Probleem: Omdat het papier zo vaak is gevouwen, zijn er miljoenen van deze kamers. Om de AI te begrijpen, proberen we meestal naar de hele verkreukelde bal te kijken, wat onmogelijk is.

De Oplossing: De Buurt Aflopen

In plaats van te proberen de hele verkreukelde bal in kaart te brengen (wat eeuwig zou duren), suggereren de auteurs een slimmere manier: Polytoepmars.

Stel je voor dat je staat in een van deze kleine kamers (de kamer waarin de AI zich momenteel bevindt). Je wilt weten:

"Waarom ben je linksaf gegaan?" (Waarom koos het deze actie?)
"Waarom ben je niet rechtsaf gegaan?" (Waarom koos het niet die andere actie?)

1. De "Waarom"-Uitleg (De Huidige Kamer)

Om "Waarom ben je linksaf gegaan?" te beantwoorden, kijkt het algoritme naar de specifieke kamer waarin je staat.

Het controleert de muren van die kamer.
Het verwijdert muren die eigenlijk niet belangrijk zijn (redundante beperkingen).
Het Resultaat: Het geeft je een korte lijst met regels, zoals "Als snelheid onder de 30 is en afstand boven de 10, sla linksaf." Dit is een Minimaal Volledige Uitleg. Het is de kortste, meest accurate lijst met redenen waarom de AI die specifieke keuze heeft gemaakt.

2. De "Waarom Niet"-Uitleg (De Buurkamers)

Om "Waarom ben je niet rechtsaf gegaan?" te beantwoorden, speelt het algoritme een spelletje "buurtje-hoppen".

Het begint in je huidige kamer.
Het controleert de kamers direct naast jou (door één "schakelaar" of bit in de wiskunde om te draaien).
Het vraagt: "Is er een kamer naast de deur waar rechtsaf slaan de beste keuze zou zijn?"
Zo ja: Het vertelt je precies welke muur je zou moeten oversteken om die kamer te bereiken. "Je bent niet rechtsaf gegaan omdat je aan de 'langzame' kant van de snelheidsmuur staat. Als je sneller was, zou je rechtsaf slaan."
Zo nee: Het blijft naar de volgende dichtstbijzijnde kamers huppen totdat het een kamer vindt waar rechtsaf slaan zinvol is, of het bewijst dat rechtsaf slaan onmogelijk is, wat er ook gebeurt.

Waarom Dit Beter Is Dan Andere Methoden

Meestal proberen wetenschappers om een AI uit te leggen een vereenvoudigde kopie (een "gedistilleerd" model) van de originele AI te bouwen.

De Analogie: Stel je voor dat je probeert een complex schilderij uit te leggen door er een potloodtekening van te maken. De tekening is makkelijk te begrijpen, maar het is niet het echte schilderij. Het kan belangrijke details missen, en je kunt niet garanderen dat de tekening zich precies hetzelfde gedraagt als het schilderij.
De Aanpak van Dit Artikel: In plaats van een tekening te maken, kijken ze direct naar de geometrie van het echte schilderij. Ze vereenvoudigen de AI niet; ze vinden gewoon de specifieke "kamer" waarin de AI zich bevindt en leggen de regels van die kamer uit. Dit betekent dat de uitleg 100% accuraat is ten opzichte van het gedrag van de echte AI.

De Haken (Beperkingen)

De auteurs geven toe dat er twee grote hindernissen zijn:

Te Veel Dimensies: Als de AI kijkt naar een eenvoudig spel met 3 getallen, is de uitleg makkelijk. Maar als de AI kijkt naar een foto met duizenden pixels (dimensies), wordt de lijst met regels enorm en moeilijk leesbaar voor mensen.
De "Waarom Niet"-Zoektocht: Het vinden van het "Waarom niet"-antwoord is makkelijk als het antwoord direct naast de deur ligt. Maar als de AI een enorme verandering zou moeten maken om iets anders te doen, moet de computer door miljoenen kamers zoeken, wat veel tijd kost.

Samenvatting

Het artikel toont aan dat we AI-beslissingen kunnen uitleggen door het brein van de AI te behandelen als een kaart van geometrische kamers. Door door deze kamers te lopen en de muren te controleren, kunnen we exacte, waarheidsgetrouwe antwoorden geven op "Waarom?" en "Waarom niet?"-vragen zonder dat we een vereenvoudigde, potentieel onnauwkeurige kopie van de AI hoeven te bouwen. Het doel is om autonome systemen (zoals zelfrijdende auto's of schepen) betrouwbaar te maken door ons hun logica te laten begrijpen.

Technische Samenvatting: Causale Verklaringen vanuit de Geometrische Eigenschappen van ReLU-Neurale Netwerken

Probleemstelling

Neurale netwerken, met name die welke worden gebruikt voor het leren van besturingsbeleid in autonome systemen via Versterkend Leren (RL), functioneren als "black boxes". Dit gebrek aan interpreteerbaarheid vormt een belemmering voor veiligheidsborging en gebruikersvertrouwen. Hoewel vakgebieden zoals Explainable Artificial Intelligence (XAI) en Explainable Reinforcement Learning (XRL) erop gericht zijn "waarom"- en "waarom niet"-verklaringen te bieden, vertrouwen de huidige state-of-the-art methoden vaak op gedistilleerde modellen (vereenvoudigde surrogaten). Hoewel deze gedistilleerde beleidsregels interpreteerbaar zijn, lijden ze onder significante prestatieachteruitgang in vergelijking met het oorspronkelijke model en garanderen ze geen accurate weergave van de besluitvormingsprocessen van het oorspronkelijke model. Bijgevolg kunnen ze niet worden gebruikt om de veiligheid van het oorspronkelijke systeem formeel te garanderen. Er is behoefte aan methoden die exacte causale verklaringen genereren, direct vanuit het oorspronkelijke neurale netwerk, zonder benadering of prestatieverlies.

Methodologie

De auteurs stellen een methode voor om Minimaal Volledige Verklaringen (MCE) te genereren voor neurale netwerken bestaande uit lineaire lagen en Rectified Linear Unit (ReLU) activatiefuncties. De aanpak maakt gebruik van de geometrische eigenschap dat een ReLU-netwerk overeenkomt met een stuksgewijs lineaire functie die is verdeeld in regio's die worden gedefinieerd door $n$ -dimensionale convexe polyeders.

De kernmethodologie omvat twee primaire algoritmen:

Geometrische Representatie:
- Het netwerk wordt beschouwd als het verdelen van de invoerruimte in distincte regio's (polyeders). Binnen elke polyeder is het gedrag van het netwerk voor elke outputneuron een enkele lineaire transformatie.
- De activatie van elke neuron (nul of niet-nul) wordt weergegeven door een bitvector. Een specifieke combinatie van activaties definieert een unieke polyeder $P$ in de invoerruimte, beschreven door een systeem van lineaire ongelijkheden (H-Representatie).
"Waarom"-Verklaringen (Factueel):
- Invoer: Een invoer $x$ en het netwerk $N$ .
- Proces: Het algoritme voert een forward pass uit om de activatiehandtekening (bitvector) voor $x$ te verzamelen. Het construeert de polyeder $P$ die overeenkomt met deze handtekening.
- Verfijning: Het definieert een deelpolyeder $P_{Output} \subset P$ waar de werkelijke outputklasse $c$ maximaal is. Om minimaliteit te bereiken, lost het algoritme een reeks lineaire programma's op om redundante constraints te identificeren en te verwijderen uit het systeem van ongelijkheden dat $P_{Output}$ definieert.
- Output: Een vereenvoudigde set lineaire ongelijkheden ( $H'$ ) die exact de regio definiëren waar het netwerk de waargenomen beslissing produceert.
"Waarom Niet"-Verklaringen (Contrfactueel):
- Invoer: Een invoer $x$ , de werkelijke output $c$ , en een contrafactuele output $c'$ .
- Proces: Het algoritme controleert eerst of de contrafactuele klasse $c'$ haalbaar is binnen de huidige polyeder $P$ . Als dit haalbaar is, is de verklaring de lineaire ongelijkheid die de klassen binnen $P$ onderscheidt.
- Zoektocht: Als $c'$ niet haalbaar is in $P$ , maakt het algoritme gebruik van Adjacent Polytope Marching. Het flippt iteratief bits in de activatiehandtekening (verhogend de Hamming-afstand) om aangrenzende polyeders te verkennen totdat het een regio $P'$ vindt waar $c'$ haalbaar is.
- Output: De verklaring bestaat uit de specifieke constraints (de verschillende bits/ongelijkheden) die de factuele polyeder $P$ onderscheiden van de contrafactuele polyeder $P'$ .
Representaties:
- H-Representatie: Een systeem van lineaire ongelijkheden. Het is exact en schaalt lineair met het aantal neuronen, maar kan complex zijn voor hoog-dimensionale invoer.
- V-Representatie: Een set van extreme punten (hoekpunten) die de grenzen van de polyeder definiëren. Dit biedt grotere beknoptheid (constante grootte ten opzichte van de netwerkdiepte), maar introduceert exponentiële complexiteit ten opzichte van de invoerdimensionaliteit.

Belangrijkste Bijdragen

Exactheid: De methode genereert verklaringen die 100% nauwkeurige weergaven zijn van het gedrag van het oorspronkelijke ReLU-netwerk, waardoor de benaderingsfouten die inherent zijn aan modeldistillatie worden vermeden.
Directe Extractie: Regels worden direct geëxtraheerd uit de geometrische eigenschappen (polyedrische decompositie) van het neurale netwerk in plaats van uit een surrogaatmodel.
Algoritmisch Kader: Het artikel introduceert specifieke algoritmen voor het genereren van zowel "Waarom"- (factueel) als "Waarom niet"- (contrfactueel) verklaringen met behulp van polyeder-marcheren en constraint-reductie.
Dual Representatie: Het werk demonstreert hoe verklaringen kunnen worden gegeven in zowel H-Representatie (constraints) als V-Representatie (grenzen), waarbij de afwegingen tussen interpreteerbaarheid en computationele complexiteit voor elk worden besproken.

Resultaten en Complexiteitsanalyse

Computationele Complexiteit:
- "Waarom"-Verklaringen: De tijdscomplexiteit is $O(n)$ , waarbij $n$ het aantal neuronen is, aangezien het het oplossen van een lineair aantal lineaire programma's omvat om redundante constraints te verwijderen.
- "Waarom Niet"-Verklaringen: In het beste geval is de complexiteit $O(n)$ . In het slechtste geval is het $O(2^n)$ , equivalent aan het enumereren van alle mogelijke polyeders. De auteurs merken echter op dat het algoritme in de praktijk waarschijnlijk snel stopt, omdat slechts één haalbare polyeder voor het contrafactuele nodig is om de zoektocht te beëindigen.
Ruimtelijke Complexiteit: Beide algoritmen handhaven een constante ruimtelijke complexiteit, waarbij alleen de huidige polyeder en bitvectoren worden opgeslagen.
Schaalbaarheid: De auteurs erkennen dat hoewel de methode theoretisch sound is, de H-Representatie lineair schaalt met de modelgrootte (aantal constraints), en de V-Representatie exponentieel schaalt met de invoerdimensionaliteit. Hoog-dimensionale invoer resulteert in constraints die alle invoervariabelen betreffen, wat de interpreteerbaarheid kan verminderen.

Betekenis en Claims

Het artikel claimt dat de primaire betekenis ligt in het overbruggen van de kloof tussen veiligheidsborging en interpreteerbaarheid. Door exacte, geometrische verklaringen te bieden, stelt de methode gebruikers in staat te verifiëren dat een systeem geen onveilige toestand zal binnentreden en de specifieke besluitvormingsgrenzen te begrijpen die leidden tot een bepaalde actie.

De auteurs positioneren hun werk nederig als een demonstratie van haalbaarheid in plaats van een complete oplossing voor alle uitdagingen op het gebied van interpreteerbaarheid. Ze stellen expliciet:

De verklaringen zijn "minimaal compleet" met betrekking tot de geometrie van het netwerk, maar kunnen niet "bevredigend" (mooi) zijn voor eindgebruikers vanwege de complexiteit en het aantal constraints, met name in hoog-dimensionale ruimten.
De methode is momenteel beperkt tot netwerken met lineaire lagen en ReLU-activaties.
Toekomstig werk is vereist om de "mooiheid" van deze verklaringen te valideren bij echte gebruikers en regelgevers (bijvoorbeeld in de maritieme sector) en om de aanpak uit te breiden tot andere architecturen (zoals CNN's) en activatiefuncties (zoals Leaky ReLU).

Het werk positioneert zichzelf als een fundamentele stap richting mechanistische interpreteerbaarheid die de prestaties of veiligheidsborgingen van het oorspronkelijke autonome systeem niet in gevaar brengt.