🤖 AI

Binary Spiking Neural Networks as Causal Models

Dit artikel introduceert een causaal analyseframework voor binaire Spiking Neural Networks dat hun spiking-activiteit representeert als een binair causaal model, waardoor het gebruik van SAT- en SMT-solvers mogelijk wordt om pixel-niveau abductieve verklaringen te genereren die de uitsluiting van irrelevante kenmerken garanderen, in tegenstelling tot populaire methoden zoals SHAP.

Oorspronkelijke auteurs: Aditya Kar (CNRS, IRIT), Emiliano Lorini (CNRS, IRIT), Timothée Masquelier (CNRS, CERCO UMR5549)

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aditya Kar (CNRS, IRIT), Emiliano Lorini (CNRS, IRIT), Timothée Masquelier (CNRS, CERCO UMR5549)

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een "Black Box" versus een Transparant Blauwdruk

Stel je voor dat je een zeer slimme robot hebt die naar een foto van een handgeschreven cijfer kan kijken (zoals een "5") en kan vertellen wat het is. Deze robot is een Binary Spiking Neural Network (BSNN).

Normaal gesproken is het wanneer deze robots een beslissing nemen, als een black box. Je stopt de foto erin, en het antwoord komt eruit, maar niemand weet precies welke delen van de foto de robot hebben overtuigd. Keek hij naar de bovenste curve? De onderste lus? Of gokte hij gewoon op basis van een willekeurige vlek?

De auteurs van dit artikel wilden die black box openen. Ze wilden niet alleen raden waarom de robot "5" zei; ze wilden dit wiskundig bewijzen met behulp van logica en oorzaak-gevolg.

De Kern: Neuronen Veranderen in Lichtschakelaars

Om de robot te begrijpen, hebben de auteurs hem vereenvoudigd.

Het Brein van de Robot: In plaats van complexe, vage elektrische signalen, behandelden ze de neuronen van de robot als eenvoudige lichtschakelaars. Een neuron is ofwel AAN (vuurt een spike af) of UIT (stil).
De Timing: In tegen tegenstelling tot een standaard computer die een hele afbeelding direct verwerkt, kijkt deze robot naar de afbeelding over een bepaalde tijd, zoals een film die frame voor frame wordt afgespeeld.
De Vertaling: De auteurs namen deze "schakelaar-gebaseerde" robot en vertaalden de volledige hersenactiviteit naar een Causal Model (causaal model). Denk hierbij aan het tekenen van een enorme flowchart waarbij elke pijl een strikte regel vertegenwoordigt: "Als Schakelaar A AAN staat en Schakelaar B AAN staat, dan MOET Schakelaar C AAN gaan."

Omdat de regels zo simpel zijn (slechts AAN/UIT), konden ze krachtige computerlogica-instrumenten (genaamd SAT en SMT solvers) gebruiken om deze flowchart te lezen en precies te begrijpen wat de uiteindelijke beslissing veroorzaakte.

De Methode: De "Minimale Reden" Vinden

De auteurs wilden een Abductieve Verklaring vinden. In gewone taal betekent dit het vinden van de kleinste, meest essentiële set redenen die de robot dwongen om zijn keuze te maken.

De Analogie: De Detective en de Verdachten
Stel je een detective voor die een misdaad probeert op te lossen.

De Misdaad: De robot besloot dat de afbeelding een "5" was.
De Verdachten: Elke afzonderlijke pixel in de afbeelding (er zijn er 784).
Het Doel: De detective wil niet iedereen in de kamer de schuld geven. Hij wil de kleinst mogelijke groep mensen vinden die, als zij er niet waren geweest, de misdaad niet had kunnen plaatsvinden.

De methode van de auteurs verwijdert systematisch pixels uit de verklaring. Als de robot nog steeds "5" zegt zonder een specifieke pixel, dan wordt die pixel weggegooid. Ze blijven pixels verwijderen totdat ze de minimale lijst van pixels hebben die het antwoord "5" absoluut garandeert.

De Resultaten: Logica versus Gokwerk

Het artikel vergelijkt hun nieuwe "Logische Detective"-methode met een populaire bestaande methode genaamd SHAP.

SHAP (De "Vibe Check"): SHAP is als een crowd-sourced opiniepeiling. Het kijkt naar veel variaties van de afbeelding en raadt welke pixels belangrijk lijken op basis van statistiek. Het is snel, maar het is een beetje vaag.
De Methode van de Auteurs (De "Blauwdruk Check"): Deze methode kijkt naar de werkelijke bedrading van de robot.

De Belangrijkste Bevinding:
De auteurs ontdekten dat SHAP vaak wordt gefopt. Het geeft soms de schuld aan pixels die volledig irrelevant zijn voor de beslissing van de robot.

Voorbeeld: Stel je een robot voor die beslist of een foto een "5" is. SHAP zou kunnen zeggen: "De pixel in de linkerbovenhoek is erg belangrijk!", ook al is die pixel verbonden met het brein van de robot met een draad van nul kracht (het is fysiek onmogelijk dat deze pixel de beslissing beïnvloedt).
De Garantie: De logica-gebaseerde methode van de auteurs garandeert dat het nooit een pixel de schuld zal geven die niet daadwerkelijk verbonden is met het besluitvormingsproces. Als een pixel in hun verklaring staat, heeft het het resultaat veroorzaakt. Als het er niet in staat, heeft het dat niet gedaan.

Waarom Dit Er Toe Doet (Volgens het Artikel)

Vertrouwen: Je kunt de verklaring vertrouwen omdat deze wiskundig bewezen is, en niet alleen statistisch geraden.
Geen Rode Draad (Afleiding): De verklaring zal geen "irrelevante ruis" bevatten. Het bevat alleen de kenmerken die echt tot de uitkomst hebben geleid.
Efficiëntie: Ze lieten zien dat hoewel deze logica-methode tijd in beslag kan nemen (uren voor sommige complexe opstellingen), het wel mogelijk is, en het gebruik van geavanceerde wiskundige tools (SMT) maakt het veel sneller dan de basis logica-tools (SAT).

Samenvatting

De auteurs hebben een brug gebouwd tussen neurale netwerken (AI-hersenen) en logica (wiskundige regels). Door de neuronen van de AI te behandelen als eenvoudige aan/uit-schakelaars, creëerden ze een transparante kaart van oorzaak en gevolg. Dit stelt hen in staat om de beslissingen van de AI met 100% zekerheid uit te leggen, waarbij ze bewijzen welke delen van een afbeelding ertoe deden en welke slechts achtergrondruis waren, iets wat populaire methoden zoals SHAP niet kunnen garanderen.

Technische Samenvatting: Binaire Spiking Neural Networks als Causale Modellen

Probleemstelling

Het artikel behandelt de afweging tussen de nauwkeurigheid en de verklaarbaarheid van Artificiële Neurale Netwerken (ANN's). Hoewel Binarized Neural Networks (BNNs) en Binary Spiking Neural Networks (BSNN's) voordelen bieden in termen van hardware-efficiëntie en logische representeerbaarheid, blijven hun interne besluitvormingsprocessen opaak. Bestaande XAI-methoden (Explainable AI), zoals SHAP, behandelen modellen vaak als "black boxes" en houden geen rekening met interne causale structuren. Hierdoor kunnen deze methoden kenmerken als relevant identificeren, zelfs wanneer ze geen causale verbinding hebben met de output van het netwerk (bijv. verbindingen met een gewicht van nul). De auteurs beogen deze kloof te overbruggen door de dynamiek van BSNN's formeel in kaart te brengen naar een causaal kader, wat de generatie van rigoureuze, op logica gebaseerde verklaringen mogelijk maakt die de causale relevantie van de opgenomen kenmerken garanderen.

Methodologie

1. Formalisering van BSNN's

De auteurs definiëren een BSNN-architectuur $S$ als een tupel bestaande uit inputneuronen ( $I$ ), niet-inputneuronen ( $L$ ), connectiviteitsrelaties ( $R$ ), gewichtsfuncties ( $W$ ) en drempelwaarden ( $\tau$ ). Ze modelleren de spiking-dynamiek met behulp van een Integrate-and-Fire (IF) mechanisme zonder lekken (leaks), waarbij de vuurtoestand van een neuron op tijdstip $t$ recursief afhangt van zijn vorige toestand en de gewogen som van binnenkomende spikes.

Gewichtskwantisering: De studie richt zich op netwerken met gewichten gekwantiseerd naar binaire $\{0, 1\}$ of driedelige $\{-1, 0, 1\}$ verzamelingen.
Spike Encoding: Experimenten maken gebruik van Poisson rate coding en threshold-binarization schema's. De auteurs vermijden expliciet complexe temporele codering om de computationele complexiteit van de generatie van verklaringen te beheersen.

2. Mapping naar Binaire Causale Modellen (BCM's)

Een kernbijdrage van de methodologie is de mapping van de spiking-dynamiek van de BSNN naar een Binair Causaal Model (BCM).

Variabelen: Aan elk neuron $X$ op elk tijdstip $t$ wordt een Booleaanse variabele $p_{X,t}$ toegewezen. Niet-inputneuronen komen overeen met endogene variabelen, terwijl inputneuronen overeenkomen met exogene variabelen.
Causale Afhankelijkheden: De vuurlogica wordt vertaald naar een set Booleaanse vergelijkingen (structurele vergelijkingen). Voor een neuron om te vuren, moet een specifieke combinatie van voorafgaande spikes aan de drempelvoorwaarde voldoen.
Equivalentie: De auteurs bewijzen (Theorema 5.2) dat de vuurfuncties van de BSNN compatibel zijn met de BCM als en slechts als de Booleaanse interpretatie alle vergelijkingen in het model bevredigt.

3. Generatie van Abductieve Verklaringen (AXp)

Het artikel maakt gebruik van Abductieve Verklaringen (AXp), gedefinieerd als minimaal voldoende verzamelingen van inputkenmerken (literalen) die een specifie recente classificatie garanderen.

Definitie: Een AXp $\lambda$ voor een output $\omega_0$ moet voldoen aan: (i) $\lambda$ is waar gegeven de input; (ii) $\lambda$ impliceert logischerwijs $\omega_0$ onder de BCM-beperkingen; en (iii) $\lambda$ is minimaal (geen strikte deelverzameling impliceert $\omega_0$ ).
Algoritmen: Twee solver-gebaseerde benaderingen worden geïmplementeerd om AXp's te vinden:
1. SAT-gebaseerd: Codeert de BCM en de verklaringvoorwaarden in Propositionele Logica.
2. SMT-gebaseerd: Codeert het model met behulp van Satisfiability Modulo Theories (specifiek Linear Integer Arithmetic), wat universal kwantificatie over variabelensets vermijdt, wat significante snelheidsverbeteringen biedt.
Zoekstrategie: Het algoritme begint met een volledige term die de volledige input representeert en verwijdert iteratief literalen terwijl wordt geverifieerd of de implicatie naar de output geldig blijft.

4. Experimentele Opstelling

De methodologie werd getest op de MNIST-dataset voor handgeschreven cijferherkenning.

Architecturen: Volledig verbonden netwerken met variërende groottes van de verborgen lagen ( $k \in \{8, 16, 32, 64, 128\}$ ) en gewichtskwantisaties (binair en ternair).
Taken: Classificatie van 3-cijfer subsets en de volledige 10-cijfer set.
Validatie: Bereikte een hoge nauwkeurigheid (tot ~95% voor 3-cijfer taken) met behulp van binaire en ternaire gekwantiseerde netwerken.

Belangrijkste Bijdragen

Eerste Causale Mapping van BSNN's: Het artikel presenteert de eerste formele mapping van een Binary Spiking Neural Network op een Binary Causal Model, waarbij de temporele causale afhankelijkheden tussen neurale eenheden worden vastgelegd.
Logica-gebaseerd Verklarend Kader: Het toont aan dat de Booleaanse aard van BSNN's het gebruik van SAT en SMT solvers mogelijk maakt om abductieve verklaringen direct uit het causale model te berekenen.
Garantie van Causale Relevantie: Een cruciale theoretische bijdrage is Propositie 6.2, die bewijst dat elk kenmerk dat in een abductieve verklaring afgeleid uit dit kader wordt opgenomen, een niet-nul gewichtverbinding moet hebben met de verborgen laag van het netwerk. Dit zorgt ervoor dat de verklaring geen volledig irrelevante kenmerken bevat.
Vergelijkende Analyse met SHAP: Het artikel biedt een rigoureuze vergelijking met SHAP (SHapley Additive exPlanations), waarbij de neiging van SHAP wordt benadrukt om relevantie toe te wijzen aan kenmerken met een gewicht van nul vanwege de model-agnostische aard.

Resultaten

Computationele Efficiëntie: De SMT-gebaseerde benadering presteerde aanzienlijk beter dan de SAT-gebaseerde benadering. Voor binaire gewichtsnetwerken ( $S^{bin}_k$ ) verminderde SMT de zoektijden van uren (SAT) naar seconden (bijv. ~11 uur vs. ~12 seconden voor $k=32$ ). Voor ternaire gewichtsnetwerken ( $S^{tern}_k$ ) varieerden de SMT-zoektijden van 0,27 tot 1,0 uur.
Kwaliteit van de Verklaring: De gegenereerde verklaringen waren minimale verzamelingen van actieve of inactieve pixels die voldoende waren om de classificatie te triggeren.
SHAP Vergelijking:
- SHAP identificeerde kenmerken met een gewicht van nul onjuist als relevant in ongeveer 47% van de gevallen (gemiddeld over de steekproefgroottes).
- Het vergroten van de steekproefomvang voor SHAP verminderde dit foutpercentage, maar verhoogde de rekentijd drastisch (bijv. 173 seconden voor 1M samples).
- In tegenstelling hiertoe garandeert de voorgestelde logica-gebaseerde methode wiskundig dat geen kenmerken met een gewicht van nul in de verklaring worden opgenomen.

Betekenis en Claims

De auteurs positioneren dit werk als een fundamentele stap in het interpreteerbaar maken van BSNN's via formele logica. Ze beweren dat door gebruik te maken van de inherente causale structuur van BSNN's, het mogelijk is om verklaringen te genereren die niet alleen efficiënt zijn, maar ook formeel gegarandeerd vrij zijn van irrelevante kenmerken—een eigenschap die statistische of model-agnostische methoden zoals SHAP niet kunnen bieden.

Het artikel merkt bescheiden op dat het huidige werk zich uitsluitend richt op abductieve verklaringen (AXp) en volledig verbonden architecturen. De auteurs suggereren dat het kader uitbreidbaar is naar complexere causale concepten (zoals actual cause en NESS causes) en andere architecturen, zoals Convolutional BSNN's (C-BSNN's) en netwerken getraind op taaldatasets, hoewel deze worden geïdentificeerd als richtingen voor toekomstig onderzoek in plaats van huidige prestaties.