🤖 machine learning

Provably Explaining Neural Additive Models

Dit artikel introduceert een efficiënt algoritme voor Neuronale Additieve Modellen (NAMs) dat wiskundig bewezen, cardinaal-minimale verklaringen genereert met een logaritmisch aantal verificatievragen, waardoor het zowel sneller werkt als kleinere verklaringen oplevert dan bestaande methoden voor standaard neurale netwerken.

Oorspronkelijke auteurs: Shahaf Bassan, Yizhak Yisrael Elboher, Tobias Ladner, Volkan Şahin, Jan Kretinsky, Matthias Althoff, Guy Katz

Gepubliceerd 2026-02-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shahaf Bassan, Yizhak Yisrael Elboher, Tobias Ladner, Volkan Şahin, Jan Kretinsky, Matthias Althoff, Guy Katz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Waarom de "Neural Additive Models" eindelijk eerlijke en snelle uitleg krijgen

Stel je voor dat je een zeer slimme, maar mysterieuze voorspeller hebt. Deze voorspeller (een kunstmatige intelligentie) kijkt naar een dossier met veel gegevens (bijvoorbeeld je inkomen, leeftijd en gezondheid) en zegt: "Ja, je krijgt een lening" of "Nee, dat niet".

Het probleem? Niemand weet precies waarom. De meeste moderne AI-modellen zijn als een zwarte doos. Je ziet de ingang en de uitgang, maar het binnenwerk is een wirwar van duizenden schakelaars die niemand kan uitleggen.

Wetenschappers proberen vaak om deze doos open te maken door te zeggen: "Kijk, deze 3 factoren waren het belangrijkst." Maar tot nu toe waren deze uitleggen vaak:

Gokwerk: Ze waren gebaseerd op schattingen en niet 100% zeker.
Te groot: Ze noemden 10 factoren terwijl er maar 2 echt nodig waren.
Te traag: Om de perfecte, kleinste uitleg te vinden, zou een computer eeuwen moeten rekenen.

Deze paper introduceert een nieuwe manier om dit op te lossen, specifiek voor een type AI dat "Neural Additive Models" (NAMs) heet.

De Analogie: De Orkestleider vs. De Solo-Cellist

Om het begrijpelijk te maken, laten we een analogie gebruiken:

De oude manier (Standaard AI):
Stel je een orkest voor waar honderd muzikanten tegelijk spelen. Je wilt weten welke muzikant de melodie draagt. Om dat te weten, moet je proberen om elke mogelijke combinatie van muzikanten stil te laten houden en kijken of de muziek nog steeds hetzelfde klinkt.

Het probleem: Er zijn zoveel combinaties (meer dan het aantal atomen in het heelal) dat je hier nooit uitkomt. Je moet gissen of je accepteert dat je uitleg misschien niet helemaal klopt.

De nieuwe manier (NAMs in deze paper):
De NAMs zijn als een orkest waar elke muzikant alleen maar op zijn eigen instrument speelt en er geen samenspel is. De totale muziek is gewoon de som van al die losse solo's.

De oplossing: Omdat ze los van elkaar spelen, kunnen we ze één voor één analyseren. We kunnen zeggen: "De cellist (factor A) speelt heel hard, de fluitist (factor B) speelt zacht."

Wat doen de auteurs precies?

De auteurs hebben een slimme truc bedacht om de kleinste, meest eerlijke uitleg te vinden voor deze NAMs. Ze gebruiken twee stappen:

Stap 1: De "Gewichtswaarde" Sorteren (De Parallelle Sorteerder)
In plaats van één voor één te kijken, laten ze een heel team computers (processors) tegelijkertijd werken. Elke computer kijkt naar één "solo-muzikant" (één input-factor) en berekent: "Hoeveel kan deze factor veranderen voordat de uitslag van de AI omklapt?"

De truc: Ze hoeven niet de exacte waarde te weten, alleen een goede schatting. Ze sorteren de factoren van "meest invloedrijk" naar "minst invloedrijk". Dit gaat razendsnel omdat het parallel gebeurt.

Stap 2: De "Zoektocht" (De Binair Zoeker)
Nu dat we weten wie de zwaarste gewichten heeft, hoeven we niet meer alles te proberen. We gebruiken een slimme zoekmethode (zoals het raden van een getal tussen 1 en 100 door steeds het midden te vragen).

We vragen de AI: "Is het genoeg om alleen de top 10 factoren te fixeren?"
Als ja: "Probeer dan de top 5."
Als nee: "Probeer dan de top 15."
Het resultaat: In plaats van duizenden vragen te stellen, stellen we er maar een paar (logaritmisch weinig).

Waarom is dit een doorbraak?

Het is wiskundig bewezen (Provable):
Bij andere methoden zeggen ze: "We denken dat dit de reden is." Bij deze methode zeggen ze: "Wiskundig is het onmogelijk dat de uitkomst anders is als we deze factoren vastzetten." Het is 100% zeker.
Het is de kleinste mogelijke uitleg (Cardinally-minimal):
Veel andere methoden geven een lijstje met 10 factoren, terwijl er maar 2 nodig waren. Deze methode vindt altijd het kortste lijstje. Het is alsof je in plaats van een hele koffer met kleding meeneemt, alleen de exacte broek en shirt die je nodig hebt.
Het is supersnel:
Voor een normaal AI-model zou dit eeuwen duren. Voor deze NAMs duurt het seconden. De auteurs tonen aan dat hun methode sneller is dan bestaande methoden, zelfs al lossen ze een veel moeilijker probleem op.

Een waarschuwing: Waarom "gokken" gevaarlijk is

De paper laat ook zien waarom het gevaarlijk is om alleen te "gokken" (zoals veel huidige methoden doen door te sample-en).

Voorbeeld: Stel je voor dat een AI een lening weigert. Een gok-methode kijkt naar een paar willekeurige mensen en zegt: "Ah, het inkomen is de reden." Maar als je heel precies kijkt (zoals deze paper doet), zie je dat er een heel klein, zeldzaam detail is (bijvoorbeeld een specifieke combinatie van leeftijd en postcode) dat de uitslag kan omkeren.
De nieuwe methode mist deze "pieken" niet. Ze zijn veilig voor kritieke situaties (zoals medische diagnoses of leningen), omdat ze geen fouten toelaten.

Conclusie

Deze paper zegt eigenlijk: "We hoeven niet meer te gokken bij het uitleggen van AI."

Door een specifiek type AI (NAMs) te gebruiken en slimme wiskunde toe te passen, kunnen we nu garanderen dat we de kortste, meest accurate en 100% betrouwbare reden vinden voor een beslissing. Het is alsof we van een vaag schilderij zijn gegaan naar een scherpe, gedetailleerde foto waar je elk detail kunt zien en vertrouwen kunt hebben.

Dit is een enorme stap voorwaarts voor het vertrouwen in AI, vooral in gebieden waar fouten niet mogen gebeuren.

Probleemstelling

Het verklaren van de voorspellingen van neurale netwerken is een cruciaal onderwerp, vooral in veiligheidskritieke domeinen. Bestaande methoden voor post-hoc uitleg (zoals LIME, SHAP) zijn vaak heuristisch en bieden geen wiskundig bewezen garanties. Een robuuste aanpak is het identificeren van een cardinaal-minimale subset van invoerfeatures die op zichzelf voldoende is om de voorspelling te bepalen. Dit betekent dat het verwijderen van zelfs één feature uit deze subset de voorspelling zou kunnen veranderen, en dat er geen kleinere subset bestaat die hetzelfde doet.

Voor standaard neurale netwerken is het vinden van zo'n cardinaal-minimale uitleg echter computationeel onhaalbaar. Het vereist in het slechtste geval een exponentieel aantal verificatievragen (elk NP-moeilijk) in het aantal invoerfeatures. Bestaande algoritmen beperken zich daarom vaak tot subset-minimale uitleg (waarbij geen deelverzameling voldoende is, maar de grootte niet per se minimaal is), wat minder informatief kan zijn, of vereisen nog steeds een lineair aantal dure verificaties.

Methodologie

De auteurs introduceren een nieuw, model-specifiek algoritme dat specifiek is ontworpen voor Neural Additive Models (NAMs). NAMs zijn een interpretabel type neurale netwerken waarbij de totale voorspelling de som is van onafhankelijke, univariabele neurale netwerken voor elke feature ( $f(x) = \beta_0 + \sum f_i(x_i)$ ).

Het algoritme reduceert de complexiteit van exponentieel naar logaritmisch door gebruik te maken van de additieve structuur van NAMs. Het proces bestaat uit twee hoofdfasen:

Parallele Interval Importantie Sortering (Fase 1):
- Het doel is om een totale volgorde van feature-importantie te bepalen.
- Voor elke univariabele component $f_i$ wordt een interval $[l_i, u_i]$ berekend dat de minimale (of maximale, afhankelijk van de classificatie) waarde van de component binnen een perturbatiestraal $\epsilon_p$ omvat.
- Dit gebeurt via een geparallelliseerde binaire zoekopdracht met behulp van een neurale netwerkverifier (zoals $\alpha$ - $\beta$ -CROWN).
- De algoritme verfijnt deze intervallen totdat ze niet meer overlappen, waardoor een strikte rangschikking van features mogelijk is op basis van hun impact op de voorspelling.
- Dit stadium vereist slechts een logaritmisch aantal verificatievragen per component, wat zeer efficiënt is omdat de components klein zijn.
Feature Selectie via Binaire Zoekopdracht (Fase 2):
- Zodra de features gesorteerd zijn op basis van hun "belangrijkheid", kan het algoritme een cardinaal-minimale uitleg vinden door een binaire zoekopdracht over deze gesorteerde lijst uit te voeren.
- In plaats van features één voor één te testen (lineair), test het algoritme of een subset van de top- $k$ features voldoende is.
- Dit resulteert in een totaal aantal verificatievragen dat logaritmisch is in het aantal features ( $O(\log n)$ ), in plaats van lineair ( $O(n)$ ) of exponentieel ( $O(2^n)$ ).

Belangrijkste Bijdragen

Eerste methode voor bewezen uitleg in NAMs: Het paper presenteert het eerste algoritme dat wiskundig bewezen cardinaal-minimale en voldoende uitleggen genereert voor Neural Additive Models.
Complexiteitsreductie: Het reduceert de complexiteit van het vinden van cardinaal-minimale uitleggen van exponentieel (voor algemene netwerken) naar logaritmisch (voor NAMs), dankzij de exploitatie van de additieve structuur en parallelle verwerking.
Superieure prestaties: Het algoritme is niet alleen sneller, maar levert ook kleinere (meer informatieve) uitleggen op dan bestaande methoden die gericht zijn op de zwakkere subset-minimale uitleg.
Vermijden van misleidende interpretaties: Het paper toont aan dat puur op steekproeven gebaseerde methoden (vaak gebruikt voor NAMs) misleidend kunnen zijn doordat ze extremen in de functie missen. De formele verificatie van het voorgestelde algoritme garandeert correctheid.

Resultaten

De auteurs hebben hun algoritme getest op drie veelgebruikte tabulaire datasets in veiligheidskritieke domeinen: Breast Cancer, CREDIT, en FICO HELOC. Ze vergeleken hun methode met bestaande algoritmen voor subset-minimale uitleg (Lexicographic en Sensitivity-based).

Grootte van de uitleg: Het voorgestelde algoritme produceerde aanzienlijk kleinere subsets (bijv. gemiddeld 4.00 features voor Breast Cancer vs. 16.58 voor de concurrenten).
Berekeningstijd: Ondanks dat het een moeilijker probleem oplost (cardinaal-minimaal vs. subset-minimaal), was het algoritme aanzienlijk sneller. Voor de Breast Cancer dataset was de tijd 35.6 seconden versus 634.9 seconden voor de beste concurrent.
Validatie: Alle gegenereerde uitleggen waren 100% geldig (sufficient) volgens formele verificatie, terwijl steekproefgebaseerde methoden in experimenten vaak uitleggen produceerden die niet verifieerbaar waren (slechts ~31% validatie op de CREDIT dataset).

Betekenis en Impact

Deze werken is een belangrijke stap in de richting van Formeel XAI (Explainable AI). Het demonstreert dat het mogelijk is om schaalbare, wiskundig bewezen garanties te bieden voor interpretatie, mits men kiest voor netwerkarctitecturen met een geschikte structuur (zoals NAMs).

Vertrouwen in AI: Het biedt een oplossing voor het "trust-probleem" in veiligheidskritieke toepassingen (zoals gezondheidszorg en kredietverlening), waar heuristische uitleg niet voldoende is.
Richting voor toekomstige modellen: Het paper suggereert dat de toekomst van interpretable AI ligt in het ontwerpen van modellen die een balans vinden tussen expressiviteit en de mogelijkheid tot efficiënte, bewezen uitleg. NAMs blijken een veelbelovende kandidaat te zijn voor deze richting.
Efficiëntie: Door de complexiteit te reduceren tot logaritmisch, maakt het de toepassing van formele verificatie op grotere modellen en in real-time scenario's veel realistischer dan voorheen.