📊 statistics

Aligned explanations in neural networks

Dit paper introduceert PiNets, een modelleerframework dat 'explanatory alignment' garandeert door een pseudo-lineaire structuur te combineren met statistische intelligentie, zodat uitleggen direct de voorspellingen onderbouwen in plaats van slechts rationalisaties te zijn.

Oorspronkelijke auteurs: Corentin Lobet, Francesca Chiaromonte

Gepubliceerd 2026-03-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Corentin Lobet, Francesca Chiaromonte

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kernboodschap: "Laat het model spreken, maar zorg dat het duidelijk is"

Stel je voor dat je een zeer slimme, maar mysterieuze robot hebt die foto's bekijkt en zegt: "Dit is een kat." Je vraagt: "Waarom denk je dat?" De robot wijst dan op een deel van de foto en zegt: "Omdat ik hier een vlekje heb gezien."

Het probleem is vaak dat de robot niet eerlijk is. Hij heeft de foto al bekeken, de beslissing genomen, en daarna bedacht hij een excuus (een "rationele verklaring") om zijn keuze te rechtvaardigen. Dit noemen de auteurs "witte verf": ze proberen de zwarte doos (de ondoorzichtige AI) wit te verven, maar binnenin is het nog steeds een donkere doos.

De auteurs, Corentin Lobet en Francesca Chiaromonte, zeggen: "Nee, dat werkt niet." Als we AI willen vertrouwen, moet de verklaring eerder komen dan de beslissing, en moet de verklaring de reden zijn voor de beslissing, niet andersom.

Het Oplossingsconcept: PiNets

Om dit op te lossen, hebben ze een nieuw soort neurale netwerken bedacht: PiNets (Pointwise-interpretable Networks).

Laten we dit uitleggen met een analogie uit de bouw:

De Oude Manier (De "Black Box"):
Stel je voor dat een architect (het AI-model) een huis bouwt. Hij doet dit in het donker, met duizenden onzichtbare schakelaars. Als je vraagt waarom het huis er zo uitziet, tekent hij pas na het bouwen een plattegrond op die er plausibel uitziet. Maar misschien was de plattegrond niet de reden dat het huis er zo uitzag; misschien was het toeval.
De PiNet Manier (De "Tweede Kijk"):
Een PiNet werkt anders. Het is alsof de architect twee keer naar de bouwplaat kijkt.
- Eerste kijk: Hij verzamelt alle informatie over het terrein (de input).
- Tweede kijk (The "Second Look"): Voordat hij het huis bouwt, moet hij eerst een lijst maken van welke onderdelen belangrijk zijn (bijvoorbeeld: "dit stukje grond is belangrijk voor de fundering").
- De Bouw: Hij bouwt het huis alleen op basis van die lijst.
In technische termen betekent dit: het model moet eerst een verklaring maken (een kaartje met belangrijke plekken) en gebruikt die kaartje direct om de voorspelling te doen. Als de kaartje niet klopt, kan het model geen goed huis bouwen. Hierdoor is de verklaring altijd eerlijk en direct gekoppeld aan de beslissing.

De Vier Regels voor een Eerlijke Verklaring (MARS)

De auteurs zeggen dat een goede verklaring niet alleen eerlijk moet zijn, maar ook aan vier eisen moet voldoen. Ze noemen dit het MARS-kader (een metafoor voor een sterrenstelsel van goede kwaliteit):

M (Meaningful - Betekenisvol): De verklaring moet de juiste dingen aanwijzen. Als het model een kat herkent, moet het wijzen op de oren en staart, niet op de mand waar de kat in zit (want de mand is toeval, geen oorzaak).
A (Aligned - Uitgelijnd): De verklaring moet precies hetzelfde zijn als wat het model gebruikt om te beslissen. Geen "achteraf-schrijven".
R (Robust - Robuust): De verklaring moet niet afhankelijk zijn van toevalligheden. Als je de mand van de foto haalt, moet het model nog steeds weten dat het een kat is. Als de verklaring verandert omdat de achtergrond verandert, is hij niet robuust.
S (Sufficient - Voldoende): Als je alleen de dingen neemt die het model belangrijk vindt (bijvoorbeeld alleen de oren van de kat), zou het model nog steeds moeten kunnen zeggen: "Ja, dit is een kat." Als je de kat niet meer kunt herkennen met alleen de belangrijke delen, is de verklaring niet goed genoeg.

Wat hebben ze ontdekt?

De auteurs hebben hun PiNets getest op twee dingen:

Speelgoed-vormen: Een simpele taak waar het model moet vinden of er een driehoek in een plaatje zit.
Overstromingen: Een echte taak waar het model satellietfoto's bekijkt om te zien welke gebieden onder water staan.

De resultaten:

Beter dan de rest: PiNets konden net zo goed voorspellen als de beste bestaande methoden (zoals Grad-CAM), maar ze gaven eerlijke verklaringen.
De "Decoder" is cruciaal: Het model moet goed zijn opgeleid om niet alleen slim te zijn, maar ook om zijn "tweede kijk" (de verklaring) goed te structureren. Als je dit niet goed doet, kan het model slim zijn maar toch onzin verklaringen geven.
Versterking werkt: Door het model een beetje te helpen met voorbeelden van "goede verklaringen" (zogenoemde strong supervision), werden de verklaringen nog veel beter. Ook door meerdere PiNets samen te voegen (een "ensemble"), werden de resultaten stabieler en betrouwbaarder.

Waarom is dit belangrijk voor de toekomst?

Dit onderzoek is een grote stap vooruit in het maken van AI die we kunnen vertrouwen.

Geen meer giswerk: We hoeven niet meer te raden waarom een AI iets beslist.
Veiligheid: In kritieke situaties (zoals medische diagnoses of zelfrijdende auto's) is het cruciaal dat de reden voor een beslissing helder en eerlijk is.
Flexibiliteit: Deze methode werkt niet alleen voor foto's, maar kan ook worden toegepast op tekst, geluid of medische data.

Kortom: PiNets zijn als een eerlijke getuige. Ze zeggen niet pas achteraf wat ze hebben gezien; ze kijken eerst goed, maken een verslag van wat ze zien, en gebruiken dat verslag om hun oordeel te vellen. Zo weten we zeker dat het oordeel klopt.

Probleemstelling: Het gebrek aan uitlijning in huidige XAI-methoden

Het artikel identificeert een fundamenteel probleem in het veld van Explainable AI (XAI): de meeste bestaande methoden voor feature attribution (toewijzing van belang aan kenmerken) bieden geen garantie dat de uitleg de werkelijke voorspellingsprocessen van het model weerspiegelt.

Post-hoc rationalisatie: Veel methoden (zoals SHAP en LIME) zijn model-agnostisch en proberen na de voorspelling de attributies te schatten door het model lokaal te verstoren. Dit leidt tot "witverf" (white-painting): de uitleg lijkt transparant, maar is in feite een rationalisatie die niet noodzakelijk overeenkomt met hoe het model tot de conclusie kwam.
Misalignement: Er is een risico dat attributies niet intrinsiek zijn, niet voorafgaan aan de voorspelling, of dubbelzinnig zijn (bijvoorbeeld bij multicollineariteit).
Gradient-based methoden: Zelfs methoden die gebruikmaken van gradients (zoals Grad-CAM), die intrinsiek zijn, produceren attributies die pas na de voorspelling worden gegenereerd en kunnen ambigu zijn in hun interpretatie.

De auteurs stellen dat voor betrouwbare voorspellende modellering uitlijning (alignment) essentieel is: uitleg moet direct onderliggend zijn aan de voorspelling en niet slechts een bijwerking ervan zijn.

Methodologie: Leesbaarheid en PiNets

Om uitlijning te garanderen, introduceren de auteurs het concept van modelleesbaarheid (model readability) en een nieuw raamwerk genaamd Pointwise-interpretable Networks (PiNets).

1. Conceptuele Basis

Uitlijning (Alignment): Een uitleg is uitgelijnd als de attributies ( $\pi$ ) en de kenmerken ( $z$ ) worden gebruikt in een simpele functie $g$ om de voorspelling $y$ te genereren ( $y = g(\pi, z)$ ), waarbij $\pi$ intrinsiek en direct voorafgaand aan $y$ wordt gegenereerd.
Leesbaarheid: Een model is leesbaar als het herschreven kan worden als een lineaire combinatie van volledig interpreteerbare kenmerken.
Pseudo-lineaire modellen: In plaats van te werken met complexe interne features (embeddings) die moeilijk te interpreteren zijn, of met pure lineaire modellen die te simpel zijn, gebruiken PiNets een variabele-coëfficiëntenbenadering. Het model leert voor elke instantie $x$ een set coëfficiënten $\pi(x)$ die lineair worden gecombineerd met de input-kenmerken $z$ .

2. Architectuur van PiNets

De architectuur van een PiNet bestaat uit vier hoofdcomponenten:

Encoder: Verwerkt de input $x$ naar rijke interne representaties $h(x)$ .
Decoder: Genereert de variabele coëfficiënten (attributies) $\pi(x)$ op basis van $h(x)$ .
Second Look (Tweede blik): Een mechanische operatie in de laatste laag waarbij de gegenereerde attributies $\pi(x)$ elementsgewijs worden vermenigvuldigd met de kenmerken $z$ (vaak de input zelf). Dit dwingt het model om de data opnieuw te "bekijken" via de lens van de attributies.
Lineaire Aggregator: Combineert de geselecteerde signalen lineair om de uiteindelijke voorspelling $y$ te maken.

3. Evaluatiekader: MARS

De auteurs introduceren het MARS-kader om de "trouw" (faithfulness) van uitleg te evalueren:

Meaningful (Betekenisvol): Vangt het relevante signaal (niet ruis).
Aligned (Uitgelijnd): Weerspiegelt het voorspellingsproces direct.
Robust (Robuust): Is niet afhankelijk van contextuele ruis (spurious signals).
Sufficient (Voldoende): Bevat genoeg informatie om de voorspelling te reconstrueren.

4. Trainingstechnieken

Om PiNets te optimaliseren voor de MARS-criteria, worden drie technieken voorgesteld:

Recursive Stabilization: Een feedback-loop waarbij de voorspelling wordt gemaakt op basis van de gefilterde input ( $\pi(x) \circ z$ ). Het model wordt gestraft als de uitleg van deze gefilterde input verschilt van de oorspronkelijke uitleg. Dit verbetert robuustheid en volledigheid.
Ensembling: Het middelen van meerdere PiNets. Omdat PiNets pseudo-lineair zijn, behoudt het ensemble de leesbaarheid en uitlijning, terwijl de voorspellingsnauwkeurigheid en stabiliteit van uitleg verbeteren.
Strong Supervision: Het gebruik van ground-truth attributies (indien beschikbaar) om het trainingsproces te sturen, naast de voorspellingsfout.

Resultaten

De auteurs evalueren PiNets op twee taken: een synthetische beeldclassificatietask ("ToyShapes") en een real-world semantische segmentatietask ("Flood Mapping" met satellietbeelden).

1. ToyShapes (Synthetisch):

Doel: Detectie van driehoekige vormen in kwadranten.
Vergelijking: PiNets versus Grad-CAM (gebaseerd op CNNs).
Vindingen:
- PiNets met een onvoldoende decoder presteerden goed in voorspelling maar produceerden willekeurige uitleg (geen uitlijning in betekenis).
- PiNets met een goed ontworpen architectuur (decoder + "second look") produceerden uitleg die zowel uitgelijnd als betekenisvol was.
- Post-processing: Zelfs zonder geavanceerde post-processing (naive benadering) presteerden PiNets vaak beter dan Grad-CAM. Met optimale post-processing (drempelwaardes) waren PiNets vergelijkbaar met of beter dan Grad-CAM, met name bij hoge eisen aan kwaliteit.
- Stabiliteit: Ensembling en recursive feedback verbeterden de stabiliteit van de uitleg aanzienlijk over verschillende trainingsruns.
- Robuustheid: PiNets toonden minder gevoeligheid voor contextuele ruis (zoals een kattenbak naast een kat) dan baselines.

2. Flood Mapping (Sen1Floods11):

Doel: Segmentatie van overstromingsgebieden op satellietbeelden.
Benadering: Een PiNet werd getraind om het oppervlak van overstromingen te voorspellen (regressie) en tegelijkertijd de attributies (segmentatiekaart) te genereren, zonder pixel-level ground truth voor de uitleg.
Vindingen:
- Hoewel een gespecialiseerd segmentatiemodel (SegNet) dat direct op pixel-labels is getraind iets betere IoU-scores behaalde, produceerde de PiNet zeer betekenisvolle segmentatiekaarten.
- Dit toont aan dat PiNets kunnen worden opgeleid om betekenisvolle uitleg te genereren door alleen op samengevatte, informatieve target variabelen (zoals oppervlakte) te trainen, wat nuttig is wanneer volledige annotaties schaars of duur zijn.

Belangrijke Bijdragen

Definitie van Uitlijning: Het stellen van een strikte definitie waarbij uitleg intrinsiek moet zijn en direct voorafgaat aan de voorspelling via een simpele operatie.
PiNet Framework: Een nieuw modelleerframework dat deep learning combineert met pseudo-lineaire structuren om leesbaarheid en uitlijning "by design" te garanderen.
MARS-kader: Een uitgebreid evaluatiekader dat uitlijning combineert met betekenisvolheid, robuustheid en volledigheid.
Technische Innovaties: Het introduceren van "recursive stabilization" en "strong supervision" als effectieve methoden om de kwaliteit van uitleg te verhogen zonder de voorspellende kracht te verliezen.

Significantie en Toekomstperspectief

Het artikel is significant omdat het de focus verschuift van het post-hoc verklaren van zwarte dozen naar het ontwerpen van modellen die van nature transparant en betrouwbaar zijn.

Vertrouwen: Door uitlijning te garanderen, verminderen PiNets het risico op misleidende rationalisaties, wat cruciaal is voor toepassingen in kritieke domeinen (zoals gezondheidszorg of finance).
Flexibiliteit: Het framework is toepasbaar op diverse datastructuren (beeld, tekst, grafen, genomics) door de keuze van het kenmerkruimte $Z$ aan te passen aan de specifieke interpretatiebehoeften.
Efficiëntie: Het vermogen om uitleg te genereren zonder volledige pixel-level annotaties (via strong supervision op samengevatte variabelen) opent nieuwe wegen voor training in domeinen waar data-labeling moeilijk is.

Kortom, PiNets bieden een brug tussen de hoge voorspellende kracht van diepe neurale netwerken en de noodzaak van transparante, betrouwbare en interpreteerbare AI-systemen.