Using the Path of Least Resistance to Explain Deep Networks

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een heel slimme, maar mysterieuze robot hebt die foto's herkent. Hij kan perfect zien of er een "jet" (een straalvliegtuig) op een foto staat. Maar als je vraagt: "Waarom denk je dat dit een jet is?", dan geeft hij geen antwoord. Hij is een "zwarte doos".

Om dit op te lossen, hebben wetenschappers methoden bedacht om te kijken welke pixels op de foto het belangrijkst zijn voor het antwoord van de robot. De meest populaire methode heet Integrated Gradients (IG).

Het probleem: De rechte lijn is niet altijd de snelste weg

De standaard-methode (IG) doet het volgende:
Stel je voor dat de foto van de jet begint als een volledig zwart scherm (de "basis"). De robot ziet hier niets en zegt: "Dit is geen jet."
De methode trekt nu een rechte lijn van dat zwarte scherm naar jouw echte foto met de jet. Ze kijken langs die rechte lijn hoe de robot zijn mening verandert.

Maar hier zit een addertje onder het gras:
In de wereld van kunstmatige intelligentie is de "wereld" van de robot niet vlak als een vloer. Het is meer als een berglandschap met diepe dalen en hoge pieken.

De rechte lijn (IG): Deze gaat dwars door de bergen heen. Soms loopt deze lijn dwars door een gebied waar de robot heel verward is (hoge "gradiënten"). Hierdoor denkt de methode dat bepaalde zwarte stukjes op de foto heel belangrijk zijn, terwijl ze dat helemaal niet zijn. Het is alsof je een wandeling maakt van punt A naar B, maar je kiest een route die dwars door een modderpoel loopt. Je komt wel aan, maar je bent modderig en de route was niet de beste.

In het paper zien ze dit in een voorbeeld met straalvliegtuigen. Omdat de vleugels zwart zijn, denkt de oude methode dat die zwarte vleugels niets te maken hebben met de classificatie, omdat de rechte lijn daar "vastloopt" in de verwarring van de robot.

De oplossing: De "Pad van Minste Weerstand" (Geodesic Integrated Gradients)

De auteurs van dit paper, Sina Salek en Joseph Enguehard, zeggen: "Waarom lopen we niet langs de beste route?"

Ze introduceren een nieuwe methode genaamd Geodesic Integrated Gradients (GIG).
In plaats van een rechte lijn te trekken, laten ze de robot zelf bepalen hoe je het beste van het zwarte scherm naar de foto kunt lopen. Ze gebruiken een soort "GPS" die de hellingen en valleien van de robot in de gaten houdt.

De analogie: Stel je voor dat je een wandelaar bent die een berg wil beklimmen.
- De oude methode (IG): Je loopt in een rechte lijn omhoog, dwars door de steilste rotswand. Je raakt uitgeput en maakt veel fouten.
- De nieuwe methode (GIG): Je kijkt naar het landschap. Je ziet dat er een kronkelend pad is dat om de steile rotswanden heen gaat. Je volgt dit pad. Je komt net zo snel aan, maar je bent niet moe en je hebt de echte moeilijkheidsgraad van de berg goed begrepen.

Dit pad noemen ze een geodeet. Het is het pad van "minste weerstand" door de wereld van de robot.

Waarom is dit zo belangrijk? (De "Rekening" van de robot)

De auteurs hebben ook een nieuwe regel toegevoegd aan de theorie, die ze No-Cancellation Completeness noemen.

Stel je voor dat je een financiële rekening bijhoudt.

De oude regel (Completitude): Als je alle bedragen optelt, moet het kloppen met het totaal. Maar het mag zijn dat je €1000 aan inkomsten hebt en €1000 aan onterechte uitgaven, waardoor het saldo €0 is. De som klopt, maar de details liegen.
De nieuwe regel (Geen Kruising): De auteurs zeggen: "Nee, dat mag niet." Als een pixel belangrijk is, moet die ook echt belangrijk zijn. Je mag niet een positieve waarde en een negatieve waarde tegen elkaar wegstrepen om het totaal te laten kloppen.

Met hun nieuwe methode (GIG) zorgen ze ervoor dat de "rekening" eerlijk is. Geen verborgen aftrekposten. Als de robot zegt dat een vleugel belangrijk is, dan is die vleugel écht belangrijk, en niet omdat er ergens anders een foutje is opgeheven.

Hoe doen ze dit in de praktijk?

Het is lastig om die perfecte kronkelende route te vinden, vooral bij grote foto's. Daarom gebruiken ze twee slimme trucs:

Voor simpele dingen: Ze bouwen een netwerk van punten (zoals een stippellijn) en zoeken de kortste weg door dat netwerk.
Voor complexe foto's: Ze gebruiken een wiskundige techniek (vergelijkbaar met hoe een AI leert) om de route te "leren" die het beste werkt, zonder dat ze elke mogelijke route hoeven uit te proberen.

Het resultaat

In hun tests hebben ze laten zien dat hun nieuwe methode veel eerlijker is dan de oude.

Bij de straalvliegtuigen herkent de nieuwe methode dat de zwarte vleugels juist heel belangrijk zijn voor de robot.
Bij echte foto's (zoals vogels of auto's) kan de nieuwe methode beter vertellen welke delen van de foto de robot echt heeft gebruikt om zijn beslissing te maken.

Kortom:
Deze paper zegt: "Stop met het trekken van rechte lijnen door een gekromde wereld. Volg in plaats daarvan het pad dat de robot zelf het makkelijkst vindt. Zo krijg je een eerlijker en betrouwbaarder antwoord op de vraag: 'Waarom denk je dat?'"

Het is een beetje alsof je stopt met het nemen van een shortcut door een veld (waar je vastloopt in modder) en in plaats daarvan het pad volgt dat de lokale bewoners al eeuwen gebruiken: het pad van minste weerstand.

Each language version is independently generated for its own context, not a direct translation.

Titel: Het Gebruik van de Weg van Minste Weerstand om Diepe Netwerken te Verklaren

Auteurs: Sina Salek (Geodesic Labs) en Joseph Enguehard (Microsoft)

1. Het Probleem

Interpretatie van diepe leermodellen is cruciaal voor vertrouwen en eerlijkheid, maar veel bestaande methoden hebben tekortkomingen.

Integrated Gradients (IG): De meest gebruikte attributiemethode berekent de belangrijkheid van invoereigenschappen door de modelgradiënten te integreren langs een rechte lijn (Euclidische ruimte) tussen een referentie-baseline (bijv. een zwart beeld) en de invoer.
De Tekortkoming: Rechte lijnen negeren de kromming van het model. In gebieden waar het model "plat" is (lage gradiënten) maar de rechte lijn door een gebied met hoge gradiënten loopt (bijv. nabij de beslissingsgrens), ontstaan er verkeerde attributies.
- Voorbeeld: Bij een "half-moons" classificatiekan of beeldclassificatie kan IG eigenschappen als onbelangrijk markeren, simpelweg omdat het integratiepad door een gebied loopt waar het model weinig verandert, terwijl de eigenschap voor het model essentieel is.
Axioma's: Bestaande methoden voldoen vaak aan het axioma van Completitude (de som van attributies gelijk aan de verandering in output), maar dit staat kruising (cancellation) toe. Een eigenschap kan een hoge positieve score krijgen en een andere een even hoge negatieve score, waardoor de som klopt maar de individuele bijdragen misleidend zijn.

2. Methodologie: Geodesic Integrated Gradients (GIG)

De auteurs stellen een nieuwe methode voor die de integratiepaden aanpast aan de geometrie van het model zelf.

A. Riemanniaanse Meetkunde en de "Weg van Minste Weerstand"

In plaats van een rechte lijn in de Euclidische ruimte, wordt de invoerruimte beschouwd als een Riemanniaanse variëteit met een door het model gegenereerde metriek.

Metriek: De metriek $G_x$ wordt gedefinieerd door de Jacobiaan van het model: $G_x = J_x^T J_x$ .
Principe: De "lengte" van een pad wordt bepaald door de geaccumuleerde gradiëntnorm langs dat pad. Gebieden met hoge gradiënten (hoge weerstand) worden "duur" om te doorkruisen.
Geodeten: GIG integreert langs geodeten (de kortste paden op deze variëteit). Deze paden omzeilen gebieden met hoge gradiënten waar mogelijk, wat leidt tot attributies die beter overeenkomen met het daadwerkelijke gedrag van het model.

B. Nieuw Axioma: No-Cancellation Completeness (NCC)

De auteurs introduceren een versterkt axioma:

Definitie: De som van de absolute attributies moet gelijk zijn aan de absolute verandering in de modeloutput: $\sum |A_i(x)| = |f(x) - f(x')|$ .
Betekenis: Dit verbiedt dat attributies elkaar opheffen (kruising).
Theorema 1: Bewezen dat onder de door het model gegenereerde metriek, NCC geldt dan en slechts dan als het integratiepad een geodeet is. GIG is dus de unieke pad-gebaseerde methode die dit axioma voldoet.

C. Benaderingsmethoden voor Geodeten

Het exact berekenen van geodeten is vaak onmogelijk. De auteurs stellen twee benaderingen voor:

k-Nearest Neighbours (kNN): Geschikt voor lage dimensies (bijv. synthetische data).
- Er wordt een graaf gebouwd met steekproeven tussen baseline en invoer.
- De gewichten van de randen worden geschat via geïntegreerde gradiënten.
- Het kortste pad wordt gevonden met Dijkstra's algoritme.
Stochastische Variatie-Inferentie (SVI): Geschikt voor hoge dimensies (bijv. beelden).
- Een energie-functie wordt geminimaliseerd die een compromis zoekt tussen directheid (dicht bij de rechte lijn) en het vermijden van hoge gradiënten.
- De energie-functie bevat een afstands-term en een kromming/penalty-term gebaseerd op $\|\nabla f(x)\|^2$ .
- SVI leert een variatie-verdeling om optimale paden te vinden.

3. Resultaten

De methode is getest op synthetische en real-world datasets.

Synthetisch (Half-Moons Dataset):
- GIG (kNN) presteerde significant beter dan IG, GradientShap, KernelShap en Occlusion.
- Het verminderde artefacten waar IG eigenschappen onterecht als onbelangrijk aanwees.
- Purity-metric: GIG behaalde de hoogste scores, wat aangeeft dat de hoogst beoordeelde eigenschappen correct corresponderen met de werkelijke beslissingsgrens van het model.
Real-world (Pascal VOC 2012 met ConvNext):
- GIG (SVI) overtrof alle bestaande methoden op twee faithfulness-metrics: Comprehensiveness (hoeveel de voorspelling daalt bij maskeren van belangrijke pixels) en Log-odds.
- GIG behaalde een relatieve verbetering van ~29% in Comprehensiveness ten opzichte van de beste concurrent.
- Kwalitatief: In visuele voorbeelden (zoals in Figuur 1 van het paper) toont GIG correcte attributies op objecten (bijv. stralen van een jet), terwijl IG door de rechte lijn door zwarte achtergronden wordt misleid en de objecten als onbelangrijk bestempelt.

4. Belangrijke Bijdragen

Theoretische Inzicht: Identificatie dat rechte lijnen in de Euclidische ruimte leiden tot misleidende attributies door het negeren van de model-geometrie.
Nieuw Axioma (NCC): Introduceert "No-Cancellation Completeness" en bewijst dat dit axioma uniek wordt voldaan door geodetische paden onder de model-metriek.
Geodesic Integrated Gradients (GIG): Een generalisatie van IG die Riemanniaanse meetkunde gebruikt om attributies te berekenen langs paden van minste weerstand.
Implementatie: Twee praktische benaderingen (kNN en SVI) voor het vinden van geodeten in verschillende dimensies.

5. Betekenis en Discussie

Betrouwbaarheid: GIG levert "trouwere" (faithful) verklaringen die beter overeenkomen met het interne gedrag van het model, vooral in complexe, niet-lineaire gebieden.
Vergelijking met MIG: Een gerelateerde methode, Manifold Integrated Gradients (MIG), gebruikt de geometrie van de data (via een VAE) om realistische interpolaties te garanderen. GIG gebruikt daarentegen de geometrie van het model (gradiënten) om attributiefouten te corrigeren. Ze vullen elkaar aan.
Beperkingen:
- Rekenkosten: De SVI-methode is aanzienlijk duurder dan standaard IG (ongeveer 840x trager in de experimenten), wat het momenteel beperkt tot scenario's waar kwaliteit belangrijker is dan snelheid (bijv. auditing, debugging).
- Hyperparameters: De SVI-methode vereist zorgvuldige tuning van parameters zoals $\beta$ (weegfactor voor gradiëntvermijding).
Toekomst: De auteurs zien potentie in het ontwikkelen van efficiëntere oplossers (bijv. directe ODE-oplossers of geamortiseerde padvoorspelling) om GIG schaalbaar te maken.

Conclusie: Dit paper biedt een fundamentele verbetering in de interpretatie van diepe netwerken door de integratiepaden te laten volgen door de "topografie" van het model zelf, in plaats van een starre rechte lijn, wat leidt tot wiskundig onderbouwde en empirisch superieure attributies.