Instance-wise Linearization of Neural Network for Model Interpretation

In de moderne wereld is kunstmatige intelligentie een stille partner in het dagelijks leven geworden, die beslissingen stuurt van medische diagnoses tot leninggoedkeuringen. In het hart van deze systemen liggen neurale netwerken, computerprogramma's die zijn ontworpen om patronen te leren van data, vergelijkbaar met hoe een menselijk brein leert van ervaring. Deze netwerken zijn opgebouwd uit lagen eenvoudige verwerkingseenheden die informatie doorgeven, waarbij ze ruwe inputs transformeren naar definitieve antwoorden. Jarenlang waren deze systemen ongelooflijk effectief, maar ze bleven grotendeels mysterieus voor de mensen die op hen vertrouwen. Wanneer een netwerk een beslissing neemt, is het vaak onmogelijk om precies te zien welke stukjes informatie het belangrijkst waren of hoe het systeem deze combineerde om tot die conclusie te komen. Dit gebrek aan transparantie is een aanzienlijke hindernis geworden, aangezien overheden en wetenschappers steeds vaker eisen dat deze geautomatiseerde systemen hun redenering uitleggen voordat ze kunnen worden vertrouwd met kritieke taken.

Een team van onderzoekers heeft nu een manier voorgesteld om het gordijn achter deze black box op te schuiven, niet door te raden hoe het systeem denkt, maar door het denkproces voor een enkel moment in de tijd wiskundig te vereenvoudigen. Hun werk suggereert dat hoewel een neuraal netwerk ongelooflijk complex is wanneer men het als geheel bekijkt, het gedrag voor elke specifieke voorspelling afzonderlijk eigenlijk vrij eenvoudig is. Door een enkele voorspelling te behandelen als een unieke gebeurtenis, ontdekten de onderzoekers dat ze de niet-lineaire complexiteit van het netwerk konden weghalen en het volledige besluitvormingsproces konden herschrijven als een eenvoudige, directe berekening binnen een specifieke lokale regio. Deze aanpak stelt hen in staat om precies te zien hoe elk enkel stukje inputdata bijdraagt aan het uiteindelijke resultaat, waardoor een mysterieus algoritme verandert in een transparante kaart van oorzaak en gevolg.

De kern van deze ontdekking rust op een eenvoudige observatie over hoe deze netwerken werken. Neurale netwerken gebruiken speciale componenten die activatie-eenheden worden genoemd, om te beslissen of ze een signaal doorgeven of stoppen. Deze eenheden creëren een niet-lineair gedrag, wat betekent dat de relatie tussen input en output geen rechte lijn is, wat het systeem juist zo krachtig maakt maar ook zo moeilijk te begrijpen. De onderzoekers merkten echter op dat het netwerk voor elke specifieke voorspelling slechts één specifiek pad door deze activatie-eenheden volgt. Zodra dat pad is gekozen, stort het complexe, kronkelende gedrag van het netwerk in tot een lineair proces. In dit specifieke geval maakt het netwerk geen ingewikkelde, gebogen beslissing meer; het vermenigvuldigt simpelweg de input met een reeks getallen en telt daar een constante waarde bij op.

Om dit te bewijzen, ontwikkelde het team een methode om de voorwaartse reis van data door een neuraal netwerk te herschrijven. Ze namen de standaardlagen die gebruikt worden in computer vision, zoals die welke afbeeldingen scannen op randen of vormen, en toonden aan dat elk daarvan kan worden omgezet in een standaard matrixvermenigvuldiging. Dit omvat de convolutielagen die afbeeldingen scannen, de pooling-lagen die de grootte van de afbeelding verkleinen, en zelfs de skip-verbindingen die diepe netwerken helpen beter te leren. Door elke laag naar dit lineaire formaat om te zetten, konden ze ze allemaal combineren tot één grote vergelijking. Het resultaat is een enkele formule waarbij de input wordt vermenigvuldigd met een grote matrix van gewichten en wordt opgeteld bij een bias-term om de output te produceren. Deze formule fungeert als een precieze representatie van de beslissing van het netwerk voor die specifieke afbeelding binnen zijn lokale lineaire regio, waardoor exact zichtbaar wordt hoeveel elke pixel heeft bijgedragen aan de uiteindelijke score.

De onderzoekers testten deze methode op verschillende bekende beeldherkenningsmodellen, inclusief modellen die getraind zijn om handgeschreven cijfers en complexe objecten zoals auto's en dieren te identificeren. Ze ontdekten een verrassende splitsing in hoe deze netwerken beslissingen nemen. Voor eenvoudigere modellen die getraind zijn op basisvormen van cijfers, droeg het hoofddeel van de berekening in de formule bijna het volledige gewicht van de beslissing, terwijl de constante optelterm verwaarloosbaar was. Echter, voor de complexere modellen die getraind zijn op moeilijke datasets, werd de constante term de dominante kracht. In deze geavanceerde netwerken kon de constante waarde alleen vaak al de meerderheid van de voorspelling bepalen, terwijl de gedetailleerde berekening van de inputfeatures een kleinere rol speelde. Deze bevinding daagt de algemene aanname uit dat de interne berekeningen van een netwerk altijd de primaire drijfveer van de keuzes zijn, en suggereert dat voor veel moderne systemen een vaste bias het zware werk doet.

Deze nieuwe manier van kijken naar neurale netwerken biedt een krachtig hulpmiddel om niet alleen te begrijpen wat een model voorspelt, maar ook hoe het tot die voorspelling komt. Omdat de methode de beslissing afbreekt in een directe bijdrage van elke inputfeature, kan het een gedetailleerde kaart genereren die laat zien welke delen van een afbeelding de netwerk hielpen om tot een specifieke label te komen en welke delen ertegen werkten. In experimenten met handgeschreven cijfers lieten de onderzoekers zien dat deze kaart correct de streken markeerde die een nummer definiëren, zoals de lus van een zeven of de verticale lijn van een één. In tegen tegenstelling tot andere methoden die de belangrijkheid proberen te raden, berekent deze aanpak de bijdrage van elke pixel op basis van de werkelijke wiskunde van het netwerk voor die specifie-ke afbeelding, mits het netwerk gebruikmaakt van stuksgewijs lineaire activatiefuncties.

Het nut van deze techniek strekt zich uit voorbij eenvoudige beeldclassificatie naar het domein van unsupervised learning, waar netwerken worden gebruikt om data te organiseren zonder menselijke labels. De onderzoekers pasten hun methode toe op een techniek genaamd parametric t-SNE, die een neuraal netwerk gebruikt om hoogdimensionale data samen te persen tot een tweedimensionale kaart voor menselijke weergave. Normaal gesproken is het moeilijk te begrijpen waarom een netwerk twee datapunten dicht bij elkaar plaatst op deze kaart. Door hun linearisatiemethode toe te passen, konden het team de reis van elk datapunt door het netwerk traceren en precies zien welke kenmerken ervoor zorgden dat het punt op een specifieke plek terechtkwam. Ze ontdekten dat monsters die dicht bij elkaar geplaatst waren vaak vergelijkbare feature-bijdragen deelden, maar soms werden punten die dicht bij elkaar leken te liggen, gedreven door zeer verschillende interne redenen, een nuance die onzichtbaar zou blijven met traditionele analyse-instrumenten.

Uiteindelijk biedt dit werk een flexibel kader om neurale netwerken te ontmijsteren zonder ze vanaf nul opnieuw te hoeven bouwen. Door te erkennen dat een enkele voorspelling een lineaire gebeurtenis is binnen een lokale regio, hebben de onderzoekers aangetoond dat het besluitvormingsproces kan worden geherformuleerd tot een heldere, wiskundige verklaring. Dit betekent niet dat de netwerken simpel zijn, maar eerder dat hun complexiteit kan worden gepauzeerd en stap voor stap kan worden onderzocht. Of het doel nu is om te waarborgen dat een AI eerlijke beslissingen neemt of om een wetenschapper te helpen begrijpen hoe een model de wereld ziet, deze aanpak biedt een direct venster naar de logica van de machine, waarbij speculatie wordt vervangen door precieze berekening.