NICE: Scale-Stable Perturbations for Graph Neural Network Explanations via Noise Corruption

In de wereld van kunstmatige intelligentie bestaat een groeiende klasse van systemen die bekend staan als Graph Neural Networks. Dit zijn niet de standaard beeldherkenningsinstrumenten die je op je telefoon vindt; in plaats daarvan zijn ze ontworpen om data te begrijpen die bestaat uit een web van verbindingen, zoals moleculen in een chemische verbinding, sociale netwerken of verkeersroutes. Om een beslissing te nemen, sturen deze systemen informatie langs de verbindingen tussen knooppunten, vergelijkbaar met een gerucht dat zich door een menigte verspreidt. Omdat deze systemen ongelooflijk complex zijn en hun interne logica vaak een verwarrende 'black box' is, hebben wetenschappers "explainers" ontwikkeld. Dit zijn instrumenten die ontworpen zijn om naar een voltooide beslissing te kijken en aan te geven welke specifieke verbindingen of stukjes informatie het belangrijkst waren. De standaardmanier waarop deze instrumenten werken, is door een spelletje "wat als" te spelen. Ze nemen een specifieke verbinding, verwijderen of dempen deze, en vragen vervolgens aan de AI: "Verandert je antwoord?" Als het antwoord drastisch verandert, gaat het hulpmiddel ervan uit dat die verbinding essentieel was. Deze methode is al jaren de industriestandaard, maar rust op een kwetsbare aanname: dat het proces van het verwijderen van een verbinding niet per ongeluk het hele systeem op een manier breekt die niets met de verbinding zelf te maken heeft.

Een team van onderzoekers van Central South University, Hong Kong Polytechnic University en Griffith University heeft ontdekt dat deze standaardmethode fundamenteel gebrekkig is. Ze ontdekten dat de manier waarop deze explainers verbindingen dempen, een verborgen verstoring introduceert die de antwoorden van de AI onbetrouwbaar maakt. Wanneer een explainer probeert een link in het netwerk "uit te zetten", vermenigvuldigt het doorgaans de informatie die door die link stroomt met een getal dat dicht bij nul ligt. Hoewel dit de specifieik bericht succesvol stopt, verkleint het ook het totale volume van de informatie die door het hele netwerk beweegt. De onderzoekers noemen dit fenomeen "Scale Drift" (schaalverschuiving). Stel je een gesprek voor waarbij je iemand vraagt een geheim tegen een vriend te fluisteren, maar daarmee per ongeluk iedereen in de kamer dwingt om op een fractie van hun normale volume te spreken. Het geheim is misschien weg, maar het hele gesprek is ook vaag en vervormd geworden. De AI, die dit gekrompen signaal ontvangt, kan van gedachten veranderen, niet omdat het geheim belangrijk was, maar simpelweg omdat de hele kamer te stil werd om iets duidelijk te kunnen horen. De onderzoekers toonden aan dat deze drift zich bij elke stap die de informatie door het netwerk aflegt, opstapelt, wat betekent dat hoe dieper het netwerk gaat, hoe verder de interne staat van de AI afdrijft van de realiteit, waardoor de uitleg onbetrouwbaar wordt.

Om dit op te lossen, stelden de onderzoekers een nieuwe manier voor om de AI te testen die de signaalverzwakking vermijdt. In plaats van een verbinding simpelweg te dempen, introduceerden zij een methode genaamd "Noise Corruption" (ruiscorruptie). In plaats van het volume naar nul te brengen, vervangt deze methode het heldere bericht door een willekeurige, verstoorde versie die precies dezelfde algehele sterkte of "luidheid" heeft. Het is alsoals een heldere zin vervangen door een burst van statische ruis die net zo hard is als de oorspronkelijke stem. De informatie is gecorrumpeerd, maar de energie die door het netwerk stroomt, blijft stabiel. Door het volume constant te houden, zorgden de onderzoekers ervoor dat elke verandering in het antwoord van de AI te wijten was aan het verlies van specifieke betekenis, en niet aan een instorting van de algehele kracht van het systeem. Ze bouwden een nieuw kader rond dit idee, dat ze NICE noemden. Dit systeem leert eerst een grens van hoeveel informatie moet worden hersteld om de AI terug te brengen naar zijn oorspronkelijke beslissing, en berekent vervolgens exact welke verbindingen het meest hebben bijgedragen aan die herstelwerking.

De resultaten van deze nieuwe aanpak waren aanzienlijk. Bij tests over acht verschillende benchmarks, variërend van chemische moleculen tot andere complexe structuren, presteerde de nieuwe methode beter dan de beste bestaande instrumenten. Het was in staat om de juiste kritieke verbindingen nauwkeuriger te identificeren, waarbij het de bekende methoden met gemiddeld bijna negen procent verbeterde in het vinden van de juiste antwoorden. Belangrijker nog, de onderzoekers bevestigden dat hun nieuwe techniek het probleem van "Scale Drift" succesvol heeft geëlimineerd. Toen ze de oude methode van het dempen van verbindingen vergeleken met hun nieuwe methode van het toevoegen van ruis, duwde de oude methode de interne staat van de AI consequent ver weg van zijn normale operationele bereik, terwijl de nieuwe methode de interne staat van de AI veel dichter bij hoe deze zich gedroeg vóór de wijzigingen hield. Dit suggereert dat veel verklaringen die jarenlang door AI zijn gegenereerd, misleidend kunnen zijn geweest, niet omdat de AI fout zat, maar omdat de instrumenten die werden gebruikt om het te verklaren, onbedoeld het systeem dat ze probeerden te begrijpen, kapot maakten. Door de manier waarop we de data verstoren te repareren, hebben de onderzoekers een trouwaardere manier geboden om in de geest van deze complexe netwerken te kijken.