A Comparative Study of Counterfactual Explainers for Graph Neural Networks Enabling Multiple Types of Graph Edit

In de wereld van kunstmatige intelligentie is er een groeiende vraag naar begrip over hoe machines beslissingen nemen, vooral wanneer die beslissingen echte levens beïnvloeden. Stel je een computerprogramma voor dat naar een complex netwerk van verbindingen kijkt – zoals een kaart van hoe verschillende medicijnen met elkaar interageren, of hoe mensen met elkaar verbonden zijn in een sociaal netwerk – en een uitkomst voorspelt. Deze programma's, bekend als graph neural networks, zijn ongelooflijk krachtig, maar ze werken vaak als zwarte dozen, waarbij ze een voorspelling bieden zonder uit te leggen waarom. Om dit op te lossen, hebben onderzoekers een methode ontwikkeld genaamd counterfactual explanation (tegenfeitelijke uitleg). In plaats van alleen aan te wijzen welke delen van het netwerk belangrijk waren voor het uiteindelijke antwoord, stelt deze methode een "wat als"-vraag: wat is de kleinste, meest realistische verandering die we aan het netwerk kunnen aanbrengen om een compleet ander resultaat te krijgen? Als een systeem bijvoorbeeld voorspelt dat twee medicijnen veilig samen te gebruiken zijn, zou een counterfactual explanation precies laten zien welke nieuwe verbinding, indien deze zou bestaan, de computer zou doen voorspellen dat er een gevaarlijke reactie optreedt. Deze aanpak helpt artsen, wetenschappers en ingenieurs om de machine te vertrouwen door hen de precieze hendels te tonen die de logica ervan aansturen.

Een team van onderzoekers aan het Instituut voor Informatica in Griekenland nam onlangs het initiatief om de beste momenteel beschikbare instrumenten te testen voor het genereren van deze "wat als"-scenario's in grafische netwerken. Ze richtten zich op een nieuwe generatie hulpmiddelen die meer kunnen dan alleen verbindingen verwijderen; ze kunnen ook nieuwe verbindingen toevoegen. Dit vermogen om zowel links toe te voegen als te verwijderen is cruciaal omdat echte netwerken zelden vaststaan; ze evolueren, en het begrijpen van hoe je ze moet veranderen vereist kijken in beide richtingen. De onderzoekers verzamelden zes van de meest geavanceerde computerprogramma's die voor deze taak zijn ontworpen en onderwierpen deze aan een reeks strenge tests. Ze draagden deze programma's uit op een grote verscheidenheid aan data, inclusie synthetische netwerken die gebouwd zijn om specifieke patronen te hebben en echte datasets die alles vertegenwoordigen van chemische moleculen tot sociale mediaberichten en wetenschappelijke citaties. Het doel was niet alleen om te zien welk programma een antwoord kon vinden, maar om de kwaliteit van dat antwoord te beoordelen: was de verandering klein genoeg om geloofwaardig te zijn? Veranderde het daadwerkelijk de voorspelling? En duurde het berekenen te lang?

De studie onthulde dat er geen enkele kampioen is die in elke categorie wint. De onderzoekers ontdekten een constante afweging tussen de snelheid van de uitleg, de omvang van de vereiste verandering en de betrouwbaarheid van het resultaat. Sommige programma's waren uitstekend in het vinden van minuscule, minimale veranderingen die de voorspelling omdraaiden, maar ze faalden vaak in het vinden van een oplossing überhaupt voor complexe, echte data. Andere waren zeer betrouwbaar en konden bijna altijd een manier vinden om de uitkomst te veranderen, maar de veranderingen die zij suggereerden waren vaak zo groot en ingewikkeld dat ze voor een mens onmogelijk te interpreteren of te vertrouwen zouden zijn. Eén programma, dat een techniek gebruikte geïnspireerd door hoe afbeeldingen worden gegenereerd, was zeer grondig en vond kwalitatief hoogwaardige antwoorden, maar het was zo traag dat het uren duurde om een enkele graaf te verwerken, wat het onpraktisch maakte voor veel toepassingen. Een ander programma was ongelooflijk snel en efficiënt, maar had de neiging om verklaringen te produceren die te groot waren om nuttig te zijn.

Misschien wel de meest verrassende bevinding was dat zelfs de beste tools moeite hadden om zich op het juiste deel van het netwerk te concentreren. In de synthetische tests, waarbij de onderzoekers precies wisten welk patroon van verbindingen verantwoordelijk was voor de voorspelling, suggereerden veel van de programma's nog steeds wijzigingen in gebieden van het netwerk die irrelevant waren. Ze voegden randen toe of verwijderden ze op plaatsen ver weg van het kritieke patroon, waardoor ze effectief in het donker gokten in plaats van de ware oorzaak aan te wijzen. Dit suggereert dat hoewel deze tools beter worden in het vinden van een oplossing, ze nog niet consistent de juiste oplossing vinden. De onderzoekers merkten ook op dat de meeste bestaande tools primair zijn ontworpen voor het classificeren van volledige netwerken, zoals het bepalen of een molecuul giftig is, maar aanzienlijk slechter presteerden wanneer ze gevraagd werd het gedrag van een enkele node binnen een netwerk uit te leggen, zoals het voorspellen van het onderwerp van een specifiek wetenschappelijk artikel.

Uiteindelijk dient dit werk als een reality check voor een veld dat zeer snel beweegt. De auteurs concluderen dat hoewel het vermogen om zowel verbindingen toe te voegen als te verwijderen een grote stap voorwaarts is, de huidige generatie instrumenten nog steeds een werk in uitvoering is. Geen enkele methode biedt momenteel de perfecte balans tussen snelheid, nauwkeurigheid en eenvoud. De studie benadrukt dat toekomstig onderzoek verder moet gaan dan simpelweg het vinden van een antwoord en zich moet richten op het genereren van verklaringen die niet alleen correct zijn, maar ook betekenisvol en efficiënt. Totdat een methode wordt gevonden die consistent de precieze, minimale veranderingen kan identificeren die nodig zijn om een voorspelling te wijzigen zonder te verdrinken in complexiteit of tijd, zal het volledige potentieel van deze krachtige AI-systemen deels verborgen blijven achter een sluier van onzekerheid.