Computing Actual Causes for Neural Network Predictions under Structured Causal Inputs
Dit artikel stelt een methode voor voor het berekenen van Halpern-Pearl werkelijke oorzaken voor voorspellingen van neurale netwerken door gestructureerde inputafhankelijkheden te modelleren via Booleaanse Structurele Causale Modellen, waarbij gebruik wordt gemaakt van grenspropagatie en branch-and-bound-technieken om schaalbare, volledige en minimale verklaringen te verkrijgen die de schijnresultaten vermijden die worden veroorzaakt door het negeren van kenmerkcorrelaties.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert uit te zoeken waarom een robot een specifieke keuze heeft gemaakt, zoals het besluiten om een leningaanvraag af te wijzen. In de wereld van Kunstmatige Intelligentie wordt dit "uitlegbaarheid" genoemd. Meestal kijken wetenschappers naar de inputs van de robot — zoals inkomen, leeftijd of schulden — en vragen ze zich af: "Welke van deze getallen telden het meest?" Ze behandelen deze getallen vaak als onafhankelijke ingrediënten in een salade: als je de sla verandert, blijft de tomaat hetzelfde. Maar in de echte wereld zijn ingrediënten vaak met elkaar vermengd. Een hoog inkomen kan bijvoorbeeld veroorzaken dat de uitgaven hoog zijn, en hoge uitgaven kunnen weer veroorzaken dat het banksaldo negatief is. Als je deze verbindingen negeert, wijt je misschien het negatieve banksaldo aan de afwijzing van de lening, terwijl je daarmee de werkelijke hoofdoorzaak — de hoge uitgaven — uit het oog verliest. Dit artikel pakt het lastige probleem aan om AI-beslissingen uit te leggen wanneer de inputs verstrengeld zijn in een web van oorzaak-en-gevolgrelaties, door gebruik te maken van een raamwerk genaamd "actual causality" (werkelijke causaliteit) om de echte boosdoeners te vinden zonder te verdwalen in een doolhof van valse mogelijkheden.
De onderzoekers, Jannick Strobel, Muqit Azeem en Stefan Leue van de Universiteit van Konstanz, introduceren een nieuwe methode genaamd CausExBaB om dit puzzelstuk op te lossen. Beschouw een neuraal netwerk (de AI-hersenen) als een complexe, zwarte doos-verkoopautomaat. Je stopt een set ingrediënten in (de inputdata) en het spuugt een beslissing uit (zoals "Hoog Risico" of "Laag Risico"). Het probleem is dat de ingrediënten niet zomaar los daar liggen; ze zijn verbonden door een set regels (een "Structural Causal Model" of SCM) die bepalen hoe ze elkaar beïnvloeden. In een scenario met een lening kan bijvoorbeeld "Hoge Uitgaven" automatisch "Negatieve Cashflow" triggeren.
Als je wilt weten waarom de machine "Hoog Risico" zei, kun je niet willekeurig ingrediënten vervangen. Je moet de regels respecteren. Als je "Hoge Uitgaven" verandert in "Lage Uitgaven", kan de interne logica van de machine de "Negatieve Cashflow" automatisch veranderen in "Positieve Cashflow". Het doel van de auteurs was om de minimale werkelijke oorzaken te vinden: de kleinste groep ingrediënten die, indien gewijzigd (terwijl andere specifieke zaken constant worden gehouden), de beslissing van de machine zou omdraaien. Het is alsof je vraagt: "Wat is de absoluut kleinste aanpassing die ik aan het recept kan maken om een ander gebak te krijgen?"
De uitdaging is dat het controleren van elke mogelijke combinatie van veranderingen voelt als het zoeken naar een speld in een hooiberg ter grootte van een sterrenstelsel. Het aantal mogelijkheden groeit zo snel dat zelfs supercomputers vastlopen. De oplossing van de auteurs is een slimme zoekstrategie genaamd CausExBaB. In plaats van elke speld één voor één te controleren, gebruiken ze een "zaklamp"-techniek. Ze groeperen enorme brokken van de hooiberg samen en gebruiken wiskunde om te bewijzen dat een heel deel de speld niet kan bevatten. Als de wiskunde zegt dat een groep veranderingen nog steeds zal resulteren in een "Hoog Risico"-beslissing, gooien ze die hele groep weg zonder erin te kijken. Als de wiskunde bewijst dat een groep de beslissing definitief zal veranderen, markeren ze deze als een winnaar. Alleen de verwarrende, middenweg-groepen worden verder opgesplitst en gedetailleerder gecontroleerd. Dit is als het gebruik van een metaaldetector die kan vertellen of een heel strand leeg is van naalden, waardoor je niet overal in het zand hoeft te graven om de exacte plek te vinden.
Het artikel bewijst dat deze methode zowel sound (het liegt nooit) als complete (het vindt elke geldige oplossing) is. In hun tests creëerden ze fictieve werelden met tot wel 28 variabelen en zoekruimtes met tot wel 2,3 × 10¹³ (dat zijn 23 biljoen) mogelijke combinaties. Terwijl oudere methoden zoals "brute force" (alles controleren) of "ILP" (het gebruik van complexe wiskundige oplossers) opgaven en na 180 seconden de tijd uitliepen, vond CausExBaB alle antwoorden in een fractie van die tijd, vaak in minder dan 35 seconden voor de grootste grafieken.
Een van de meest interessante bevindingen komt uit een casestudy uit de echte wereld betreffende het U.S. Supplemental Nutrition Assistance Program (SNAP). Het team bouwde een causaal model op basis van de werkelijke overheidsregels voor wie recht heeft op voedselhulp. Ze ontdekten dat als je de regels die de variabelen verbinden negeert (en ze als onafhankelijk behandelt), je een enorme lijst van "oorzaken" krijgt voor waarom een huishouden werd gemarkeerd voor een controle. Sterker nog, het negeren van de verbindingen meer dan verdubbelde het aantal gerapporteerde oorzaken. Erger nog, 14,9% van die extra oorzaken waren "spurious" (schijnoorzaken)—valse verklaringen die er alleen goed uitzagen omdat het model de regels niet kende. Bijvoorbeeld, het model zou een specifiek inkomenscijfer de schuld geven, terwijl dat cijfer in werkelijkheid slechts een bijproduct was van een andere regel. Door de causale web te respecteren, sneed CausExBaB door de ruis heen om de ware, minimale redenen te vinden.
De auteurs ontdekten ook dat in hun synthetische tests ongeveer 68,7% van de gevallen meer dan één minimale oorzaak had. Dit betekent dat er vaak niet slechts één enkele reden is voor de beslissing van een AI; er kunnen twee of drie volledig verschillende, onafhankelijke paden zijn die naar hetzelfde resultaat leiden. Het vinden van slechts één van hen zou zijn als het toeschrijven van een auto-ongeluk alleen aan de regen, terwijl de bestuurder ook te hard reed. CausExBaB vindt ze allemaal.
Kortom, dit artikel biedt niet alleen een snellere manier om AI uit te leggen; het biedt een echtere manier. Het laat zien dat wanneer inputs met elkaar verbonden zijn, het negeren van die verbindingen leidt tot misleidende, opgeblazen en soms volkomen onjuiste verklaringen. Door hun nieuwe algoritme te gebruiken, kunnen we een heldere, minimale en wiskundig gegarandeerde lijst krijgen van de echte redenen achter de keuzes van een AI, zelfs in de meest complexe en verstrengelde scenario's. De auteurs suggereren dat deze aanpak een game-changer kan zijn voor het auditeren van AI-systemen in sectoren met hoge belangen, zoals de financiële sector en de gezondheidszorg, waar het begrijpen van de werkelijke oorzaak een kwestie is van vertrouwen en eerlijkheid.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.