Challenges in Evaluating Explanation Methods for Static and Evolving Data

Stel je voor dat je een superintelligënte robot hebt gebouwd die naar een foto kan kijken en je precies kan vertellen wat erin zit. Het is geweldig, maar er is een addertje onder het gras: de robot is een "black box". De robot geeft je het antwoord, maar vertelt je niet hoe hij tot die conclusie kwam. Het is als een goochelaar die een konijn uit een hoed tovert, maar weigert de truc te laten zien. In de wereld van Kunstmatige Intelligentie (AI) is dit een groot probleem. Als een robot levensbelangrijke beslissingen neemt — zoals het diagnosticeren van een ziekte of het opsporen van een probleem op een ruimteschip — moeten we weten waarom hij voor die keuze heeft gekozen. Dit vakgebied, genaamd Explainable AI (XAI), probeert de black box te openen en ons het denkproces van de robot te tonen. Maar hier komt de twist: hoewel we talloze nieuwe manieren hebben om in de doos te gluren, zijn we er erg slecht in om te controleren of die inkijkjes daadwerkelijk nuttig zijn of dat ze gewoon dingen verzinnen. Het is alsoer dat we honderd verschillende zaklampen hebben om in het donker te kijken, maar niemand heeft getest of ze het pad echt verlichten of je alleen maar verblinden.

Dit artikel is een waarschuwing van onderzoeker Jerzy Stefanowski, die betoogt dat we te snel nieuwe uitleginstrumenten uitvinden zonder ze goed te testen. Hij suggereert dat veel huidige methoden lijken op "illusies van vooruitgang": ze zien er indrukwekkend uit, maar zijn in de echte wereld misschien niet bruikbaar. Het artikel verkent twee belangrijke manieren om dit op te lossen. Ten eerste kijkt het naar hoe we deze instrumenten kunnen gebruiken om te ontdekken wanneer een robot oneerlijk of bevooroordeeld is (zoals denken dat iemand met een stropdas een man is, zelfs als dat niet zo is). Ten tweede pakt het het lastige probleem aan van robots die moeten leren terwijl de wereld om hen heen verandert. Stel je een robot voor die leert dieren te herkennen, maar dan gaan de dieren hoeden dragen of verandert de belichting; de oude uitleg van de robot kan dan nutteloos worden. De auteur laat zien dat we moeten stoppen met alleen tellen hoe "nauwkeurig" een uitleg op papier is en moeten beginnen met vragen aan echte mensen of ze het daadwerkelijk begrijpen. Hij stelt ook voor dat we, in plaats van slechts één "beste" uitleg te kiezen, een paar verschillende opties moeten aanbieden zodat mensen degene kunnen kiezen die voor hen het meest logisch is.

De Magische Truk van de Robot en de Kapotte Zaklamp

Beschouw moderne AI-systemen als ongelooflijk getalenteerde maar mysterieuze goochelaars. Ze kunnen naar een foto van een kat kijken en met 99% zekerheid zeggen: "Dat is een kat!" Maar als je vraagt: "Waarom?", staren ze alleen maar terug. Dit is het "black box"-problek. In velden zoals de geneeskunde of de luchtvaart, waar fouten gevaarlijk kunnen zijn, kunnen we de goochelaar niet zomaar vertrouwen; we moeten de truc zien. Dit is waar Explainable AI (XAI) om de hoek komt kijken. Het is de wetenschap van het bouwen van een zaklamp om in de black box te schijnen, zodat mensen kunnen zien waarom de AI een beslissing heeft genomen.

Echter, het artikel wijst op een grote fout in onze huidige aanpak. We hebben tientallen verschillende zaklampen uitgevonden (methoden zoals saliency maps, counterfactuals en prototypes), maar we hebben er niet goed aan gedacht om te testen of ze daadwerkelijk werken. Het is alsof een speelgoedwinkel duizenden verschillende zaklampen verkoopt, maar geen enkele daarvan is getest om te zien of ze daadwerkelijk een donkere kamer verlichten of dat ze alleen maar vreemde vormen op de muur werpen. De auteur betoogt dat we vastzitten in een cyclus van het creëren van nieuwe tools zonder te controleren of ze werkelijk nuttig zijn, wat leidt tot een "illusie van vooruitgang."

De Casus van de Bevooroordeelde Robot en de Stropdas

Om aan te tonen waarom testen belangrijk is, kijkt het artikel naar een specif으로 project genaamd DetoxAI. Stel je een robot voor die getraind is om gezichten te herkennen. Je zou denken dat hij alleen naar ogen en neuzen kijkt, maar het artikel onthult dat de robot gebruik kan maken van shortcuts (afkortingen). Bijvoorbeeld, in een dataset van beroemde mensen merkte de robot dat mensen die een stropdas droegen bijna altijd mannen waren. Dus, in plaats van naar gelaatstrekken te kijken, begon hij de "stropdas" als shortcut te gebruiken om geslacht te raden. Dit is een bias (vooringenomenheid) — een fout in de logica van de robot die leidt tot onrechtvaardige resultaten.

De onderzoekers gebruikten XAI-tools om een licht te schijnen op de hersenen van de robot. Ze ontdekten dat de robot inderdaad sterk focuste op de stropdas. Zodra ze dit zagen, konden ze de slechte gewoonte "ontleren", door de robot te leren de stropdas te negeren en naar het gezicht te kijken in plaats daarvan. Het artikel laat zien dat ze door deze uitleginstrumenten te gebruiken, precies konden meten hoeveel de robot verbeterde. Het was niet slechts een gok; ze hadden cijfers die lieten zien dat de robot eerlijker werd. Dit bewijst dat uitleg niet alleen voor de vorm is; ze zijn essentieel om kapotte AI te repareren.

De Menselijke Test: Begrijpen We het Eigenlijk?

Het tweede deel van het artikel stelt een simpele maar moeilijke vraag: "Begrijpen mensen deze uitleg eigenlijk?" De auteur merkt op dat de meeste studies alleen vragen: "Vind je deze uitleg leuk?" en daarna doorgaan. Maar het artikel betoogt dat we het beter moeten doen.

Om dit te testen, voerden de onderzoekers een enquête uit onder 148 mensen (studenten en personeel) die geen AI-experts waren. Ze lieten hen foto's van dieren zien (zoals zebra's, tijgers en panda's) en drie verschillende soorten "zaklampen" (uitlegmethoden) die benadrukten waarom de robot dacht dat het een zebra was.

• Het resultaat: De mensen kozen niet zomaar willekeurig. Ze gaven de voorkeur aan een methode genaamd ProtoPNet boven de andere.
• De verrassing: De methode die mensen het beste vonden, was niet noodzakelijkerwijs de methode die wiskundig gezien "perfect" was in een computertest. Het was de methode die overeenkwam met wat de mensen belangrijk vonden. Bijvoorbeeld, bij het kijken naar een tijger, wilden mensen de strepen geaccentueerd zien. De ProtoPNet-methode deed dit het beste.
• De les: Het artikel suggereert dat als we willen dat uitleg nuttig is, we ze moeten ontwerpen voor mensen, niet alleen voor computers. We moeten ze testen met echte mensen, net zoals een docent een lesplan test met echte leerlingen, en niet alleen door het tekstboek door te lezen.

Het Bewegende Doelwit: Wanneer de Wereld Verandert

De laatste uitdaging die het artikel aanpakt, is het "bewegende doelwit". De meeste AI-uitleg is ontworpen voor een wereld die hetzelfde blijft. Maar in het echte leven veranderen dingen. Dit wordt concept drift genoemd. Stel je een robot voor die leert auto's te herkennen. Als de robot getraind is op foto's van auto's uit 2010, en de wereld schakelt plotseling over op elektrische auto's zonder uitlaatpijp, dan kan de oude uitleg van de robot zeggen: "Ik weet dat het een auto is vanwege de uitlaatpijp." Die uitleg is nu fout en verwarrend.

Het artikel onderzoekt hoe je deze uitleg kunt bijwerken wanneer de data verandert. In plaats van alleen de robot opnieuw te trainen, probeerden de onderzoekers te volgen hoe de "redenen" voor beslissingen in de loop van de tijd verschuiven. Ze gebruikten een methode waarbij ze counterfactuals gebruikten (die "Wat als?"-vragen stellen, zoals "Wat als deze auto een uitlaatpijp had?"). Ze ontdekten dat door te observeren hoe deze "Wat als"-antwoorden veranderden, ze precies konden zien wanneer en waarom de logica van de robot verschoof. Het is als het observeren van een kompasnaald die zwaait; als de naald te veel beweegt, weet je dat het magnetische veld (de data) is veranderd.

De Belangrijkste Conclusie

Het artikel concludeert dat we momenteel in een fase zitten waarin we te veel tools hebben en te weinig testen.

• Wat we nodig hebben: We moeten stoppen met alleen meten hoe "nauwkeurig" een uitleg is op een computer en beginnen met meten of het een mens helpt om een betere beslissing te nemen.
• De toekomst: We hebben meer experimenten met echte mensen nodig, betere tools om met veranderende data om te gaan, en een manier om meerdere uitleggen aan te bieden zodat mensen degene kunnen kiezen die voor hen het meest logisch is.

De auteur zegt niet dat we het probleem hebben opgelost. Sterker nog, hij suggereert dat we pas aan het begin staan. Maar door uitleg te behandelen als instrumenten voor mensen in plaats van alleen maar wiskundige problemen, kunnen we AI-systemen bouwen die niet alleen slim zijn, maar ook betrouwbaar en eerlijk. Het doel is niet alleen om de robot zichzelf te laten uitleggen; het is om ervoor te zorgen dat de uitleg ons daadwerkelijk helpt de wereld te begrijpen.