Stel je voor dat je een superintelligënte robot hebt gebouwd die het weer kan voorspellen, ziekten kan diagnosticeren of zelfs poëzie kan schrijven. Het werkt geweldig, maar het is een "black box": je drukt op een knop, de robot spuugt een antwoord uit, en je hebt geen idee waarom hij voor dat antwoord heeft gekozen. Dit is de wereld van Kunstmatige Intelligentie (AI). Om het mysterie op te lossen, hebben wetenschappers een vakgebied genaamd Explainable AI (XAI) gecreëerd. Zie XAI als een vertaler die probeert de geheime gedachten van de robot aan ons mensen uit te leggen. We hebben tools die kunnen benadrukken welke woorden het belangrijkst waren in een zin, of welke pixels in een foto de robot lieten denken dat het een "kat" is. Maar hier zit de crux: alleen omdat de robot ons een vertaling kan geven, betekent dat nog niet dat die vertaling ons ook echt helpt om iets nuttigs te doen. We moeten weten of deze verklaringen betrouwbaar zijn, of ze overeenstemmen met het echte brein van de robot, en het belangrijkste: of ze ons daadwerkelijk helpen om betere beslissingen te nemen of de robot te repareren wanneer het misgaat.

Dit is precies het probleem waar een nieuw artikel een aanpak voor biedt. De auteurs stellen dat de AI-gemeenschap een marathon loopt in de verkeerde richting. In plaats van een solide fundament te bouwen voor hoe en waarom we dingen uitleggen, heeft iedereen koortsachtig nieuwe, flitsende "zaklampen" (methoden) uitgevonden om de black box te verlichten. Het artikel suggereert dat, hoewel deze nieuwe zaklampen cool zijn, ze ons vaak niet helpen om door het donker te navigeren, omdat we nog niet eens hebben afgesproken hoe een "kaart" eruitziet, hoe we controleren of de kaart accuraat is, of wat we moeten doen zodra we er een hebben.

Het "Zaklamp"-probleem

De auteurs, een team van onderzoekers van topuniversiteiten en technologiebedrijven, keken naar honderden recente artikelen over Explainable AI en spraken met tientallen mensen die deze tools daadwerkelijk in hun werk gebruiken. Ze vonden een verontrustend patroon: het vakgebied is geobsedeerd door het creëren van nieuwe methoden. Sterker nog, 77% van de geanalyseerde artikelen stelde simpelweg een nieuwe manier voor om AI uit te leggen, terwijl slechts 11% de moeite nam om een duidelijke, formele definitie te geven van wat een "uitleg" eigenlijk is.

Het is alsoam met een groep chefs die nieuwe recepten probeert uit te vinden zonder ooit te hebben afgesproken wat "soep" precies is. De één zegt dat soep heet moet zijn; een ander zegt dat het worteltjes moet bevatten; weer een ander gooit gewoon alles in een pot en noemt het soep. Omdat iedereen verschillende definities gebruikt, is het resultaat een chaos. De ene onderzoeker kan zeggen dat zijn methode "getrouw" is (wat betekent dat het de waarheid spreeft over de AI), terwijl een andere onderzoeker een andere test gebruikt en zegt dat dezelfde methode een leugen is. Het artikel betoogt dat we vastzitten in een lus van dingen verzinnen terwijl we bezig zijn, in plaats van dat we een betrouwbaar systeem opbouwen.

De Vier Ontbrekende Pijlers

De auteurs zeggen dat we moeten stoppen en vier specifieke fundamenten moeten leggen voordat we doorgaan met het verzinnen van nieuwe zaklampen. Zij noemen dit de "Vier Uitdagingen":

1. Het Definitieprobleem (Wat is een uitleg?)
Op dit moment wordt het woord "uitleg" voor alles gebruikt. Soms betekent het een lijst met belangrijke kenmerken; andere keren betekent het een verhaal dat de AI zichzelf vertelt. Het artikel stelt dat we moeten stoppen met gissen. Een uitleg moet worden gedefinieerd door voor wie het is en wat diegene ermee moet doen. Als een arts moet weten waarom een patiënt de verzekering is geweigerd, moet de uitleg anders zijn dan wanneer een robotingenieur een bug moet oplossen. Zonder een duidelijke definitie kunnen we niet eens beginnen met meten of we een goed werk leveren.

2. Het Eigenschapsprobleem (Wat maakt een goede uitleg?)
We moeten het eens worden over de regels. Een goede uitleg moet "getrouw" zijn—het moet daadwerkelijk overeenkomen met wat de AI doet, en niet alleen maar mooi ogen. Maar trouw zijn is niet genoeg. Een uitleg moet ook "compleet" zijn (het mag de belangrijkste onderdelen niet missen) en "robuust" (het mag niet wild veranderen als je de input een klein beetje aanpast). Het artikel wijst erop dat veel huidige methoden deze tests niet doorstaan. Bijvoorbeeld, een methode kan geweldig lijken op een test, maar falen om een mens te helpen bij het nemen van een beslissing. De auteurs suggereren dat we deze eigenschappen rigoureus moeten testen, in plaats van alleen maar aan te nemen dat ze werken omdat de wiskunde er mooi uitziet.

3. Het Evaluatieprobleem (Hoe testen we of het werkt?)
Dit is waar het echt rommelig wordt. Het artikel vond dat hoewel 56% van de onderzoekers beweert te testen of hun uitleg "getrouw" is, zeer weinig mensen daadwerkelijk met mensen praten. Slechts 11% van de onderzochte artikelen bevatte een studie met echte mensen. De meeste onderzoekers draaien alleen computersimulaties of controleren of de cijfers stabiel blijven. Maar een uitleg is nutteloos als een mens het niet kan begrijpen of er niet op vertrouwt. De auteurs betogen dat we moeten stoppen met uitleg te behandelen als een wiskundig probleem en het moeten gaan testen als een product: helpt het een mens daadwerkelijk om zijn werk beter te doen?

4. Het Actieprobleem (Wat doen we met de uitleg?)
Dit is de grootste kloof. Stel je voor dat een arts een uitleg krijgt die zegt: "De AI denkt dat deze patiënt een zeldzame ziekte heeft vanwege hun leeftijd." Geweldig, maar wat doet de arts met die informatie? Kan de arts de AI van gedachten veranderen? Kan de arts vragen om meer tests? Het artikel vond dat 38,2% van de professionals worstelt met het integreren van deze uitleg in hun werkelijke workflow. Momenteel zijn uitleg vaak slechts "laat het zien"-items die je bekijkt en daarna weer wegwerpt. De auteurs stellen dat uitleg onderdeel moet zijn van een lus waarbij mensen feedback kunnen geven, de AI kunnen verbeteren en het systeem kunnen optimaliseren. Zonder dit is de uitleg slechts een decoratie.

Wat de Data Zegt

Om hun beweringen te onderbouwen, hebben de auteurs twee grote dingen gedaan. Eerst gebruikten ze een AI (een LLM) om 617 artikelen van topconferenties zoals NeurIPS en ICML te lezen. De AI vond dat het veld bijna volledig wordt gedreven door "nieuwe methode"-artikelen, met zeer weinig focus op definities of menselijke tests.

Daarnaast ondervroegen ze 34 echte professionals—mensen die deze tools daadwerkelijk in hun werk gebruiken. De resultaten waren oogopenend:

• Verwarring: 44,1% van hen gaf aan niet te weten hoe ze konden controleren of een uitleg goed was.
• Keuzestress: 23,5% gaf toe niet te weten welke methode ze moesten kiezen, en 26,5% wist niet hoe ze de juiste instellingen (parameters) voor de tools die ze gebruikten moesten kiezen.
• De "Vertrouwens"-valstrik: Hoewel velen zeiden dat deze tools hen hielpen om de AI te "vertrouwen", waarschuwt het artikel dat vertrouwen zonder begrip gevaarlijk is. Sterker nog, 44,1% van de professionals zei dat de grootste uitdaging was om de resultaten uit te leggen aan de mensen die daadwerkelijk de beslissingen moeten nemen.

De Weg Vooruit

De auteurs zeggen niet dat we moeten stoppen met het maken van nieuwe tools. Ze zeggen niet dat XAI voor altijd kapot is. Ze zeggen dat we onze prioriteiten moeten veranderen. In plaats van te haasten om de 100ste nieuwe zaklamp te bouwen, moeten we eerst afspreken hoe een kaart eruitziet, hoe we die accuraat tekenen en hoe we die gebruiken om onze bestemming te bereiken.

Ze stellen een eenvoudige checklist voor voor iedereen die een nieuw artikel over Explainable AI schrijft. Voordat je publiceert, vraag jezelf af:

1. Heb je je doel gedefinieerd? (Voor wie is dit, en wat proberen zij te doen?)
2. Is je claim toetsbaar? (Kan iemand bewijzen dat je ongelijk hebt?)
3. Heb je getest op trouw? (Komt het daadwerkelijk overeen met het brein van de AI?)
4. Is het nuttig? (Helpt het iemand om een echte beslissing te nemen?)
5. Heb je het met mensen getest? (Hebben echte mensen het in een echte situatie gebruikt?)

Het artikel concludeert dat als we ons vanaf nu op deze fundamenten gaan richten, we kunnen bewegen van "coole wetenschappelijke experimenten" naar "betrouwbare tools" die mensen en machines daadwerkelijk helpen samenwerken. Tot die tijd blijven we misschien wel zaklampen bouwen die fel schijnen, maar ons alleen maar in cirkels laten lopen.