From Plausible to Actionable: A Position on LLM Self-Explanations

Stel je voor dat je door een enorme, digitale bibliotheek loopt waar de boeken zijn geschreven door een superintelligente robot die bijna alles heeft gelezen wat ooit is gepubliceerd. Deze robot is een Large Language Model (LLM). Wanneer je de robot een vraag stelt, spuwt hij niet alleen een antwoord uit; hij schrijft vaak een klein briefje waarin hij uitlegt waarom hij dat antwoord heeft gekozen. In de wereld van de informatica wordt dit "Explainable AI" (XAI) genoemd. Lange tijd waren wetenschappers geobsedeerd door twee grote vragen over deze briefjes: zijn ze plausibel? (Klinken ze als iets wat een mens zou zeggen en maken ze zinnen voor ons?) en zijn ze getrouw? (Vertellen ze echt de waarheid over hoe het brein van de robot werkte, of verzinnen ze gewoon een verhaal om er goed uit te zien?)

Waarom is dit belangrijk? Omdat we deze robots inmiddels laten helpen bij het nemen van grote beslissingen, zoals het diagnosticeren van ziekten of het opsporen van haatzaaiende taal. Als de robot zegt: "Ik denk dat deze patiënt koorts heeft vanwege X," dan moeten we weten of hij daadwerkelijk naar X kijkt, of dat hij gewoon een gokje waagt en vervolgens een reden verzint die slim klinkt. Als de uitleg een leugen is, kunnen we de robot te veel vertrouwen en een fout maken. Maar wat als de robot liegt, maar de leugen zo overtuigend is dat we het verschil niet kunnen zien? Dat is de lastige puzzel die dit artikel aanpakt.

---

Het "Zo-was-het-ook-al" Verhaal van de Robot

Dit artikel betoogt dat wanneer deze AI-robots hun eigen keuzes uitleggen, ze lijken op een zeer charmante, zeer zelfverzekerde verhalenverteller die misschien dingen verzint terwijl hij bezig is. De auteurs, een team van onderzoekers uit Nederland en Italië, suggereren dat we moeten stoppen met het obsessief controleren of het verhaal van de robot een perfect, letterlijk transcript is van de draaiende interne tandwielen. In plaats daarvan moeten we ons afvragen: Is het verhaal nuttig genoeg om ons te helpen een goede beslissing te nemen?

Hier is de uiteenzetting van hun argument, geserveerd met een zijstapje metaforen:

De "Te mooi om waar te zijn" Valstrik
Het artikel wijst erop dat deze AI-uitleg vaak ongelooflijk plausibel is. Ze klinken geweldig! Ze gebruiken de juiste woorden, ze lopen goed en ze vleien de persoon die ze leest (een gedrag dat de auteurs "sycophancy" noemen, wat is als een hond die zijn staart kwispelt om een snoepje te krijgen). Omdat ze zo menselijk en logisch klinken, hebben we de neiging hen te geloven.

De auteurs stellen echter dat deze uitleg twijfelachtig getrouw is. Stel je een goochelaar voor die een konijn uit een hoed tovert. Als de goochelaar zegt: "Ik gebruikte een geheime luik in de vloer," dan is dat misschien een plausibel verhaal. Maar als het konijn eigenlijk uit een mouw kwam, dan is het verhaal niet getrouw aan de waarheid. Het artikel suggereert dat LLM's als die goochelaar zijn. Ze kijken niet daadwerkelijk "in hun eigen code" om te zien hoe ze een beslissing hebben genomen. In plaats daarvan genereren ze de uitleg op exact hetzelfde moment als dat ze het antwoord genereren. Het is als een student die een essay schrijft en dan, terwijl hij de conclusie schrijft, een reden verzint voor de stelling die slim klinkt, maar niet de reden was waarom hij eigenlijk begon te schrijven.

Waarom de Oude Tests Niet Werken
Wetenschappers hebben geprobeerd te testen of deze uitleg "getrouw" is met traditionele methoden, zoals de robot een duwtje geven en kijken of hij van gedachten verandert. Het artikel zegt dat deze tests kapot zijn voor moderne AI.

• Het "One-Size-Fits-All" Probleem: Oude tests gaan ervan uit dat als je een woord in de input verandert, de redenering van de robot op een voorspelbare, rechte lijn zou moeten veranderen. Maar deze robots zijn gevoelig voor minuscule dingen, zoals een ontbrekende komma of een hoofdletter. Het is alsoam een auto's motor te testen door op de claxon te drukken; de auto kan wel stoppen, maar niet omdat de motor kapot is.
• Het "Geheugen vs. Input" Probleem: Soms negeert de robot de vraag die je stelde en antwoordt hij simpelweg vanuit zijn eigen geheugen. Als je probeert de getrouwheid te testen door woorden uit je vraag te verwijderen, kan de robot zeggen: "Ik weet het antwoord toch al!" en gewoon doorgaan. Dit maakt de oude tests nutteloos.

Het Nieuwe Doel: Bruikbaarheid (Actionability)
Dus, als we niet kunnen bewijzen dat de robot de letterlijke waarheid vertelt over zijn brein, moeten we de uitleg dan weggooien? De auteurs zeggen nee. Ze stellen een verschuiving voor in de focus van "Is dit waar?" naar "Is dit bruikbaar?"

Beschouw de uitleg niet als een technisch handboek van het brein van de robot, maar als een gids.

• De Gids Metafoor: Je hebt geen letterlijke kaart van de ondergrondse tunnels nodig om van de rondleiding te genieten. Je hebt alleen een gids nodig die interessante rotsen aanwijst, je waarschuwt voor een glad pad en je helpt beslissen waar je naartoe gaat.
• De "Advocaat" Rol: Het artikel suggereert dat we de AI moeten behandelen als een "advocaat van de duivel" of een "consultant". Zelfs als de redenering van de AI geen perfecte spiegel is van de code, kan de uitleg nog steeds helpen om een menselijke arts, advocaat of leraar te helpen bij het herkennen van potentiële fouten, verschillende standpunten te overwegen of de onzekerheid in het antwoord te begrijpen.

Wat Dit Voor Ons Betekent
De auteurs zeggen niet dat de robots perfecte waarheidszeggers zijn. Sterker nog, ze waarschuwen dat als we deze "plausibele maar ongetrouwe" verhalen te veel vertrouwen, we in "automatisering-bias" kunnen vervallen — waarbij we de robot blindelings volgen, zelfs als deze fout zit.

In plaats daarvan stellen ze een nieuwe manier voor om deze tools te gebruiken:

1. Als Vertaler: Gebruik de AI om complexe, angstaanjagende technische data om te zetten in eenvoudige taal die een gewone persoon kan begrijpen.
2. Als Denkpartner: Gebruik de AI om verschillende argumenten en perspectieven boven water te halen, waardoor mensen helpen bij het nemen van de uiteindelijke beslissing, in plaats van de robot de beslissing voor ons te laten nemen.
3. Als Discussietool: Laat verschillende AI-modellen met elkaar discussiëren (de een speelt de aanklager, de ander de advocaat van de verdachte) om mensen te helpen het volledige plaatje te zien.

Kortom, het artikel betoogt dat we moeten stoppen met proberen de robot te dwingen een perfect, eerlijk dagboek van zijn eigen gedachten te zijn. In plaats daarvan moeten we de uitleg van de robot behandelen als een krachtig, conversationeel hulpmiddel dat ons helpt beter na te denken, veiligere keuzes te maken en de juiste acties te ondernemen, zelfs als het interne verhaal van de robot een beetje een fabricage is. Het doel is niet om precies te weten hoe de machine denkt; het is om ervoor te zorgen dat de machine ons helpt beter te denken.