In de wereld van kunstmatige intelligentie is er een groeiend vakgebied dat zich wijdt aan het begrijpelijk maken van machine learning-systemen. Deze systemen, vaak agenten genoemd, leren beslissingen te nemen door verschillende acties uit te proberen en te zien wat er gebeurt, een proces dat bekend staat als reinforcement learning. Soms werken deze agenten perfect, maar op andere momenten falen ze op vreemde manieren, waarbij ze vast komen te zitten in lussen of keuzes maken die volkomen irrationeel lijken. Wanneer dit gebeurt, moeten ontwikkelaars weten waarom. Ze hebben verklaringen nodig die meer doen dan alleen beschrijven wat de agent deed; ze moeten de onderliggende redenen begrijpen zodat ze het probleem kunnen oplossen. Jarenlang hebben onderzoekers geprobeerd te meten hoe goed deze verklaringen zijn door mensen te vragen of zij het gevoel hebben dat ze het begrijpen, of door te controleren of de verklaring overeenkomt met de interne wiskunde van de computer. Maar het gevoel dat je iets begrijpt, is niet hetzelfde als daadwerkelijk in staat zijn om een defecte machine te repareren.

Een nieuw voorstel van een team van onderzoekers suggereert een meer praktische manier om deze verklaringstools te beoordelen. In plaats van mensen te vragen hoe zij zich voelen, stellen zij voor om te testen of de verklaringen er daadwerkelijk toe leiden dat een programmeur een defecte agent kan repareren. De kern van het idee is simpel: als een verklaring echt nuttig is, zou deze iemand moeten helpen om de specifieke fout in de code te identificeren en te herstellen, wat leidt tot een beter presterende machine. Deze benadering verschuift de focus van abstracte theorieën over begrip naar een concreet, functioneel resultaat. De onderzoekers noemen hun voorgestelde test "EvalXRL". Het is ontworpen als een standaard benchmark waar verschillende verklaringmethoden worden onderworpen aan de ultieme test: kunnen ze een softwareagent helpen om een bug in een andere softwareagent te vinden en te repareren?

De onderzoekers hebben een gecontroleerd experiment ontworpen waarbij ze doelbewust reinforcement learning-agenten defect maken. Ze creëren specifieke, bekende fouten in de code, zoals het veranderen van hoe de agent beloningen ontvangt of het wijzigen van de omgeving waarin deze opereert. Bijvoorbeeld, ze kunnen een schatzoekende agent zo programmeren dat deze kleine munten meer waardeert dan grote, of ze kunnen een verkeersregelingsysteem misleiden zodat er lange rijen auto's ontstaan, enkel om de verkeersdoorstroming op één specifiek moment snel te laten lijken. Zodra deze agenten defect zijn, introduceren de onderzoekers een kunstmatige intelligentie-programmeur, een groot taalmodel dat getraind is in het schrijven en repareren van software. Deze programmeur krijgt toegang tot de defecte agent en een specifieke verklaringstool. De taak van de programmeur is om de tool te gebruiken om te achterhalen wat er mis is en vervolgens de code te schrijven om het te repareren.

Het experiment is opgezet als een gesloten lus. De programmeur kijkt niet alleen naar één verklaring en raadt het maar wat. In plaats daarvan kan de programmeur de verklaringstool om informatie vragen, het antwoord analyseren, een nieuwe hypothese vormen over wat er defect is, en vervolgens de tool opnieuw een andere vraag of instelling stellen. Dit heen-en-weer proces bootst na hoe een menselijke ingenieur zou werken, waarbij hypothesen worden getest totdat het probleem is opgelost. De onderzoekers gebruiken een afgeschermde computeromgeving (sandbox) om ervoor te zorgen dat de programmeur niet kan valsspelen door antwoorden op internet op te zoeken. De enige manier waarop de programmeur kan slagen, is door de verklaringstool effectief te gebruiken. Het succes van elke verklaringmethode wordt gemeten aan de hand van hoe goed de gerepareerde agent daarna presteert. Als de agent weer correct werkt en hoge scores haalt, wordt de verklaringstool als succesvol beschouwd. Als de agent defect blijft of er zelfs slechter aan toe is, wordt de tool als minder nuttig beschouwd.

Het team is van plan een verscheidenheid aan verklaringmethoden te testen, variërend van visuele kaarten die belangrijke delen van een afbeelding highlighten tot tekstuele beschrijvingen die uitleggen waarom een agent een bepaalde keuze maakte. Ze zullen deze methoden vergelijken met twee extremen: een baseline waarbij de programmeur geen enkele verklaringstool heeft en moet gissen op basis van de ruwe code, en een "referentie"-scenario waarbij de programmeur simpelweg in klare taal wordt verteld wat de bug precies is. Deze opzet stelt hen in staat om te zien of de verklaringstools werkelijke waarde bieden bovenop het louter hebben van de broncode, en hoe dicht ze bij het perfecte scenario komen waarbij men het antwoord direct weet.

De onderzoekers hebben drie hoofdenverwachtingen voor hoe deze benchmark zal verlopen. Ten eerste vermoeden ze dat geen enkele verklaringstool de beste zal zijn bij het repareren van elk type bug. Sommige tools zijn wellicht uitstekend in het vinden van fouten gerelateerd aan hoe beloningen worden berekend, terwijl andere beter zijn in het opsporen van problemen met hoe de agent zijn omgeving waarneemt. Dit zou betekenen dat het vakgebied behoefte heeft aan een diversiteit aan tools in plaats van één universele oplossing. Ten tweede verwachten ze dat zelfs wanneer de programmeur precies wordt verteld wat de bug is, hij of zij de fout misschien niet altijd perfect kan herstellen. Dit laat zien dat het diagnosticeren van een probleem slechts de helft van de strijd is; het daadwerkelijk technisch oplossen van de situatie is vaak het moeilijkere deel. Ten slotte, en wellicht het meest verrassend, voorspellen ze dat sommige verklaringstools de situatie zelfs kunnen verslechteren. Een tool kan een zelfverzekerde maar misleidende verklaring geven die de programmeur op het verkeerde pad stuurt, waardoor hij het verkeerde deel van de code probeert te herstellen. Dit zou bewijzen dat een goed geschreven verklaring niet altijd een behulpzame verklaring is.

Dit voorstel is momenteel een plan voor een toekomstige studie, en geen voltooid geheel van resultaten. De onderzoekers presenteren hun ontwerp en hun hypothesen aan de wetenschappelijke gemeenschap om feedback te verzamelen voordat ze de volledige experimenten uitvoeren. Ze vragen om input over de vraag of de gekozen typen bugs de soorten zijn die het meest relevant zijn voor professionals, en of het gebruik van een kunstmatige intelligentie-programmeur een eerlijke vervanging is voor een menselijke ingenieur. Ze erkennen dat hoewel AI-programmeurs snel en goedkoop zijn in gebruik, ze misschien niet exact zoals mensen denken. Ze voeren echter aan dat naarmate meer engineeringwerk wordt geautomatiseerd, het begrijpen van hoe deze tools AI-agenten helpen om andere AI-agenten te repareren, op zichzelf steeds belangrijker wordt.

Het uiteindelijke doel van dit werk is om het vakgebied van verklaarbare kunstmatige intelligentie weg te bewegen van subjectieve beoordelingen en toe te bewegen naar objectief, functioneel bewijs. Door succes te meten op basis van het vermogen om een defect systeem te repareren, hopen de onderzoekers een standaard te creëren die duidelijk laat zien welke verklaringmethoden werkelijk nuttig zijn. Als hun aanpak werkt, kan het een betrouwbare manier bieden om door de vele verschillende tools die momenteel beschikbaar zijn te navigeren, en ontwikkelaars te helpen de juiste tool voor de klus te kiezen. Het biedt een pad naar een toekomst waarin we niet alleen vragen of een AI logisch voor ons is, maar of het ons helpt om betere, meer betrouwbare systemen te bouwen.