Explainability and Interpretability Methods for Large Language Models: An Exploratory Systematic Mapping Study
Deze systematische mappingstudie analyseert 1.252 wetenschappelijke artikelen over uitlegbaarheidsmethoden voor grote taalmodellen, waarbij wordt onthuld dat de meeste technieken ontoegankelijke interne modelgegevens vereisen en dat bewijs met betrekking tot menselijk nut en implementatie in de echte wereld kritiek schaars blijft.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de afgelopen jaren heeft een nieuw soort computerprogramma de manier waarop we met technologie omgaan, ingrijpend veranderd. Deze systemen, bekend als grote taalmodellen, kunnen verhalen schrijven, wiskundige problemen oplossen en gesprekken voeren die opmerkelijk menselijk aanvoelen. Ze werken door het volgende woord in een zin te voorspellen, laag voor laag, totdat een volledige gedachte naar voren komt. Maar omdat deze programma's zijn gebouwd met miljarden aanpasbare instellingen, is hun interne werking vaak een mysterie. Wanneer een dergelijk systeem een antwoord geeft, is het moeilijk te weten of dat antwoord voortkwam uit een diep begrip van de feiten of simpelweg uit een slimme gok gebaseerd op patronen die het eerder heeft gezien. Deze onzekerheid heeft gezorgd voor een dringende behoefte aan verklaarbaarheid: het vermogen om in de machine te kijken en te begrijpen waarom het een specifieke keuze heeft gemaakt. Onderzoekers proberen instrumenten te bouwen die een beslissing terug kunnen leiden naar de bron, waarbij de logica, de data of de specifieke onderdelen van het 'brein' van de computer die tot de uiteindelijke output leidden, worden onthuld.
Een team onderzoekers aan de Universiteit van Piraeus in Griekenland heeft een enorme stap gezet richting het verhelderen van dit vakgebied. Zij voerden een uitgebreid onderzoek uit naar bijna 8.000 wetenschappelijke rapporten gepubliceerd tussen 2019 en augustus 2026, en brachten deze terug tot 1.252 studies die specifiek probeerden uit te leggen hoe deze grote taalmodellen werken. Hun doel was niet om een nieuwe methode uit te vinden, maar om het hele landschap van bestaande methoden in kaart te brengen. Ze wilden zien wat voor soorten verklaringen wetenschappers bouwen, naar welke delen van de computer ze mogen kijken, en of deze verklaringen mensen daadwerkelijk helpen het systeem te begrijpen of dat ze er alleen maar overtuigend uitzien. Om deze enorme taak te beheersen, gebruikten de onderzoekers een zorgvuldig ontworpen kunstmatig intelligentiesysteem om elke paper te lezen en te categoriseren, waarbij menselijke experts het werk controleerden om de nauwkeurigheid te waarborgen.
De meest opvallende ontdekking van hun kaart is een fundamentele mismatch tussen de instrumenten die wetenschappers bouwen en de realiteit van hoe deze modellen vandaag de dag worden gebruikt. De overgrote meerderheid van de methoden die zij vonden — bijna غت procent — vereist diepgaande, interne toegang tot het brein van de computer. Om deze instrumenten te gebruiken, moet een onderzoeker de ruwe getallen zien die door het systeem stromen of zelfs de instellingen van het model zelf kunnen wijzigen. Echter, de krachtigste taalmodellen die mensen dagelijks gebruiken, worden door bedrijven aangeboden als gesloten diensten. Gebruikers kunnen een bericht sturen en een antwoord krijgen, maar zij kunnen de interne getallen niet zien of de instellingen niet wijzigen. Dit betekent dat de meest geavanceerde manieren om deze modellen uit te leggen, in feite nutteloos zijn voor precies de systemen waar mensen de uitleg het hardst bij nodig hebben. Slechts ongeveer 23 procent van de studies beschreef methoden die zouden kunnen werken met de beperkte toegang die het publiek heeft, zoals het simpelweg lezen van de tekstuele output of de waarschijnlijkheidsscores van het volgende woord.
De onderzoekers keken ook naar wat deze verklaringen daadwerkelijk bewezen. Ze ontdekten dat de meeste studies zich concentreerden op "getrouwheid" (faithfulness), wat een technische manier is om te vragen of de verklaring werkelijk overeenkomt met de interne logica van de computer. Ongeveer 70 procent van de papers probeerde aan te tonen dat hun methode correct de oorzaak van een beslissing identificeerde. Echter, de studie vond dat zeer weinig onderzoekers testten of deze verklaringen daadwerkelijk nuttig waren voor menselijke wezens. Slechts ongeveer 3 procent van de studies betrok echte mensen bij het testen van de verklaringen om te zien of zij hielpen bij het maken van betere beslissingen, het begrijpen van het systeem of het vertrouwen in de output. Het is alsover dat ingenieurs jarenlang tijd hebben besteed aan het perfectioneren van een kaart van de ondergrondse tunnels van een stad, maar nooit hebben gevraagd of de kaart de reiziger helpt de weg te vinden.
Er verscheen ook een significante kloof in de manier waarop de onderzoekers hun ideeën testten. Hoewel veel studies beweerden dat hun methoden robuust waren, gebruikte minder dan een derde van hen een strikt controlegroep om te bewijzen dat hun resultaten niet slechts berustten op toeval. Bovendien was de connectie met reële regels en regelgeving bijna afwezig. Ondanks de frequente vermelding van wetgeving met betrekking tot de transparantie van kunstmatige intelligentie, koppelde slechts een handjevol van de studies hun technische methoden daadwerkelijk aan specifieke juridische vereisten. De onderzoekers merkten op dat hoewel het vakgebied snel groeit, met bijna de helft van de opgenomen studies gepubliceerd in slechts het afgelopen jaar, het nog steeds zwaar gericht blijft op open-source modellen die iedereen kan downloaden, in plaats van de gesloten, propriëtaire systemen die de markt domineren.
De studie concludeert dat het vakgebied van het verklaren van grote taalmodellen op een kruispunt staat. De instrumenten die momenteel beschikbaar zijn zijn krachtig maar vaak ontoegankelijk, en ze geven prioriteit aan technische correctheid boven menselijk nut. De onderzoekers suggereren dat toekomstig werk zich moet richten op het creëren van methoden die werken met de beperkte toegang die commerciële diensten bieden, en op het testen van deze verklaringen met echte mensen. Tot die tijd blijven de meest geavanceerde verklaringen opgesloten in de laboratoria van onderzoekers die volledige toegang hebben tot de machines, waardoor het algemene publiek achterblijft met systemen die steeds krachtiger worden, maar ook steeds moeilijker te begrijpen zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.