LLMs Explain't: A Post-Mortem on Semantic Interpretability in Transformer Models
Dit artikel betoogt dat veelgebruikte interpreteerbaarheidsmethoden voor Large Language Models, specifiek op aandacht gebaseerde verklaringen en feature-mapping via embeddings, falen in het betrouwbaar detecteren van semantisch begrip of linguïstische abstractie vanwege fundamentele methodologische gebreken en artefacten, waardoor de geldigheid van huidige claims over LLM-interpreteerbaarheid in contexten van alomtegenwoordige computing wordt uitgedaagd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer slimme, magische zwarte doos hebt die verhalen kan schrijven, vragen kan beantwoorden en talen kan vertalen. Iedereen noemt deze doos een "Large Language Model" (LLM). Omdat de doos zo goed is in haar werk, willen ingenieurs en wetenschappers weten hoe zij denkt. Ze willen in de doos kijken om te zien hoe de tandwielen draaien.
Dit artikel is in essentie een "post-mortem" (een medische autopsie) op twee populaire manieren waarop wetenschappers hebben geprobeerd om in die doos te kijken. De auteurs, een team van onderzoekers van de Universiteit van Hamburg, hebben deze twee methoden getest om te zien of de modellen taal werkelijk begrijpen.
Het oordeel: Beide methoden faalden. Ze vonden niet alleen "zwakke" verklaringen; ze ontdekten dat de methoden zelf gebaseerd zijn op valse aannames. Het "bewijs" dat wetenschappers gebruikten om te zeggen: "Kijk, het model begrijpt dit!", was eigenlijk slechts een illusie gecreëerd door de manier waarop de tests waren opgezet.
Hier is een overzicht van de twee methoden die zij hebben getest en waarom ze kapot gingen, met behulp van eenvoudige analogieën.
Methode 1: De "Spotlight" (Attention Analysis)
De Theorie:
In deze AI-modellen zijn er onderdelen die "attention heads" worden genoemd. Wetenschappers dachten dat deze werkten als een spotlight. Als het model praat over een "hond", en de spotlight schijnt op het woord "Labradoodle", dan was de theorie: "Aha! Het model verbindt 'hond' en 'Labradoodle' omdat het weet dat ze aan elkaar gerelateerd zijn!"
De Reality Check:
De onderzoekers testten of deze spotlight daadwerkelijk gefocust bleef op hetzelfde woord terwijl de informatie door de lagen van het model (het "brein") bewoog.
- De Analogie: Stel je voor dat je een briefje doorgeeft in een klaslokaal. Je schrijft "Hond" op het papier. Je geeft het door aan de volgende leerling, die er een krabbel bij maakt. Je geeft het door aan de volgende, die het papier vouwt en mengt met een ander briefje. Tegen de tijd dat het de achterkant van de kamer bereikt, is het papier een verfrommelde bal van vele verschillende briefjes die door elkaar zijn gemengd.
- De Bevinding: De onderzoekers ontdekten dat tegen de tijd dat de informatie de diepere lagen van het model bereikt, het "briefje" (de woordrepresentatie) is gesmolten en vermengd met andere briefjes. De "spotlight" schijnt niet meer op het oorspronkelijke woord; hij schijnt op een rommelige mix van veel woorden.
- De Conclusie: Wanneer wetenschappers mooie plaatjes tekenen die laten zien naar welke woorden het model "let" (attendeert), zien ze een patroon dat betekenisvol lijkt, maar het is eigenlijk een artefact van het mengproces. Het model denkt niet noodzakelijkerwijs aan de relatie tussen de woorden; de wiskunde laat het alleen zo lijken.
Methode 2: De "Vertaler" (Embedding Property Inference)
De Theorie:
De tweede methode probeert te zien wat het model "weet" door de interne getallen van het model (embeddings) te behandelen als een geheime code. Wetenschappers proberen een "vertaler" (een klein computerprogramma) te bouwen om deze getallen te decoderen naar menselijke eigenschappen.
- Voorbeeld: Als het model een getallenvector heeft voor "Appel", kan de vertaler dan voorspellen dat "Appel" "rood", "eetbaar" en "groeit aan bomen" is? Als de vertaler een hoge score haalt, zeggen wetenschappers: "Zie je wel! Het model weet wat een appel is!"
De Reality Check:
De onderzoekers testten of de vertaler daadwerkelijk betekenis decodeerde of gewoon aan het valsspelen was.
- De Analogie: Stel je voor dat je probeert de favoriete kleur van een persoon te raden door naar hun lengte te kijken.
- De Truc: Als je een dataset hebt waarin iedereen die lang is van "Blauw" houdt, en je bouwt een vertaler om "Blauw" te voorspellen op basis van lengte, dan zul je een perfecte score halen.
- De Realiteit: Maar als je de data verwisselt zodat "Lange mensen" nu van "Rood" houden, en je vertaler nog steeds perfect "Blauw" voorspelt, dan betekent dit dat je vertaler niet echt over kleuren heeft geleerd. Hij heeft alleen de vorm van de data of het feit dat de lijst met kleuren kort en repetitief is, onthouden.
- De Bevinding: De onderzoekers probeerden de vertaler te voeden met willekeurige data. Ze door elkaar gehusselde de woorden, vervingen "Appel" door willekeurige onzin, of mengden de eigenschappen (waardoor "Appel" werd geassocieerd met "steekt" en "dodelijk").
- Het Resultaat: De vertaler behaalde nog steeds hoge scores! Het maakte niet uit of de betekenis echt of nep was. De hoge scores werden gedreven door de wiskundige structuur van de dataset (zoals hoe ijl of druk de data is), en niet door het feit dat het model de concepten daadwerkelijk begreep.
Waarom is dit belangrijk?
De auteurs stellen dat we momenteel complexe systemen bouwen (zoals zelfrijdende auto's of medische diagnostische hulpmiddelen) die vertrouwen op deze AI-modellen. Om deze systemen veilig en efficiënt te maken, gebruiken ingenieurs deze "interpreteerbaarheid"-methoden om:
- Het systeem te debuggen (uitzoeken waarom het een fout heeft gemaakt).
- Het systeem te comprimeren (kleiner maken om op telefoons te draaien).
- Het systeem te vertrouwen (beslissen of het veilig is om te gebruiken).
Het Gevaar: Als de instrumenten die worden gebruikt om het systeem te controleren kapot zijn, kunnen we denken dat het systeem veilig is en correct werkt, terwijl dat in werkelijkheid niet zo is. Het is alsof je een kapotte thermometer gebruikt om te controlen of een patiënt koorts heeft; als de thermometer altijd "37,0" aangeeft, kun je een echte ziekte missen.
De Kernboodschap
Het artikel concludeert dat hoewel deze twee methoden overtuigende verhalen produceren (mooie plaatjes en hoge scores), ze geen echte wetenschappelijke verklaringen bieden.
- Attention maps zijn als het kijken naar een wazige foto en jezelf ervan overtuigen dat je een gezicht ziet, terwijl het eigenlijk gewoon ruis is.
- Property inference is als het raden van een wachtwoord op basis van de lengte van de tekst in plaats van de werkelijke tekens.
De auteurs zeggen niet dat AI nutteloos is; ze zeggen dat we moeten stoppen met de aanname dat deze specifieke instrumenten ons vertellen wat de AI "denkt". We moeten onze aannames strenger testen voordat we de resultaten vertrouwen, vooral wanneer deze modellen de controle hebben over systemen in de echte wereld.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.