💬 NLP

Probabilistic Attribution For Large Language Models

Dit artikel introduceert een model-agnostisch probabilistisch attributiekader dat Bayes' regel toepast op LLM-tokenkansen om tokenbelang en entropie te kwantificeren, waardoor de interpretatieverbetering wordt bevorderd en inzichten worden onthuld in modelstabiliteit en -gedrag bij diverse prompts.

Oorspronkelijke auteurs: Shilpika Shilpika, Carlo Graziani, Bethany Lusch, Venkatram Vishwanath, Michael E. Papka

Gepubliceerd 2026-05-22

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shilpika Shilpika, Carlo Graziani, Bethany Lusch, Venkatram Vishwanath, Michael E. Papka

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) niet voor als een magisch brein dat "denkt" zoals een mens, maar als een super-geavanceerde gokautomaat of een reusachtige, hoogwaardige dobbelsteenroller.

Elke keer dat het model een woord (of "token") schrijft, gokt het niet zomaar. Het berekent de kansen op elk mogelijk volgend woord in zijn volledige woordenlijst, gebaseerd op alles wat het tot dat moment heeft geschreven. Het kiest het volgende woord op basis van deze waarschijnlijkheden.

Dit artikel, "Probabilistic Attribution for Large Language Models", introduceert een nieuwe manier om in deze gokautomaat te kijken om te begrijpen waarom het de woorden koos die het koos. De auteurs noemen dit nieuwe instrument de Attribution Score (AS).

Hier is een uiteenzetting van hun ideeën met eenvoudige analogieën:

1. De Kernidee: De Band Terugspoelen

Meestal, wanneer we een AI een vraag stellen, geeft het een antwoord. We kunnen ons afvragen: "Welk deel van mijn vraag zorgde ervoor dat het dat zei?"

De auteurs behandelen het schrijfproces van de AI als een stochastisch proces (een verfijnde wiskundige term voor een willekeurig proces dat zich in de tijd ontwikkelt, zoals weerspatronen of aandelenmarkten). Ze realiseerden zich dat, omdat de AI alleen waarschijnlijkheden berekent, we wiskunde kunnen gebruiken om de band "terug te spoelen".

De Analogie:
Stel je voor dat je naar een liedje luistert en je wilt weten welke specifieke noot in de melodie ervoor zorgde dat de zanger op het einde een hoge noot haalde.

De Oude Manier: Je raadt welke noot belangrijk was.
De Manier van de Auteurs: Ze nemen het liedje, verwijderen één voor één een noot en vragen de zanger: "Als ik deze specifieke noot niet zou spelen, hoe groot is dan nog steeds de kans dat je die hoge noot haalt?"
- Als het verwijderen van de noot de hoge noot onmogelijk maakt, was die noot cruciaal (Hoge Score).
- Als het verwijderen van de noot niets verandert, was die noot gewoon achtergrondruis (Lage Score).

2. De Magische Truc: Het "Wat-als"-Spel

Het lastige deel is dat de AI alleen weet hoe het vooruit moet schrijven. Het kan niet van nature zeggen: "Wat als ik dit woord had overgeslagen?"

De auteurs gebruikten een wiskundige truc (Bayes' Regel) om de AI te dwingen dit "Wat-als"-spel te spelen. Ze vertellen de AI in feite: "Hier is je prompt en je antwoord. Doe nu alsof het woord 'appel' in je prompt eigenlijk elk ander woord in de woordenlijst was. Hoe verandert dat de kansen op je antwoord?"

Door deze wiskunde toe te passen, berekenen ze een score voor elk enkel woord in de prompt. Deze score vertelt je hoeveel dat specifieke woord de AI "duwde" naar zijn uiteindelijke antwoord.

3. Het Meten van "Verwarring" (Entropie)

Het artikel kijkt ook naar Entropie, wat een maatstaf is voor onzekerheid of verwarring.

De Analogie:
Stel je voor dat je probeert het volgende woord in een zin te raden.

Lage Entropie (Lage Verwarring): De zin is "De lucht is...". De AI is 99% zeker dat het volgende woord "blauw" is. Het is niet verward.
Hoge Entropie (Hoge Verwarring): De zin is "De... ding... deed...". De AI heeft geen idee wat er als volgt komt. Het is even waarschijnlijk dat het "kat", "hond", "rennen" of "springen" is.

De auteurs ontdekten dat:

Als een woord een hoge attributiescore heeft (het is zeer belangrijk) maar de AI nog steeds zeer verward is (hoge entropie) over wat het moet vervangen, is er iets vreemds aan de hand. Dit kan betekenen dat het model instabiel is of de data niet goed heeft geleerd.
Als een woord een lage score heeft (het maakt niet veel uit) en de AI zeer zeker is (lage entropie) over wat het vervangt, is dat woord waarschijnlijk gewoon "opvulsel" of ruis.

4. Wat Ze Ontdekten

De auteurs testten dit op 8 verschillende AI-modellen met 7 verschillende prompts. Hier is wat ze vonden:

Oudere versus Nieuwere Modellen: Oudere modellen (zoals GPT-2) leken meer "verward" (hogere entropie), zelfs wanneer de woorden niet leken te tellen. Nieuwere modellen (zoals Llama) waren stabieler en zekerder. Dit suggereert dat de nieuwere modellen beter zijn "geconvergeerd" op hun trainingsdata; ze weten consistenter waar ze het over hebben.
Het Vinden van de "Slechte" Woorden: Ze vonden specifieke gevallen waarin de AI verward was. Bijvoorbeeld, in één prompt prefereerde de AI het woord "in" boven het woord "wanneer" van de gebruiker om de zin vloeiender te maken. De score onthulde dit misverstand, waarbij bleek dat de AI "gelukkiger" was met een iets andere vraag.
Token-gevoeligheid: Sommige woorden zijn als de "sleutelsteen" van een boog; als je ze verwijdert, stort het hele antwoord in. De score identificeert deze sleutelstenen. Andere woorden zijn als de mortel; je kunt ze vervangen en het antwoord blijft hetzelfde.

5. Waarom Dit Belangrijk Is (Volgens Het Artikel)

De auteurs beweren dat deze methode Model-agnostisch is.

Analogie: Denk aan verschillende AI-modellen als verschillende automerken (Ford, Toyota, Tesla). De meeste hulpmiddelen om uit te leggen hoe ze werken, werken alleen op één merk. Dit nieuwe hulpmiddel is als een universele diagnose-scanner die werkt op elke auto, ongeacht hoe de motor is gebouwd.

Ze beweren ook dat het Parameter-vrij is.

Analogie: Veel hulpmiddelen vereisen dat je knoppen en schakelaars (instellingen) draait om een resultaat te krijgen. Als je de knop verkeerd draait, is het resultaat waardeloos. Dit hulpmiddel vereist geen knoppen; het gebruikt gewoon de wiskunde die de AI al doet. Dit maakt de resultaten objectiever en makkelijker te vertrouwen.

Samenvatting

Het artikel presenteert een wiskundige "röntgenfoto" voor AI-tekstgeneratie. In plaats van te raden waarom een AI iets zei, gebruiken ze waarschijnlijkheidsrekening om exact te berekenen hoeveel elk woord in je vraag heeft bijgedragen aan het antwoord. Ze gebruiken dit om te zien welke modellen stabiel zijn, welke verward zijn en welke woorden de echte drijvers zijn van het gedrag van de AI.

Belangrijke Opmerking: Het artikel richt zich strikt op het begrijpen van de wiskunde en stabiliteit van de modellen. Het claimt niet om AI-hallucinaties te verhelpen, medische aandoeningen te diagnosticeren of juridische zaken op te lossen, hoewel het suggereert dat het begrijpen van deze waarschijnlijkheden gebruikers helpt om zich te richten op de "onzekere of instabiele" delen van de generatie van een AI.

Technische Samenvatting: Probabilistische Toewijzing voor Grootte Taalmodellen

Probleemstelling
De generatieve aard van Grootte Taalmodellen (LLMs) berust op het berekenen van conditionele kansen om respons-tokens te selecteren op basis van de vorige context. Hoewel deze modellen steeds vaker worden ingezet in hoog-risicodomeinen, bemoeilijkt hun "black box"-karakter de beoordeling van outputvaliditeit, onzekerheid en de specifieke invloed van input-tokens op gegenereerde responsen. Bestaande methoden voor Explainable AI (XAI) vallen vaak in twee categorieën: model-specifieke benaderingen (bijvoorbeeld op gradiënten gebaseerde salientiekaarten) die toegang vereisen tot de interne architectuur, en model-agnostische benaderingen (bijvoorbeeld SHAP, LIME) die vertrouwen op input-output perturbatie maar mogelijk stabiliteit of causale trouw missen. Er is behoefte aan een methode die LLM-gedrag interpreteert door de lens van statistische eerste principes, onafhankelijk van de onderliggende computatiestructuur, om tokengevoeligheid, modelstabiliteit en trainingsconvergentie beter te begrijpen.

Methodologie
De auteurs plaatsen LLM-inferentie binnen de wiskundige theorie van stochastische processen. In dit kader wordt een LLM beschouwd als het definiëren van een kansverdeling over sequenties van tokens, waarbij de kansmaat wordt geconstrueerd uit de trainingsdata van het model. De kern van de methodologie is de Attributiescore (AS), een model-agnostische maatstaf die is ontworpen om het belang van een specifiek token in een prompt te kwantificeren, gegeven een gegenereerde respons.

De AS wordt afgeleid door de log-kansen voor de volgende token om te keren met behulp van de regel van Bayes. Specifiek wordt voor een prompt $p$ en respons $r$ , de attributiescore $A_\mu$ voor het $\mu$ -de token in de prompt gedefinieerd als de log-ratio van twee kansen:

De kans op de respons $r$ gegeven de volledige prompt $p$ .
De kans op de respons $r$ gegeven de prompt waarbij het $\mu$ -de token is gemarginaliseerd (d.w.z. $p$ waarbij $p_\mu$ elke waarde in het vocabulaire mag aannemen).

Wiskundig: $A_\mu = \log \frac{Pr(R=r | P=p)}{Pr(R=r | P - P_\mu = p - p_\mu)}$ .

Omdat LLM's niet direct kansen uitvoeren voor niet-contigu of gemarginaliseerde sequenties, leiden de auteurs een methode af om de noemer te reconstrueren met uitsluitend de standaard conditionele kansen die door het model worden uitgegeven (Vergelijkingen 4–9). Dit omvat het sommeren over alle mogelijke vocabulaire-tokens voor de gemarginaliseerde positie, gewogen met de kans op de resterende context.

Als aanvulling op de AS introduceren de auteurs maatstaven voor Contextuele Entropie:

Alleen-prompt Contextuele Entropie ( $S^{(P)}$ ): De entropie van de tokenverdeling op een specifieke positie, uitsluitend geconditioneerd op de resterende prompt-tokens.
Prompt+Respons Contextuele Entropie ( $S^{(P+R)}$ ): De entropie geconditioneerd op zowel de resterende prompt als de gegenereerde respons.
KL-Divergentie: De divergentie tussen de tokenverdelingen onder de twee contexten, gebruikt om anomalieën te detecteren waarbij de respons de onzekerheid van het model over een prompt-token significant verandert.

Daarnaast wordt Vervangingsentropie berekend door de frequentieverdeling van exacte respons-overeenkomsten te meten wanneer prompt-tokens worden vervangen door de top 90% kandidaat-tokens, wat een empirische maatstaf biedt voor responsstabiliteit.

Belangrijkste Bijdragen
Het artikel schetst vier primaire bijdragen:

Model-Agnostische Attributie: De AS is toepasbaar op tekstgeneratietaken over elk LLM zonder toegang tot interne gewichten of gradiënten te vereisen, en vertrouwt uitsluitend op uitgegeven log-kansen.
Parameterloos Ontwerp: De methode vereist geen hyperparameters (in tegenstelling tot LIME of ReAgent), wat reproduceerbaarheid en objectiviteit verbetert.
Stabiliteits- en Convergentiemaatstaven: De contextuele en vervangingsentropiemaatstaven dienen als indicatoren voor modelstabiliteit en de mate waarin een model is geconvergeerd naar de verdeling van zijn trainingsdata.
Ingebouwde Gevoeligheid: Omdat de methode is geworteld in statistische eerste principes, evalueert de attributiescore inherent de correctheid van de verklaarbare resultaten als onderdeel van zijn kernmethodologie.

Experimentele Resultaten
De auteurs evalueerden 8 LLM's (variërend van 137M tot 1,7B parameters, inclusief GPT-2, GPT-Neo, Llama en Qwen-varianten) over 7 prompts die diverse taken omvatten (bijvoorbeeld leesbegrip, feitenopvraging en misleidende vragen).

Tokengevoeligheid: Hoge AS-waarden kwamen overeen met tokens die cruciaal waren voor de specifieke respons, terwijl negatieve AS-waarden tokens aanduidden die het model bij voorkeur zou hebben vervangen gezien de responscontext.
Modelconvergentie: Analyse van contextuele entropie onthulde dat oudere modellen (GPT-2, GPT-Neo) hogere entropie vertoonden bij AS-waarden dicht bij nul in vergelijking met moderne, op instructies getrainde modellen (bijvoorbeeld Llama 3.1). De auteurs interpreteren hoge entropie bij AS-waarden dicht bij nul als "ruis-tokens"—tokens die weinig bijdragen aan de responskans maar toch niet door de context worden beperkt—wat wijst op mindere trainingsconvergentie in oudere modellen.
Anomaliedetectie: Het kader slaagde erin specifieke anomalieën te identificeren, zoals tokens waarbij het model een herschrijving van de prompt prefereerde (bijvoorbeeld "in" prefereerden boven "?" in een specifieke vraag) of waarbij de responscontext onverwacht de tokenverdeling verbreedde (verhoging van de entropie).
Evaluatie tegenover XAI-baselines: De AS werd vergeleken met Input X Gradient, Gradient Shapley, LIME, Occlusion en ReAgent met behulp van maatstaven zoals Infidelity, Deletion/NAOPC, Comprehensiveness en Sufficiency. De AS scoorde concurrerend, vaak gelijkend aan of overtreffend de prestaties van andere methoden, met name met betrekking tot de robuustheid over verschillende modellen zonder architectuurspecifieke afstemming.
Berekeningskosten: De methode is rekenintensief en vereist GPU-uren die evenredig zijn met de vocabulairegrootte vanwege de sommatie over alle mogelijke vervangingstokens. De auteurs merken echter potentie op voor optimalisatie door sommaties te beperken tot de tokens met de hoogste kansen.

Betekenis en Claims
Het artikel claimt dat door LLM's te kaderen als stochastische processen, het een rigoureus, model-agnostisch kader voor interpreteerbaarheid biedt dat aannames over interne "kennisrepresentatie" vermijdt. De betekenis ligt in het vermogen om:

De causale invloed van prompt-tokens op responsen te kwantificeren zonder toegang tot modelinterne delen.
De kwaliteit van modeltraining (convergentie) te diagnosticeren via entropieanalyse, waarbij "ruis-tokens" worden geïdentificeerd die op slechte training wijzen.
Gebruikers te leiden naar onzekere of instabiele delen van een generatie, waardoor de interpreteerbaarheid wordt verbeterd.
Te dienen als een parameterloze baseline voor het afstemmen van hyperparameters in andere, snellere XAI-methoden.

De auteurs concluderen dat hoewel de aanpak hogere rekenkosten met zich meebrengt, het een dieper, statistisch onderbouwd begrip van LLM-gedrag biedt, waardoor het identificeren van trainingsdeficiënties en het engineeren van prompts om coherenter responsen te produceren mogelijk wordt.