Technische Samenvatting: Het Traceerbaar Maken van Berekeningsdichtheid in LLM's

Probleemstelling

Op transformatoren gebaseerde Large Language Models (LLM's) functioneren als diepe, brede berekeningsgrafieken die miljarden parameters en operaties omvatten. Het blijft echter onduidelijk of deze modellen voor elke invoer hun volledige capaciteit benutten of vertrouwen op aanzienlijk verdunnere sub-netwerken. Belangrijke open vragen zijn:

• Is de effectieve berekening die nodig is voor een betrouwbare voorspelling uniform verdeeld, of bestaat deze uit distincte dichte en verdunnere subgrafieken?
• Hangt de hoeveelheid effectieve berekening af van specifieke invoereigenschappen?
• Hoe kunnen we de berekeningsvoetafdruk die nodig is om de uitgangsverdeling van een model te reconstrueren, precies kwantificeren?

Het beantwoorden van deze vragen is cruciaal voor zowel praktische efficiëntie (pruning, routing, distillatie) als theoretisch inzicht (mechanistische interpretatie, het verzoenen van symbolische versus gedistribueerde visies op taal, en het meten van linguïstische complexiteit).

Methodologie: De s-Trace

De auteurs introduceren s-Trace, een methode om efficiënt de subgraaf van grootte $s$ te schatten die de uitgangsverdeling van een volledig model het beste benadert.

1. Grafische Formulering

De LLM wordt gemodelleerd als een gerichte acyclische graaf $G=(V, E)$ waarbij:

• Knopen ($V$): Intermediaire token-toestanden op elke laag vertegenwoordigen.
• Randen ($E$): Operaties vertegenwoordigen die de informatiestroom beïnvloeden, opgesplitst in:
  • Aandachtranden: Bijdragen van specifieke aandachtkoppen die vectoren verplaatsen tussen bron- en doeltokens.
  • MLP-randen: Updates van Multi-Layer Perceptrons.
  • Residuranden: Identiteitsverbindingen die toestanden van de vorige laag dragen.
    Deze formulering maakt token-voor-token granulariteit mogelijk, waarbij individuele bijdragen van aandachtkoppen worden onderscheiden in plaats van ze te aggregeren.

2. Trace-definitie

De s-Trace ($T_s$) wordt gedefinieerd als de optimale subgraaf van grootte $s$ (waarbij grootte het aantal randen is) die de afstand minimaliseert tussen de uitgangsverdeling van het volledige model $P(t_{n+1}|t)$ en de beperkte voorspelling van de subgraaf $\hat{P}_{T_s}(t_{n+1}|t)$. De gebruikte afstandsmaat is de Totale Variatie (TV) afstand, gekozen vanwege zijn begrende aard en focus op dominante waarschijnlijkheidsmodi in plaats van lage-waarschijnlijkheidstaarten.

3. Trace-extractie

Gezien de ondoenlijkheid om de optimale subgraaf in grote modellen (7B–14B parameters) te vinden, hanteren de auteurs een trainingsvrije, greedy best-first zoekstrategie:

• Importantiescoring: Randen worden gescoord op basis van de L1-norm van hun updatevectoren, genormaliseerd per doelpunt-knoop om een eerlijke vergelijking te waarborgen.
• Doorloop: Startend bij de laatste token-knoop in de laatste laag, voegt het algoritme iteratief de meest belangrijke beschikbare rand en de daaraan verbonden knopen toe totdat het budget $s$ is bereikt.

4. Experimentele Opstelling

• Modellen: 10 LLM's uit 7 HuggingFace-families, variërend van 7B tot 14B parameters (bijv. Llama-3, Mistral, Qwen, OLMo, Phi-4).
• Data: 5.000 sequenties uit Wikitext (gemiddeld 40 woorden).
• Granulariteit: Traces werden geëxtraheerd op 26 niveaus van grootte, van $10^{-5}$ tot $10^0$ (volledig model).

Belangrijkste Resultaten

1. Twee Distincte Fasen van Berekening

Analyse van reconstructiefout versus trace-grootte onthult twee consistente fasen over alle modellen heen:

• Constructiefase ($s \in [10^{-4}, 10^{-2}]$): Gekenmerkt door een steile, niet-lineaire daling in reconstructiefout. Tijdens deze fase ontstaat een Minimaal Kernen bij ongeveer $s \approx 10^{-3}$ (0,1% van het volledige model). Deze kern is voldoende om de top-1% van de waarschijnlijkheidsmassa (de meest waarschijnlijke token) te herstellen en is zeer stabiel over verschillende invoer.
• Verfijningsfase ($s > 10^{-2}$): Voorbij het minimale kern, neemt de fout langzaam af. Deze fase vereist een toename van de trace-grootte met een orde van grootte om de resterende waarschijnlijkheidsmassa te herstellen (bijv. van 40% naar 90% dekking gaan). De marginale meerwaarde van toegevoegde randen is laag, wat wijst op de integratie van genuanceerde informatie.

2. Structurele Samenstelling van de Trace

• Laagverdeling: Het minimale kern bestaat voornamelijk uit knopen uit vroege lagen (initiële en vroege-midden lagen), die ongeveer 80% van de randen uitmaken bij $s=10^{-3}$. Naarmate de trace de verfijningsfase ingaat, domineren latere lagen de toegevoegde randen in toenemende mate.
• Componentverdeling:
  • In het volledige model maken aandachtranden >99% van de mogelijke randen uit.
  • In het minimale kern is de verdeling verrassend gebalanceerd: ~30% residu, ~20% MLP en ~50% aandachtranden.
  • De verfijningsfase wordt gekenmerkt door een scherpe toename in het aandeel aandachtranden, wat wijst op hun specifieke rol bij het verfijnen van de uitgangsverdeling.

3. Invoer-afhankelijke Verdunning

Berekeningsdichtheid (gemeten door het oppervlak onder de fout-vs-grootte curve) correleert met invoereigenschappen:

• Modelonzekerheid: Er is een positieve correlatie tussen berekeningsdichtheid en de Shannon-entropie van de uitvoer van het model. Hoog-entropische (onzekere) invoer vereist grotere traces (meer berekening) om een lage reconstructiefout te bereiken.
• Tokenfrequentie: Er is een negatieve correlatie tussen de frequentie van de voorspelde token en berekeningsdichtheid. Frequente tokens (vlakke statistieken) worden gereconstrueerd door verdunnere traces, terwijl zeldzame tokens dichte subgrafieken vereisen.
• Cross-model consistentie: Deze patronen zijn opmerkelijk consistent over verschillende modelarchitecturen en schalen, wat suggereert dat resource-allocatie wordt gedreven door intrinsieke invoereigenschappen in plaats van architecturale details.

Betekenis en Beweringen

Het paper claimt een algemene methode te bieden voor het kwantificeren van de effectieve berekening van LLM's, waarbij een consistente modulaire organisatie wordt onthuld:

1. Verdund Vroeg Kern: Een kleine, stabiele subgraaf van operaties uit vroege lagen biedt een ruwe voorspelling die voldoende is voor het identificeren van de meest waarschijnlijke token.
2. Dichte Late Verfijning: Aansluitende lagen voeren een dichte, gedistribueerde berekening uit om deze voorspelling te verfijnen, waardoor de volledige rijkdom van de uitgangsverdeling wordt vastgelegd.

Implicaties voor Interpretatie:

• Circuit-schaal: Het minimale kern (~0,1% van het model) vertegenwoordigt een ondergrens voor "betrouwbare" circuit-discovery; circuits kleiner dan dit kunnen essentiële dynamiek missen.
• Verdeling telt: Het evalueren van subgrafieken uitsluitend op basis van binair taalsucces (bijv. top-1 nauwkeurigheid) is onvoldoende; het behoud van de volledige uitgangsverdeling is cruciaal.
• Voorbij Hyper-verdunning: Mechanistische interpretatie mag niet beperkt blijven tot het vinden van hyper-verdunde circuits, maar moet ook dichte, gedistribueerde verwerkingsfasen analyseren.

Implicaties voor Cognitiewetenschap:

• Linguïstische Complexiteit: Berekeningsdichtheid zou kunnen dienen als een nieuwe maatstaf voor linguïstische complexiteit, aangezien deze schaalt met invoermoeilijkheid (onzekerheid en zeldzaamheid).
• Efficiënte Verwerking: De bevinding dat LLM's minder resources rekruteren voor frequente woorden, sluit aan bij theorieën over efficiënte menselijke taalverwerking.
• Symbolisch versus Gedistribueerd: Het bestaan van een verdund, vroeg-laag kern dat basisstatistiek afhandelt (gelijkend op symbolische regels), gevolgd door gedistribueerde verfijning, biedt een potentiële verzoening tussen symbolische en gedistribueerde visies op taalcompetentie.

De auteurs handhaven dat deze bevindingen specifiek zijn voor de transformer-architectuur en Engelse data, en merken op dat de identificatie van traces afhangt van de gekozen extractiemethode (greedy zoekopdracht gebaseerd op L1-norm). Zij positioneren dit werk als een eerste stap naar het karakteriseren van de interne dynamiek van LLM's voorbij eenvoudige circuit-identificatie.