Understanding the Emergence of Seemingly Useless Features in Next-Token Predictors

Probleemstelling

Grote Taalmodellen (LLMs) worden doorgaans getraind met het doel van Next-Token Prediction (NTP). In dit paradigma wordt het model gestimuleerd om features te berekenen die direct helpen bij het voorspellen van het onmiddellijk volgende token ($x_{t+1}$). Logischerwijs zou men kunnen verwachten dat de verborgen representaties op positie $t$ alleen informatie bevatten die relevant is voor deze directe voorspelling.

Echter, onderzoek toont aan dat Transformers vaak abstracte, schijnbaar "onnodige" features leren die niet direct bijdragen aan de voorspelling van het volgende token. Voorbeelden hiervan zijn:

• Het reconstrueren van abstracte eigenschappen van de invoer.
• Het vormen van "wereldmodellen" (bijv. de toestand van een Othello-bord).
• Het impliciet voorspellen van tokens ver vooruit in de sequentie.

De centrale vraag is: Hoe leren Transformers, die enkel getraind zijn op NTP, features die niet helpen bij het voorspellen van het onmiddellijk volgende token? Bestaand werk kijkt hier vaak vanuit een teleologisch perspectief (wat doet de feature in het eindresultaat?), maar mist inzicht in de gradiënt-signalen tijdens het trainen die het ontstaan van deze features veroorzaken.

Methodologie: Decompositie van Informatiestromen

De auteurs introduceren een nieuw raamwerk om de gradiënt-signalen in causaal gemaskerde Transformers te ontleden. Ze tonen aan dat features via drie distincte mechanismen kunnen worden geleerd:

1. Direct Learning (Directe Leer):

   • Gradiënten die voortkomen uit de voorspelling van het onmiddellijk volgende token ($x_{i+1}$).
   • Dit is de standaard NTP-drijfveer. Features die hierdoor ontstaan zijn "NTP-nuttig".

2. Pre-caching (Voorbewaring):

   • Gradiënten die voortkomen uit voorspellingverliezen op toekomstige posities ($x_j$ waar $j > i+1$).
   • Omdat attention-heads op latere posities kunnen kijken naar positie $i$, wordt positie $i$ gestimuleerd om informatie "voor te bereiden" die pas later nodig is. Dit verklaart het leren van NTP-onnuttige features die wel nuttig zijn voor latere tokens.

3. Circuit Sharing (Circuit Delen):

   • Gradiënten die onafhankelijk ontstaan van de specifieke residual stream op positie $i$, maar wel invloed hebben op de modelparameters.
   • Omdat Transformers dezelfde parameters gebruiken voor elke positie, kan een feature die op positie $j$ nuttig is (en dus geleerd wordt), ook worden gecodeerd op positie $i$ door de gedeelde gewichten, zelfs als het op $i$ zelf niet direct nodig is.

Experimentele Technieken:
Om deze mechanismen te isoleren en te kwantificeren, gebruiken de auteurs twee benaderingen:

• Interventie (Ablatie):
  • Myopic training: Blokkeert gradiënten tussen posities $i$ en $j$ ($j \neq i$), waardoor pre-caching wordt uitgeschakeld.
  • m-untied training: Gebruikt verschillende parameters voor posities voor en na een index $m$, waardoor circuit sharing wordt uitgeschakeld (maar pre-caching via attention mogelijk blijft).
• Attributie (Invloedsmeting):
  • De auteurs definiëren een Feature Mismatch tussen een tussentijds checkpoint en het finale model.
  • Ze berekenen de Invloed (Influence) van elke gradiëntcomponent (direct, pre-cached, shared) op het verkleinen van deze mismatch. Dit geeft een kwantitatieve maatstaf voor welke component het meest bijdroeg aan het ontstaan van een specifieke feature.

Voor grote modellen (waar hertraining onmogelijk is) introduceren ze een proxy-maatstaf $Q(w)$, gebaseerd op interventies in het finale model. $Q(w)$ vergelijkt de impact van een feature op het directe volgende token versus op toekomstige tokens, wat een schatting geeft van de pre-caching-strength.

Belangrijkste Resultaten

1. Toy Tasks (Majority & Conditioned Majority):

   • In simpele taken waar features in de invoerfase NTP-onnuttig zijn, leren myopische modellen (zonder pre-caching) deze features niet.
   • Zonder pre-caching of circuit sharing kunnen complexe circuits (zoals induction heads) niet ontstaan.

2. OthelloGPT (Wereldmodellen):

   • Het model leert de toestand van het Othello-bord, inclusief velden die op dat moment geen invloed hebben op de legale zetten (NTP-onnuttig).
   • Analyse toont aan dat NTP-nuttige velden sterk worden geleerd via direct learning.
   • NTP-onnuttige velden worden echter wel geleerd (hoewel minder robuust) dankzij pre-cached en shared gradiënten. Dit verklaart waarom het wereldmodel kwetsbaar is (fragiel) maar toch bestaat: het ontbreekt aan de directe drijfveer van NTP.

3. Kleine Taalmodellen (TinyStories):

   • Pre-caching is essentieel voor coherent tekstgeneratie (lage loss), maar niet strikt noodzakelijk voor het leren van eenvoudige syntaxis (POS-tags, dependency tags).
   • Syntactische features worden voornamelijk via direct learning geleerd.
   • Complexe, hoog-niveau eigenschappen (zoals de positie in het verhaal) worden juist via pre-caching geleerd.

4. Gemma 2 (Grote LLMs):

   • Toepassing van de $Q(w)$-methode op een state-of-the-art model (Gemma 2 2B) toont aan dat features met extreme waarden van $Q(w)$ (zeer hoge pre-caching) sterk geassocieerd zijn met formele redeneringsdomeinen zoals code, wiskunde en programmeertaal.
   • Features met lage $Q(w)$ (direct) zijn vaker gerelateerd aan algemene tekststructuur.
   • Look-ahead vs. Pre-caching: De auteurs weerleggen de hypothese dat pre-caching de enige oorzaak is van "look-ahead" (het voorspellen van tokens ver vooruit). Ze vinden een negatieve correlatie: features die sterk bijdragen aan look-ahead zijn vaak direct nuttig, terwijl pre-cached features juist minder bijdragen aan het voorspellen van de onmiddellijke toekomstige tokens in vergelijking met directe features. Dit ondersteunt de "breadcrumbs-hypothese": look-ahead ontstaat door overeenkomsten in features die nodig zijn op verschillende posities, niet door expliciete planning.

Bijdragen

1. Theoretisch Inzicht: Een onderbouwing waarom NTP-getrainde Transformers complexe, niet-direct-nuttige features leren via pre-caching en circuit sharing.
2. Methodologische Innovatie: Een nieuwe methode om de gradiëntcomponenten van het NTP-doel te traceren en hun invloed op het ontstaan van specifieke features te kwantificeren.
3. Empirische Bevindingen:
   • Verklaring van de kwetsbaarheid van het OthelloGPT wereldmodel.
   • Aantonen dat pre-caching cruciaal is voor coherentie maar niet voor basis-syntaxis.
   • Ontdekking dat features met hoge pre-caching-strength sterk gelinkt zijn aan formele redenering (code) in grote modellen.

Betekenis en Conclusie

Dit werk verschuift het perspectief in mechanische interpretability van een statisch, teleologisch oogpunt ("wat doet deze feature?") naar een ontwikkelingsperspectief ("hoe en waarom ontstond deze feature tijdens het trainen?").

De studie toont aan dat "onnuttige" features geen bijproducten zijn, maar noodzakelijke gevolgen van de manier waarop gradiënten door het netwerk stromen via attention-mechanismen (pre-caching) en gedeelde parameters (circuit sharing). Dit biedt een dieper inzicht in de interne dynamiek van LLMs en helpt te verklaren waarom modellen soms complexe structuren leren die niet direct zichtbaar zijn in de onmiddellijke voorspellingstaken. De bevindingen suggereren ook dat het trainen van modellen voor formele taken (zoals code) mogelijk baat heeft bij mechanismen die pre-caching stimuleren.