Representational Curvature Modulates Behavioral Uncertainty in Large Language Models

Technische Samenvatting: Representational Curvature Modulates Behavioral Uncertainty in Large Language Models

Het Probleem

In autoregressieve Large Language Models (LLM's) is het hoofddoel het voorspellen van het volgende token. Een bestaande hypothese, de "temporal straightening hypothesis", stelt dat modellen de representatieve trajecten van inputsequenties door de lagen heen geleidelijk "rechtgetrokken" (straightening). Dit zou het model helpen om toekomstige toestanden te voorspellen via lineaire extrapolatie. Hoewel dit geometrische fenomeen eerder is waargenomen, ontbrak tot nu toe een direct bewijs voor de functionele link tussen deze geometrie (de vorm van de representatie) en het gedrag van het model (de mate van onzekerheid in de voorspelling).

Methodologie

De onderzoekers onderzochten de relatie tussen contextuele kromming (contextual curvature) en entropie (entropy).

1. Maten:
   • Contextuele kromming ($C$): Een geometrische maatstaf die kwantificeert hoe scherp het representatieve traject buigt over een recent venster van tokens. Dit wordt berekend op basis van de hoek tussen opeenvolgende verschilvectoren in de residual stream.
   • Entropie ($H$): Een maatstaf voor de onzekerheid van het model bij het voorspellen van het volgende token, afgeleid van de softmax-output (logits).
2. Modellen & Data: Er werd gebruikgemaakt van GPT-2 XL en Pythia-2.8B. Voor trainings-experimenten werd een GPT-2 Small model vanaf nul getraind op BookCorpus en Wikipedia.
3. Experimentele benaderingen:
   • Correlatieanalyse: Gebruik van cross-validated regressie om te zien of kromming de entropie kan voorspellen.
   • Perturbatie-experimenten: Het doelbewust aanpassen van de activaties in de residual stream via vijf verschillende subruimtes (van willekeurige ruimtes tot ruimtes die strikt uitgelijnd zijn met het traject van het model) om te zien welke wijzigingen de entropie beïnvloeden.
   • Curvature Regularization: Het toevoegen van een extra verliesfunctie ($\mathcal{L}_{curv}$) tijdens de training om trajecten ofwel rechter (untangled) of juist krommer (tangled) te maken.

Belangrijkste Bijdragen & Resultaten

Het onderzoek levert drie cruciale bewijslaststukken voor de functionele rol van geometrie:

1. Kromming voorspelt onzekerheid: Er is een significante positieve correlatie tussen contextuele kromming en de entropie van het volgende token. Deze relatie is het sterkst in de middelste lagen van het netwerk, precies daar waar de trajecten het meest "rechtgetrokken" zijn.
2. Selectieve afhankelijkheid via perturbaties: Het model reageert alleen op wijzigingen in kromming als deze wijzigingen plaatsvinden in de subruimte van het representatieve traject (de richting waarin de representatie zich natuurlijk ontwikkelt). Willekeurige of niet-uitgelijnde perturbaties hebben geen effect op de entropie. Dit bewijst dat de kromming een taak-relevante eigenschap is en niet slechts een bijproduct van de data.
3. Beïnvloedbaarheid tijdens training: Door een extra regularisatie-term toe te voegen, konden de onderzoekers de entropie van het model sturen. Modellen die getraind werden om "rechtere" trajecten te hebben (untangled), vertoonden een lagere token-entropie (hogere zekerheid) zonder dat dit ten koste ging van de voorspellende nauwkeurigheid (validation loss).

Significantie

Dit paper biedt een fundamenteel inzicht in de mechanistische interpretatie van LLM's. Het bevestigt dat temporal straightening niet alleen een observatie is van hoe data wordt verwerkt, maar een functionele strategie die modellen gebruiken om voorspelbaarheid te vergroten.

De resultaten suggereren dat de geometrie van de interne representaties direct gekoppeld is aan de betrouwbaarheid en onzekerheid van de output. Dit opent nieuwe wegen voor:

• Mechanistische interpretatie: Het begrijpen van modelgedrag via de geometrie van de residual stream.
• Modelcontrole: Het manipuleren van de onzekerheid of kalibratie van een model door de geometrische structuur van de representaties tijdens de training of tijdens inferentie aan te passen.