Tracing the complexity profiles of different linguistic phenomena through the intrinsic dimension of LLM representations

Technische Samenvatting: Tracing the complexity profiles of different linguistic phenomena through the intrinsic dimension of LLM representations

1. Probleemstelling

Hoewel Large Language Models (LLM's) indrukwekkende taalkundige vaardigheden vertonen, is het proces van hoe zij taal intern verwerken nog niet volledig begrepen. Er is een groeiende behoefte om te begrijpen hoe verschillende soorten taalkundige complexiteit (zoals syntactische nesting of ambiguïteit) worden gerepresenteerd in de verschillende lagen van een model. De centrale vraag is of de geometrische eigenschappen van de interne representaties van een LLM kunnen dienen als een marker voor de complexiteit van de verwerkte taal.

2. Methodologie

De auteurs maken gebruik van de Intrinsic Dimension (ID) van de representaties in de residual stream van LLM's. De ID is een maatstaf voor de complexiteit van een manifold; hoe complexer de data voor het systeem, hoe hoger de ID.

Experimenteel ontwerp:

• Modellen: Er werden zes verschillende LLM's getest (Gemma-2-9b, Llama-3-8B, OLMo-2-13B, Mistral-7B, Pythia-12B en Qwen-2.5-14B).
• Taalkundige contrasten: De onderzoekers ontwierpen drie datasets met "minimal pairs" om specifieke contrasten te isoleren:
  1. Coördinatie vs. Subordinatie: Vergelijking tussen platte structuren (en...) en hiërarchisch geneste structuren (dat...).
  2. Right-branching vs. Center-embedding: Vergelijking tussen lineaire uitbreiding en structuren waarbij een bijzin tussen het onderwerp en de persoonsvorm wordt geplaatst (wat een grotere geheugenbelasting vereist).
  3. Unambiguous vs. Ambiguous attachment: Vergelijking tussen zinnen waarbij de betekenis de verwijzing van een bijzin eenduidig maakt, versus zinnen met syntactische ambiguïteit.
• Analyse-instrumenten:
  • TwoNN Estimator: Voor het berekenen van de ID.
  • Information Imbalance ($\Delta$): Om de directionele representatieve gelijkenis tussen verschillende condities te meten.
  • Layer Pruning: Een interventie waarbij lagen worden verwijderd om te zien welke lagen cruciaal zijn voor het behoud van de voorspellende nauwkeurigheid bij complexe structuren.

3. Belangrijkste Resultaten

De resultaten laten zien dat de ID-profielen consistent reageren op taalkundige complexiteit:

• Subordinatie verhoogt de ID: In alle modellen vertonen gesubordineerde (geneste) zinnen een significant hogere ID dan gecoördineerde zinnen. Dit verschil ontstaat vaak rond de zogenaamde "generic ID peak" (de fase waarin het model diepe taalkundige verwerking uitvoert).
• Center-embedding en agreement: Bij center-embedding is de ID hoger dan bij right-branching, vooral in de vroege tot middelste lagen. Dit suggereert dat het model hier al vroeg bezig is met het oplossen van long-distance agreement (overeenkomst tussen onderwerp en werkwoord).
• Ambiguïteit zorgt voor instabiliteit: Ambigue zinnen vertonen een consistent hogere ID over de gehele breedte van de lagen, wat wijst op een constante staat van representatieve instabiliteit door de aanwezigheid van meerdere interpretaties.
• Causale bevestiging via Pruning: Het verwijderen van lagen in de buurt van de "generic ID peak" heeft een grotere negatieve impact op de nauwkeurigheid van gesubordineerde zinnen dan op gecoördineerde zinnen. Dit bewijst dat deze specifieke lagen essentieel zijn voor het bouwen van complexe hiërarchische structuren.

4. Belangrijkste Bijdragen

1. ID als taalkundige probe: Het onderzoek bewijst dat de intrinsieke dimensie een bruikbare marker is voor het onderscheiden van verschillende soorten taalkundige complexiteit.
2. Identificatie van verwerkingsfasen: Het werk bevestigt dat de "ID-piek" in LLM's inderdaad correspondeert met de fase van abstracte, diepe taalkundige verwerking.
3. Convergentie van modellen: Ondanks architecturale verschillen vertonen diverse LLM's vergelijkbare ID-profielen, wat suggereert dat krachtige systemen convergeren naar vergelijkbare strategieën voor taalverwerking.

5. Significante Implicaties

Dit onderzoek heeft zowel theoretische als praktische implicaties. Voor de interpretability van AI biedt het een geometrische methode om te begrijpen waar en hoe structurele informatie wordt verwerkt. Voor de psycholinguïstiek biedt het een nieuwe manier om LLM's te gebruiken als in silico modellen om menselijke taalverwerking te bestuderen. Het suggereert dat de manier waarop LLM's hiërarchie en ambiguïteit verwerken, een fundamentele eigenschap is van de manier waarop deze modellen de statistische structuur van taal hebben geleerd.