Differential syntactic and semantic encoding in LLMs

Dit artikel toont aan dat syntactische en semantische informatie in de DeepSeek-V3 LLM gedeeltelijk lineair zijn gecodeerd en verschillend zijn verdeeld over de lagen, zoals blijkt uit het vermogen om deze signalen te ontkoppelen door het aftrekken van gemiddelde representatiecentroïden.

De kern

Stel je een Large Language Model (LLM) zoals DeepSeek-V3 voor als een enorme, meerdelige bibliotheek. In deze bibliotheek wordt elke zin die je typt, omgezet in een unieke, hoogdimensionale "vingerafdruk" (een vector) terwijl deze door de verschillende verdiepingen (lagen) van het gebouw beweegt.

De grote vraag die dit artikel stelt is: Hoe organiseert de bibliotheek deze vingerafdrukken? Bewaart het namelijk de "structuur" van de zin (syntaxis) gescheiden van de "betekenis" van de zin (semantiek), of zijn ze allemaal door elkaar gemengd in een grote smoothie?

Hier is wat de onderzoekers hebben gevonden, eenvoudig uitgelegd:

1. De "Gemiddelde" Truc (De Kern Vinden)

De onderzoekers realiseerden zich dat als je een hoop zinnen hebt die grammaticaal hetzelfde eruitzien (bijvoorbeeld "De kat zat", "De hond rende", "De vogel vloog"), ze een gemeenschappelijk "skelet" delen.

• De Analogie: Stel je voor dat je een foto maakt van 100 verschillende mensen die precies hetzelfde type hoed dragen. Als je al die foto's gemiddeld, worden de gezichten wazig, maar wordt de hoed super scherp en duidelijk.
• De Methode: Ze deden dit wiskundig. Ze namen zinnen met dezelfde grammaticale structuur en middelden hun vingerafdrukken om een "Syntaxis Centroid" te creëren (de pure grammatica-hoed). Ze deden hetzelfde voor zinnen met dezelfde betekenis maar verschillende woorden om een "Semantische Centroid" te creëren (de pure betekenis-hoed).

2. De "Aftrek" Test (De Hoed Verwijderen)

Zodra ze deze "pure" grammatica- en betekenisvectoren hadden, probeerden ze ze uit de oorspronkelijke zinvvingerafdrukken te verwijderen.

• De Analogie: Stel je voor dat je een foto hebt van een persoon met een hoed. Als je digitaal de "hoed"-vector van de foto aftrekt, verdwijnt de hoed. Als de foto er nog steeds uitziet als de persoon, weet je dat de hoed een aparte laag was. Als het gezicht van de persoon ook verdwijnt, waren de hoed en het gezicht door elkaar gemengd.
• Het Resultaat: Toen ze de "Grammatica-hoed" van een zin aftrokken, verloor de zin zijn vermogen om overeen te komen met andere zinnen die dezelfde grammatica hadden. Toen ze de "Betekenis-hoed" aftrokken, verloor het zijn vermogen om overeen te komen met zinnen die hetzelfde betekenden.
• De Conclusie: Dit bewijst dat het model grammatica en betekenis op een lineaire manier codeert. Ze zijn zoals aparte ingrediënten in een recept die wiskundig kunnen worden gescheiden, in plaats van een chemische reactie waarbij ze een nieuwe stof worden.

3. De "Plattegrond" Ontdekking (Waar dingen wonen)

De bibliotheek heeft veel verdiepingen. De onderzoekers ontdekten dat grammatica en betekenis op verschillende verdiepingen wonen.

• Grammatica (Syntaxis): Dit is als het fundament en de lagere verdiepingen. Het is vanaf het begin aanwezig en blijft consistent tot helemaal bovenaan. Het model kent de structuur van een zin bijna onmiddellijk.
• Betekenis (Semantiek): Dit is als de middenverdiepingen. Wanneer een zin de bibliotheek binnenkomt, kijkt het model eerst naar de woorden en structuur (lage verdiepingen). Dan, terwijl de zin naar het midden beweegt, werkt het model uit wat het eigenlijk betekent. Tegen de tijd dat het de allerbovenste verdieping bereikt (waar het model zijn antwoord schrijft), is de betekenis nog steeds aanwezig, maar verschuift de focus naar het genereren van de output.
• De Analogie: Denk aan het lezen van een boek. Eerst herken je de letters en woorden (grammatica). Dan, halverwege de alinea, begrijp je het verhaal (betekenis). Je hoeft de letters niet opnieuw te herkennen om het verhaal te begrijpen, maar je hebt de letters wel nodig om te beginnen.

4. De Eenrichtingsstraat (Asymmetrie)

Hier is het meest interessante deel: de scheiding is niet perfect gelijk.

• Grammatica is onafhankelijk: Als je de "Betekenis" uit een zin verwijdert, blijft de "Grammatica" perfect intact. Het skelet blijft staan, zelfs als je het vlees weghaalt.
• Betekenis is afhankelijk: Als je de "Grammatica" uit een zin verwijdert, wordt de "Betekenis" een beetje wankel. Het verdwijnt niet volledig, maar het wordt moeilijker te herkennen.
• De Analogie: Stel je een huis voor. Als je het meubilair (betekenis) verwijdert, is de huisstructuur (grammatica) nog steeds duidelijk een huis. Maar als je de muren en het dak (grammatica) verwijdert, is het meubilair (betekenis) gewoon een hoop spullen op de grond; het is moeilijk te zeggen wat het had moeten zijn.

Samenvatting

Het artikel toont aan dat in deze gigantische AI-modellen:

1. Grammatica en Betekenis zijn distinct: Ze worden apart gecodeerd, niet hopeloos gemengd.
2. Ze zijn lineair: Je kunt wiskundig het ene van het andere "aftrekken".
3. Ze wonen op verschillende plekken: Grammatica is overal aanwezig (vooral vroeg), terwijl Betekenis piekt in het midden van de verwerking van het model.
4. Grammatica is het stevige fundament: Je kunt betekenis weglaten zonder de grammatica te breken, maar het weglaten van grammatica maakt het moeilijker om de betekenis vast te houden.

Dit suggereert dat, hoewel deze modellen alleen worden getraind door het voorspellen van het volgende woord, ze van nature een structuur ontwikkelen die veel lijkt op hoe menselijke taalkundigen denken dat taal werkt: een structureel raamwerk dat een laag van betekenis ondersteunt.

Technische samenvatting

Technische Samenvatting: Differentiële Syntactische en Semantische Encodering in LLM's

Probleemstelling

Deze studie onderzoekt hoe Large Language Models (LLM's) syntactische (structurele) en semantische (betekenisvolle) informatie coderen binnen hun hoogdimensionale interne representaties. Hoewel het succes van LLM's de interesse heeft aangewakkerd in het decoderen van waar en hoe linguïstische competentie is opgeslagen, blijft er aanzienlijke onenigheid bestaan over de relatie tussen syntaxis en semantiek. Generatieve tradities veronderstellen vaak een strikte autonomie van de syntaxis, terwijl functionalistische benaderingen deze als diep verweven beschouwen. Het paper beoogt dit op te lossen door te bepalen of deze twee componenten lineair worden gecodeerd, hoe ze over de netwerklagen zijn verdeeld, en in welke mate ze kunnen worden ontkoppeld in modellen die zijn getraind zonder expliciete linguïstische priors.

Methodologie

De auteurs maken gebruik van een geometrische aanpak gebaseerd op lineaire operaties om de representaties van het DeepSeek-V3-model (671B parameters) te onderzoeken, met kwalitatieve replicatie op kleinere modellen (Qwen2-7b, Gemma3-12b, Pythia-6.9b).

1. Datasetconstructie

De studie is gebaseerd op gepaarde zinnen die zijn gegenereerd met andere LLM's (Gemini, ChatGPT, DeepSeek):

• Syntactische matching: Paren van zinnen die hetzelfde Part-of-Speech (POS)-sjabloon delen, maar ongerelateerde betekenissen uitdrukken ("syntactische tweelingen").
• Semantische matching: Paren van zinnen bestaande uit een originele zin en zijn Engelse parafrase, evenals vertalingen van de originele zin in zes talen (Arabisch, Chinees, Duits, Italiaans, Spaans, Turks).

2. Centroidconstructie en Ablatie

Om specifieke informatietypen te isoleren, construeren de auteurs "centroïden" door gemiddelden van verborgen representaties te nemen:

• Syntactische centroid ($S_i$): Het gemiddelde van de representaties van alle "syntactische tweelingen" die een specifiek POS-sjabloon delen. Dit middelt semantische variantie uit terwijl de syntactische structuur behouden blijft.
• Semantische centroid ($T_i$): Het gemiddelde van de representaties van alle vertalingen van een zin $X_i$ (exclusief de originele zin en zijn Engelse parafrase). Dit middelt syntactische en lexicaal variantie uit terwijl de semantische inhoud behouden blijft.

Ablatieprocedure: De auteurs verwijderen specifieke informatie uit een zinvector $X_i$ door de projectie ervan op de respectievelijke centroid af te trekken.

• Syntactische ablatie: $X_i \perp S_i = X_i - \frac{X_i \cdot S_i}{|S_i|^2} S_i$
• Semantische ablatie: $X_i \perp T_i = X_i - \frac{X_i \cdot T_i}{|T_i|^2} T_i$

3. Similariteitsmeting

In plaats van lineaire metrieken zoals Centered Kernel Alignment (CKA), die volgens de auteurs zwakke signalen bieden in hoge dimensies, maken ze gebruik van een op rang gebaseerde similariteitsmaat die is afgeleid van Information Imbalance. Deze metriek kwantificeert hoe goed de dichtstbijzijnde buren in de ene representatieruimte de dichtstbijzijnde buren in een andere voorspellen.

4. Representatieaggregatie

Er worden twee methoden gebruikt om token-niveau verborgen staten te aggregeren tot zinniveau-vectoren:

• Concatenatie: Het concateneren van de laatste $N$ tokens (behoudt positionele informatie).
• Gemiddelde: Het nemen van het gemiddelde van de representaties van de laatste $N$ tokens (verwijdert positionele informatie).

Belangrijkste Resultaten

1. Lineaire Encodering van Syntaxis en Semantiek

De studie concludeert dat zowel syntaxis als semantiek ten minste gedeeltelijk lineair worden gecodeerd. Het aftrekken van de syntactische of semantische centroïden van zinvectoren vermindert de similariteit tussen gepaarde paren (syntactische tweelingen of parafrases) aanzienlijk. Dit suggereert dat een significant deel van de relevante informatie wordt vastgelegd door deze lineaire richtingen.

2. Differentiële Laagprofielen

De cross-layer encoderingsprofielen van syntaxis en semantiek verschillen:

• Syntaxis: Syntactische similariteit is hoog in de vroege lagen en blijft relatief constant door het hele netwerk. Het is prominenter in geconcateneerde representaties, wat wijst op een afhankelijkheid van positionele informatie.
• Semantiek: Semantische similariteit is laag in de vroege lagen, stijgt tot een piek in de centrale lagen, en neemt licht af in de laatste outputlagen. Semantische similariteit is sterker in gegemiddelde representaties.

3. Asymmetrische Ontkoppeling

Een cruciale bevinding is de asymmetrie in hoe syntaxis en semantiek elkaar beïnvloeden:

• Verwijdering van Semantiek: Het ableren van de semantische centroid van syntactische tweelingen vermindert hun syntactische similariteit niet significant. Syntaxis blijft robuust, zelfs wanneer semantische informatie wordt verwijderd.
• Verwijdering van Syntaxis: Het ableren van de syntactische centroid van parafrases vermindert hun semantische similariteit aanzienlijk, met name in de centrale lagen.
• Interpretatie: Dit suggereert dat semantiek weliswaar gedeeltelijk kan worden gescheiden van syntaxis, maar dat syntaxis autonomer is. Het verwijderen van syntactische structuur (bijvoorbeeld woordvolgorde) verslechtert het vermogen om betekenis te herstellen, terwijl het verwijderen van betekenis het syntactische geraamte niet vernietigt.

4. Normontbinding

Het ontbinden van het kwadraat van de norm van zinvectoren onthult dat:

• De syntactische component domineert in de vroege lagen.
• De semantische component domineert in de centrale lagen.
• Samen maken deze centroïden een significant, maar niet totaal, deel uit (ongeveer 40% in de centrale lagen) van de vectornorm, waardoor een aanzienlijk "residu" overblijft.

5. Downstream Probe-effecten

De ablatiemethoden hebben de verwachte impact op downstream proeftaken:

• POS-classificatie: Het ableren van syntactische centroïden vermindert de nauwkeurigheid drastisch; het ableren van semantische centroïden heeft een minimaal effect.
• Parafrase-recall: Het ableren van semantische centroïden vermindert de recall drastisch; het ableren van syntactische centroïden heeft een kleiner (maar wel aanwezig) negatief effect.

Betekenis en Claims

Het paper claimt drie primaire bijdragen aan de gebieden van LLM-interpreteerbaarheid en computationele linguïstiek:

1. Identificatie van een Semantische Kern: De resultaten bevestigen dat er een "semantische kern" bestaat in LLM-verwerking, die specifiek geconcentreerd is in de binnenste lagen van het netwerk, distinct van de stabielere, laagoverschrijdende syntactische verwerking.
2. Bewijs voor Lineaire Superpositie: De studie levert verder bewijs dat eenvoudige lineaire superpositie een fundamenteel mechanisme is voor het coderen van abstracte linguïstische kenmerken (syntaxis en betekenis) in diepe netwerken.
3. Emergente Autonomie van Syntaxis: De observatie van een imperfecte maar duidelijke scheiding tussen syntaxis en semantiek in modellen die zijn getraind zonder expliciete linguïstische priors, suggereert dat de autonomie van syntaxis een inherente, optimale eigenschap kan zijn van linguïstische representaties. Deze bevinding overbrugt de kloof tussen generatieve linguïstische theorieën (autonome syntaxis) en functionalistische opvattingen, wat impliceert dat dit onderscheid universeel kan ontstaan in cognitieve systemen, van menselijke hersenen tot LLM's.

De auteurs houden een bescheiden standpunt, waarbij zij erkennen dat hun lineaire aanpak slechts gedeeltelijke aspecten van deze complexe kenmerken vastlegt en dat een significant deel van de representatienorm onverklaard blijft door deze centroïden. Zij suggereren dat toekomstig werk zich moet richten op niet-lineaire kenmerkextractie en de temporele dynamiek van deze encoderingen.