Semantic Structure of Feature Space in Large Language Models

1. Probleemstelling

Hoewel recent onderzoek heeft aangetoond dat specifieke semantische kenmerken (zoals misleiding, weigering en schmeichelzucht) in Large Language Models (LLM's) worden gecodeerd als lineaire richtingen in verborgen toestanden, behandelt de heersende aanpak deze kenmerken in isolatie. Dit perspectief gaat ervan uit dat kenmerken orthogonaal (onafhankelijk) zijn. Psychologisch onderzoek (met name de traditie van de "semantische differentiaal") suggereert echter dat menselijke semantische associaties sterk onderling gecorreleerd zijn en kunnen worden gereduceerd tot een laag-dimensionale deelruimte (bijvoorbeeld Evaluatie, Kracht, Activiteit).

Het artikel adresseert een kritieke kloof: Spiegelen de geometrische relaties tussen semantische kenmerken in LLM's menselijke psychologische associaties? Specifiek onderzoekt het of de kenmerkruimten van LLM's bestaan uit onafhankelijke assen of of ze betekenisvolle non-orthogonaliteit (verstrengeling) vertonen die menselijke culturele en cognitieve structuren weerspiegelt.

2. Methodologie

De studie hanteert een meerstapsmethodologie die surveydata, activatie-analyse en interventie-experimenten combineert over Llama 3-modellen (3B en 70B) en Qwen3-modellen.

A. Dataconstructie

• Menselijke Baseline: Een enquête onder 1.750 respondenten beoordeelde 360 woorden op 32 semantische schalen (bijvoorbeeld mooi-lelijk, zacht-hard). Deze dataset dient als grondwahrheid voor menselijke semantische associaties.
• LLM Kenmerkvectoren (Woorden): Voor elk van de 360 woorden werden kenmerkvectoren geëxtraheerd uit de verborgen toestanden van de LLM.
  • Protocol: Er werden vier prompts per woord gebruikt (bijvoorbeeld "Vertel me over {woord}", "Definieer {woord}").
  • Extractie: Activaties werden verzameld uit specifieke lagen (Laag 8 voor 3B, Laag 40 voor 70B) en gemiddeld over tokens en prompts om een robuuste enkele vector per woord te creëren.
• LLM Semantische Assen: 32 semantische assen werden geconstrueerd met behulp van een contrasterend paarontwerp.
  • Voor elke schaal (bijvoorbeeld goed-slecht) werden 10 antoniemparen geselecteerd.
  • Kenmerkvectoren voor elk antoniem werden gegenereerd, en de asvector werd berekend als het gemiddelde verschil tussen positieve en negatieve antoniemvectoren:
    $$\vec{f}_{axis} = \frac{1}{10} \sum_{j=1}^{10} (\vec{v}_{pos_j} - \vec{v}_{neg_j})$$

B. Analytische Technieken

1. Projectiecorrelatie: Woordkenmerkvectoren werden geprojecteerd op de semantische assen en deze projecties werden gecorreleerd met menselijke enquêteresultaten.
2. Geometrische Uitlijning: Er werden Cosinusgelijkheden berekend tussen de semantische assen zelf om te testen of de assen non-orthogonaal zijn. Deze geometrische gelijkenissen werden vervolgens gecorreleerd met de paarcorrelaties gevonden in de menselijke surveydata.
3. Dimensiereductie: Hoofdstcomponentenanalyse (PCA) werd toegepast op zowel de surveydata als de LLM semantische assen om te bepalen of de variantie in beide ruimten wordt gevangen door een laag-dimensionale deelruimte (specifiek de eerste 3 componenten). Canonieke Correlatieanalyse (CCA) werd gebruikt om de deelruimten van de LLM en menselijke data uit te lijnen.
4. Stuurinterventies: Om praktische implicaties te testen, voerden de auteurs "stuur"interventies uit.
   • Mechanisme: Een geschaalde semantische asvector ($\alpha \hat{f}$) werd toegevoegd aan de residustroom tijdens de voorwaartse doorgang van een prompt waarin het model werd gevraagd een woord te beoordelen.
   • Meting: De verandering in de waarschijnlijkheid van het model om een specifiek antoniem te selecteren (uitloop-effect) op niet-doelgerichte schalen werd gemeten.
   • Hypothese: Als assen geometrisch uitgelijnd zijn, zou het sturen langs één as voorspelbare uitloop-effecten op andere assen moeten veroorzaken, evenredig aan hun cosinusgelijkheid.

3. Belangrijkste Bijdragen

1. Validatie van Menselijke Geometrie: Aangetoond dat de geometrische structuur van LLM-kenmerkruimten niet willekeurig of puur orthogonaal is, maar nauw de menselijke psychologische semantische associaties weerspiegelt.
2. Non-Orthogonaliteit van Kenmerken: Bewezen dat semantische assen in LLM's betekenisvol non-orthogonaal zijn. De cosinusgelijkheid tussen twee assen in het model voorspelt de correlatie tussen die schalen in menselijke enquêtes.
3. Laag-dimensionale Deelruimte: Aangetoond dat een aanzienlijk deel van de variantie in LLM semantische kenmerken (zoals in menselijke data) ligt binnen een laag-dimensionale deelruimte (ongeveer 3 dimensies), waardoor de "Evaluatie-Kracht-Activiteit"-structuur uit de klassieke psychologie wordt gereproduceerd.
4. Voorspelbare Stuuruitloop: Een causaal verband vastgesteld tussen geometrische uitlijning en modelgedrag. Het sturen van een model langs één semantische as induceert voorspelbare "uitloop"-effecten op andere assen, waarvan de grootte wordt bepaald door de cosinusgelijkheid tussen de assen.

4. Belangrijkste Resultaten

• Projectiecorrelatie: Er is een sterke positieve correlatie ($r > 0,3$ tot $r > 0,8$) tussen de projectie van woordvectoren op LLM semantische assen en menselijke beoordelingen van die woorden. Dit geldt voor zowel kleine (3B) als grote (70B) modellen.
• Ascorrelatie: De cosinusgelijkheden tussen LLM semantische assen zijn zeer voorspellend voor de correlaties tussen die schalen in de menselijke enquête ($r \approx 0,8$). Dit bevestigt dat de interne geometrie van het model menselijke culturele associaties codeert.
• PCA-uitlijning:
  • Menselijke surveydata effectief gereduceerd tot 3 dimensies.
  • LLM semantische assen toonden ook aan dat de eerste drie hoofdcomponenten een meerderheid van de variantie verklaarden (>45% voor 3B, >33% voor 70B).
  • CCA onthulde hoge correlaties tussen de 3D-deelruimten van de LLM en de menselijke enquête, wat aangeeft dat de modellen op een structureel vergelijkbare manier met deze concepten "denken" als mensen.
• Stuuruitloop:
  • Het sturen van een woord naar een specifiek attribuut (bijvoorbeeld mooi) veroorzaakte dat het model het woord hoger beoordeelde op geometrisch vergelijkbare attributen (bijvoorbeeld zacht).
  • Er is een sterke lineaire relatie ($r \approx 0,65 - 0,68$) tussen de cosinusgelijkheid van twee assen en de grootte van het uitloop-effect.
  • Opmerking: Het 70B-model toonde kleinere uitloopgroottes dan het 3B-model, wat suggereert dat grotere modellen beter bestand zijn tegen sturen, maar de structurele relatie (geometrie die uitloop voorspelt) blijft consistent.

5. Betekenis en Implicaties

• Voorbij Isolatie: De bevindingen daagden het beeld uit van LLM-kenmerken als een catalogus van onafhankelijke "knoppen". In plaats daarvan moeten kenmerken worden begrepen via hun geometrische relaties en de deelruimten die ze vormen.
• AI-veiligheid en Controle: Als veiligheidskritieke kenmerken (bijvoorbeeld waar-onwaar, veilig-gevaarlijk) op een gedeelde laag-dimensionale deelruimte liggen, kan het controleren van één kenmerk onbedoeld andere beïnvloeden door geometrische verstrengeling. Dit bemoeilijkt "kenmerkensturen", maar biedt ook een manier om modellen te auditeren door deze relationele structuren te begrijpen.
• Representatie-engineering: Het studie valideert dat technieken die worden gebruikt op statische woordembeddings (zoals het analyseren van hoeken en culturele dimensies) toepasbaar en vruchtbaar zijn voor diepe LLM-representaties.
• Cognitieve Uitlijning: De resultaten suggereren dat, ondanks training op ruwe tekst, LLM's interne representaties ontwikkelen die structureel uitgelijnd zijn met menselijke cognitieve modellen van de wereld, wat het idee versterkt dat LLM's menselijke semantische structuren vastleggen.

Concluderend betoogt het artikel dat de geometrie van de kenmerkruimte menselijk betekenisvol is. Het begrijpen van de hoeken tussen kenmerken en de deelruimten die ze definiëren, is essentieel voor het interpreteren, auditeren en controleren van Large Language Models.