Technische Samenvatting: De Meetkunde van Menselijke Waarnemingsdomeinen Ontstaat Tijdelijk in LLM-Representaties

Probleemstelling

Hoewel Large Language Models (LLM's) uitsluitend worden getraind op tekstuele data, heeft eerdere onderzoek vastgesteld dat hun interne inbeddingsruimten rijke meetkundige structuren vertonen die overeenkomen met conceptuele domeinen (bijvoorbeeld cyclische manifoolden voor dagen van de week of 1D-manifoolden voor tijd). Het blijft echter onduidelijk of deze modellen, die geen directe zintuiglijke gronding hebben, interne representaties ontwikkelen die overeenstemmen met de menselijke waarnemingsorganisatie over zintuiglijke en affectieve modaliteiten zoals kleur, toonhoogte, smaak en emotie. Bovendien hebben bestaande studies zich grotendeels gericht op modeluitvoer of taakspecifieke probing, waardoor er een gat bestaat in het begrijpen van hoe en waar dergelijke waarnemingsstructuren ontstaan en evolueren over de tussenliggende lagen van transformer-architecturen.

Methodologie

De auteurs stellen een volledig intrinsiek, laag-voor-laag analysekader voor om het ontstaan van waarnemingsmeetkunde te onderzoeken zonder aanvullende training of probing.

1. Stimuli en Extractie: Een reeks stimuli (bijvoorbeeld specifieke kleuren, emoties, toonhoogtefrequenties, smaakverbindingen) wordt verwerkt via vooraf getrainde transformer-modellen (waaronder variaties van LLaMA-3, Qwen en Gemma) met behulp van minimale, gestructureerde prompts om verborgen staat-activaties ($h_i^{(l)}$) op elke laag $l$ te extraheren.
2. Meetkundige Constructie:
   • Berekening van Dissimilariteit: Paarsgewijze cosinus-dissimilariteiten worden berekend tussen inbeddingen om een dissimilariteitsmatrix $D$ te vormen, waarbij de directionele structuur wordt geïsoleerd terwijl men invariant blijft voor schaal.
   • Dimensiereductie: Multidimensionale Schaling (MDS) wordt toegepast op $D$ om laag-dimensionale (2D) meetkundige kaarten te genereren die paarsgewijze dissimilariteiten behouden, waardoor een "qualia-kaart" voor elke laag wordt gecreëerd.
3. Alignatiemetrieken: De door het model gegenereerde meetkundige kaarten worden kwantitatief vergeleken met menselijke waarnemingsbaselines (afgeleid van gevestigde psychologische datasets zoals ANEW en Marjieh et al., 2023) met behulp van twee metrieken:
   • Representational Similarity Analysis (RSA): Spearman-rangcorrelatie tussen de vectoriserde boven-driehoekige invoer van de model- en menselijke dissimilariteitsmatrices.
   • Generalized Procrustes Analysis (GPA): Meet meetkundige alignatie door de optimale orthogonale transformatie tussen de model- en menselijke kaarten te vinden, wat een score oplevert waarbij hogere waarden sterkere alignatie aangeven.
4. Profilering: Deze pijplijn wordt toegepast over alle lagen om de evolutie van de waarnemingsstructuur te traceren, waarbij wordt geïdentificeerd waar de alignatie piekt en hoe deze verandert met de diepte.

Belangrijkste Bijdragen

Het artikel presenteert drie primaire bijdragen:

• Laag-voor-laag Ontstaan van Waarnemingsmeetkunde: De auteurs tonen aan dat LLM's spontaan gestructureerde meetkundige representaties ontwikkelen voor meerdere waarnemingsdomeinen (kleur, toonhoogte, smaak, emotie) binnen hun residu-stromen. Deze structuren stemmen kwantitatief overeen met menselijke waarnemingsbaselines, ondanks de afwezigheid van directe zintuiglijke supervisie.
• Modality-specifieke Ontstaanprofielen: De studie onthult dat verschillende waarnemingsdomeinen verschillende trajecten volgen. Hoewel allen een stijgende-en-dalende patroon vertonen, variëren het tijdstip van piekalignatie en de stabiliteit van de structuur per domein (bijvoorbeeld smaak piekt eerder dan emotie) en per modelarchitectuur.
• Tijdelijke Waarnemingscodering: Het artikel vestigt een consistente representatietraject over modellen: waarnemingsmeetkunde is zwak of diffuus in vroege lagen, wordt progressief georganiseerd in tussenliggende lagen, en neemt af in latere lagen. Dit suggereert dat waarnemingsmeetkunde tijdelijk wordt gecodeerd als onderdeel van de interne transformatiepijplijn van het model, in plaats van uniform te worden behouden.

Resultaten

De analyse over vier modaliteiten levert de volgende specifieke bevindingen op:

• Kleur: Modellen herstellen een circulaire manifoold die lijkt op het menselijke kleurenwiel, met een piek in vroege tot tussenliggende lagen. Deze structuur is tijdelijk en verzwakt in diepere lagen naarmate representaties specialiseren voor taakspecifieke kenmerken. Dit "stijgen-piek-dalen"-profiel is consistent voor LLaMA-3-8B, LLaMA-3.2-3B en Gemma-7B, hoewel Qwen-3-4B een korte late-laag rebound vertoont voordat er finale degradatie optreedt.
• Emotie: De modellen herstellen een goed georganiseerde affectieve manifoold die overeenkomt met de menselijke valentie-opwakkingsstructuur. In tegenstelling tot kleur blijft de emotionele meetkunde relatief stabiel over latere lagen, wat wijst op een meer persistente behoud van deze structuur.
• Toonhoogte: Een gladde, boogvormige organisatie die consistent is met het continue en ordelijke karakter van toonhoogtewaarneming, ontstaat in tussenliggende lagen. De structuur vervormt in diepere lagen, wat suggereert dat toonhoogte relationeel wordt weergegeven in plaats van categorisch.
• Smaak: Modellen herstellen een smaakmanifoold die overeenkomt met menselijke waarnemingsordeningen (bijvoorbeeld de volgorde van basissmaken). Smaak vertoont echter lagere RSA-scores en ruisachtigere laag-voor-laag profielen in vergelijking met andere domeinen, waarbij meetkunde vroeg ontstaat maar snel degradeert.

Betekenis en Claims

Het artikel claimt nieuwe inzichten te bieden in de mechanistische aard van LLM-representaties, specifiek hoe mensachtige waarnemingsmeetkunde voortkomt uit puur linguïstische training. Door aan te tonen dat deze structuren tijdelijk ontstaan in tussenliggende lagen, bieden de auteurs een principiële weg voor mechanistische analyse van interne representaties.

De auteurs merken expliciet de beperkingen van hun werk op:

• De analyse is beschrijvend; het identificeert waar en hoe meetkunde ontstaat, maar verklaart niet de onderliggende mechanismen die deze manifoolden veroorzaken.
• De studie is beperkt tot vier waarnemingsdomeinen en specifieke architecturen.
• Meetkundige alignatie met menselijke baselines wordt geïnterpreteerd als bewijs van structureel vergelijkbare representatieve organisatie, niet als bewijs van mensachtige subjectieve waarneming.

Het werk suggereert dat taalsmodellen waarnemingsstructuren impliciet coderen via de statistische regulariteiten van taal, en deze structuren organiseren op een tijdelijke, diepte-afhankelijke manier die menselijke waarnemingsstabiliteit nabootst, maar er ook van verschilt.