Technische Samenvatting: Voorbij Taal: Formatonafhankelijke Redeneringsruimtes in Grootte Taalmodellen

Probleemstelling

Grootte Taalmodellen (LLMs) verwerken identieke logische inferenties die tot uitdrukking komen in sterk verschillende oppervlaktevormen – variërend van Engelse proza en Chinese tekst tot Python-code en wiskundige notatie. Hoewel eerdere onderzoeken hebben aangetoond dat meertalige LLMs gedeelde interne representaties ontwikkelen over natuurlijke talen heen, is het nog onbekend of deze invariantie zich uitstrekt tot echt verschillende symbolische systemen. De centrale vraag is of LLMs een gemeenschappelijk intern substraat voor redenering bezitten dat specifieke symbolische coderingen (linguïstisch, formeel en structureel) overstijgt, en zo ja, of deze structuur causaal betrokken is bij de berekening en universeel is over architecturen heen.

Methodologie

De auteurs introduceren de TriForm-benchmark, een gecontroleerde dataset bestaande uit 324 stimuli afgeleid van 18 redeneringsconcepten (die zich uitstrekken over domeinen als rekenkunde, logica, relaties, causaliteit en ruimte). Elk concept wordt uitgedrukt in zes oppervlaktevormen, georganiseerd langs drie dimensies:

1. Linguïstisch: Engelse, Chinese en Franse proza.
2. Symbolisch: Python-code en wiskundige notatie.
3. Structureel: Gestructureerde stap-voor-stap data.

De studie evalueert vijf decoder-only LLMs (1,6B tot 8B parameters) uit drie architectuurfamilies (GPT, Qwen, Llama/Mistral) met behulp van het volgende analytische kader:

• Permutatie-correcte RSA: Om conceptniveau-structuur te identificeren, maken de auteurs gebruik van Representational Similarity Analysis (RSA) met permutatietests om correctie te brengen voor de non-onafhankelijkheid van paarsgewijze afstanden, waardoor conceptsignalen worden onderscheiden van oppervlaktevormsignalen.
• Cross-form probing: Ridge-geregulariseerde classifiers worden getraind op activaties uit één oppervlaktevorm om de conceptidentiteit in een andere te voorspellen, waarmee lineaire decodeerbaarheid over formaten wordt getest.
• Format-neuronentropie: Geïnspireerd door LAPE, kwantificeren de auteurs neuron-specificiteit door de entropie van activatieverdelingen over vormen te meten, waarbij neuronen worden geïdentificeerd die uniform activeren (formatonafhankelijk) versus die welke specifiek zijn voor bepaalde vormen.
• Subruimte-extractie (FARS): Een Formatonafhankelijke Redeneringsruimte wordt geëxtraheerd met behulp van conceptcentroïde Principal Component Analysis (PCA). Door activaties te middelen over alle vormen en instanties voor elk concept, isoleren de auteurs de top-$k$ hoofdcomponenten die conceptvariatie vastleggen terwijl vormvariatie wordt onderdrukt.
• Causale interventie: De studie maakt gebruik van activatiepatching en subruimte-ablatie.
  • Cross-form patching: Het vervangen van verborgen staten uit een bronvorm (bijvoorbeeld Engels) in een doelvorm (bijvoorbeeld Wiskunde) om behoud van output te meten.
  • Subruimte patching: Het vervangen van alleen de geprojecteerde FARS-componenten (10 dimensies) tijdens cross-form overdracht.
  • Subruimte ablatie: Het verwijderen van FARS-richtingen om de verstoring van modeloutput te meten.

Belangrijkste Resultaten

1. Bestaan van een Formatonafhankelijke Redeneringsruimte (FARS)

• Correlatief Bewijs: RSA onthult dat conceptniveau-signalen pieken in de middenlagen van alle modellen, en sterker worden met schaal. Hoewel oppervlaktevorm het dominante organiserende principe blijft (Form RSA $\rho \approx 0,43\text{--}0,53$), zijn conceptsignalen significant ($\rho \approx 0,10\text{--}0,20$) en groeien ze sneller met modelgrootte.
• Decodeerbaarheid: De nauwkeurigheid van cross-form probing overschrijdt significant het toevalsniveau (5,6%), met een maximum van 60,3% (Mistral-7B).
• Neuronenlocatie: Formatonafhankelijke neuronen concentreren zich in de middenlagen (20–23% van de neuronen), wat de verdeling van taalonafhankelijke neuronen uit eerdere cross-linguale studies weerspiegelt.

2. Causale Relevantie en Subruimte-efficiëntie

• Hoge-trouw Overdracht: Het vervangen van alleen de top 10 dimensies van de FARS-subruimte tijdens cross-form patching behoudt 90–96% van de top-10 token-output van het model.
• Vergelijking met Controles: Deze prestatie overtreft volledige activatievervanging (44–56%) en variantie-maximerende PCA-vervanging (60–74%) aanzienlijk.
• Ablatie: Het verwijderen van de FARS-subruimte veroorzaakt gerichte verstoring (lage KL-divergentie voor FARS versus hoge voor vormspecifieke richtingen), wat bevestigt dat deze specifieke dimensies causaal voldoende zijn voor cross-form redenering.
• Dimensionaliteit: De voor redenering relevante structuur is echt laagdimensionaal en bereikt een plateau bij $k=8\text{--}10$ componenten binnen een ruimte van 1600–4096 dimensies.

3. De Declaratief-Procedurele Asymmetrie

Een cruciale bevinding is de divergentie in compatibiliteit gebaseerd op de aard van het symbolische systeem in plaats van alleen de taal:

• Declaratieve Compatibiliteit: Patching tussen Engelse proza en wiskundige notatie behoudt 65–73% van de output.
• Procedurele Divergentie: Patching tussen Engelse proza en Python-code behoudt slechts 16–22% van de output.
• Conclusie: De kritische as van divergentie is niet "linguïstisch versus formeel" maar declaratief versus procedureel. Representaties zijn hoogst compatibel tussen declaratieve formaten (proza, wiskunde, gestructureerde data) maar aanzienlijk minder wanneer er een brug wordt geslagen naar procedurele coderingen (code).

4. Universaliteit en Convergentie

• Generalisatie: FARS geëxtraheerd uit een subset van concepten generaliseert naar vastgehouden concepten met een genadevolle degradatie.
• Cross-architectuur Convergentie: Verschillende modelfamilies convergeren naar dezelfde subruimtegeometrie. Cross-model Canonical Correlation Analysis (CCA) overschrijdt 0,79 voor alle paren, en centroïde RSA overschrijdt 0,77, wat bewijs levert binnen de modaliteit voor de Platonische Representatiehypothese.

Betekenis en Claims

Het artikel claimt de eerste systematische bewijzen te leveren dat LLMs een concreet, laagdimensionaal, formatonafhankelijk substraat voor redenering ontwikkelen dat causaal voldoende is voor cross-symbolische overdracht.

• Theoretische Bijdrage: De bevindingen ondersteunen de Platonische Representatiehypothese binnen een enkele modaliteit, wat suggereert dat representaties van abstracte redenering convergeren over verschillende symbolische coderingen heen.
• Mechanistisch Inzicht: De ontdekking van de declaratief-procedurele asymmetrie verfijnt het begrip van formatinvariantie, door een fundamentele grens te identificeren tussen declaratief redeneren (proza, wiskunde) en procedurele uitvoering (code) die eerder niet was gekarakteriseerd.
• Praktisch Nut: FARS biedt een concreet, extracteerbaar hulpmiddel (een 10-dimensionale basis) voor representatie-engineering. Het suggereert dat veiligheidsinterventies of stuurvectoren die in één declaratief formaat worden ontdekt (bijvoorbeeld Engels), via deze subruimte kunnen worden overgedragen naar andere (bijvoorbeeld Wiskunde), maar kunnen falen bij het overbruggen naar procedurele formaten (code), wat een potentieel veiligheidskloof benadrukt waar schadelijke redenering in code filters die op proza zijn getraind, kan omzeilen.

De auteurs wijzen op beperkingen, waaronder de evaluatie van alleen basismodellen, het supervised karakter van FARS-extractie en het gebruik van programmatisch gegenereerde stimuli, en erkennen dat de dimensionaliteit en geometrie van FARS in grotere of op instructies getrainde modellen open vragen blijven.