Polar probe linearly decodes semantic structures from LLMs

Technische Samenvatting: De Polaire Sonde Decodeert Lineair Semantische Structuren uit LLM's

Probleemformulering
Het artikel adresseert de fundamentele vraag hoe Large Language Models (LLM's) concepten binden om complexe semantische structuren te vormen. Hoewel eerdere werken hebben aangetoond dat syntactische structuren (bijv. onderwerp-werkwoord afhankelijkheden) lineair kunnen worden gedecodeerd uit LLM-activaties met behulp van geometrische principes (Hewitt & Manning, 2019; Diego-Simon et al., 2024), blijft het onduidelijk of vergelijkbare principes van toepassing zijn op semantische binding. De auteurs veronderstellen dat LLM's het bestaan en het type relaties tussen entiteiten niet representeren via complexe, niet-lineaire mechanismen, maar via een eenvoudige geometrische code: de Euclidische afstand tussen entiteit-embeddings codeert het bestaan van een relatie, terwijl de relatieve richting het relatietype codeert.

Methodologie
Om deze hypothese te testen, introduceren de auteurs een Polaire Sonde, een lineaire transformatie die is getraind om LLM-lagenactivaties af te beelden in een sonderingsruimte waar het relationele graf kan worden hersteld.

1. Datasets: De studie maakt gebruik van een synthetische dataset die vijf verschillende semantische domeinen bestrijkt:

   • Euclidische domeinen: Variabele ordinaliteit (wiskundige variabelen), ruimtelijke lay-outs (2D objectarrangementen) en thematische rollen (sociale interacties).
   • Niet-Euclidische domeinen: Stamboomen (niet-commutatieve, veel-op-veel relaties) en metrokaarten (netwerkgebaseerde kortste paden).
   • Elke steekproef bestaat uit een natuurlijke taalbeschrijving van een relationele graf. Om te voorkomen dat het model oppervlakkige correlaties leert, wordt de volgorde van relaties en entiteiten gerandomiseerd en worden meerdere tekstuele beschrijvingen gegenereerd voor dezelfde graf.

2. Sonde-architectuur:

   • Structurele Verlies ($L_s$): Optimaliseert de Spearman-rangcorrelatie tussen de voorspelde matrix van paarsgewijze afstanden en de grondwaarheidsmatrix van kortste-padsafstanden van de semantische graf.
   • Hoekverlies ($L_a$): Optimaliseert de uitlijning tussen het verschilvector van twee entiteit-embeddings ($\delta_{ij}$) en een geleerde prototypevector ($p_r$) die specifiek is voor het relatietype $r$.
   • De sonde wordt onafhankelijk getraind op elke laag van diverse LLM's (Llama3-8B, OLMo-7B en de Pythia-familie).

3. Evaluatie:

   • Decodprestaties: Gemeten via Spearman's $\rho$ voor relatie-existentie (afstandsordening) en relatietype (richtingsuitlijning).
   • Generalisatie: Getest op Out-of-Distribution (OOD) entiteitsnamen en relaties oppervlaktevormen.
   • Causale Interventie: De auteurs interveniëren op de verborgen toestanden door activaties te sturen langs de geleerde prototype-richtingen om verschuivingen in downstream Vraag-Antwoord (QA) prestaties waar te nemen.
   • Correlatie: Sondelfouten worden gecorreleerd met de logit-probabiliteit van correcte antwoorden in QA-taken.

Belangrijkste Resultaten

• Lineaire Decodeerbaarheid: De ware semantische structuren kunnen lineair worden hersteld uit LLM-activaties. De Polaire Sonde decodeert succesvol zowel relatie-existentie als -type over alle vijf domeinen.
• Laag-ontwikkeling: De geometrische code is het meest prominent in de middenlagen van vooringestelde LLM's (piekend rond lagen 12–15 voor Llama3-8B). In willekeurig geïnitieerde modellen blijft de decodprestatie op het niveau van toeval, wat aangeeft dat de code ontstaat tijdens vooringestelling.
• Modelgrootte en Training: De prestaties schalen met modelgrootte (van 14M tot 6,9B parameters) en nemen toe met vooringestellingsstappen, wat suggereert dat de polaire code een geleerde vaardigheid is die afhankelijk is van modelcapaciteit en trainingsduur.
• Generalisatie: De sondes generaliseren naar nieuwe entiteiten en relaties oppervlaktevormen, hoewel de prestaties matig verslechteren bij OOD-entiteiten en aanzienlijk meer bij OOD-relatietypes. De prestaties nemen ook af naarmate het aantal entiteiten in de graf toeneemt, waarschijnlijk vanwege de uitbreidende combinatorische ruimte.
• Causale Invloed: Het sturen van de modelactivaties langs de geleerde prototype-richtingen veroorzaakt causaal verschuivingen in de waarschijnlijkheid van correcte antwoorden in QA-taken, wat bevestigt dat deze geometrische representaties functioneel relevant zijn voor het redeneren van het model.
• Disjunctie van Subruimten: De geleerde subruimten voor verschillende semantische domeinen zijn grotendeels disjunct in de activatieruimte, met de opmerkelijke uitzondering van ruimtelijke lay-outs en variabele ordinaliteit, die aanzienlijke overlap vertonen (wat de superpositiehypothese ondersteunt).

Betekenis en Claims
Het artikel claimt aan te tonen dat LLM's leren complexe semantische structuren op te bouwen door representaties te binden via een eenvoudig geometrisch principe. Specifiek breidt het het toepassingsgebied van lineaire sondes uit boven syntaxis naar een bredere klasse van gerichte, gelabelde grafen.

• Boven Syntaxis: In tegenstelling tot eerder werk dat beperkt was tot syntactische bomen, decodeert deze aanpak succesvol semantische structuren die niet per se boom-gestructureerd zijn en niet-Euclidische topologieën bevatten (bijv. stamboomen, metrokaarten), hoewel er enkele beperkingen zijn in nauwkeurigheid voor niet-commutatieve relaties.
• Boven Kennisretrieval: De studie richt zich op compositieve structuren die niet tijdens training konden worden gememoriseerd (vanwege gerandomiseerde entiteiten en relaties), en levert bewijs voor hoe modellen contextueel leren en binden.
• Symbolisch-Connectionistische Spanning: De bevindingen suggereren een oplossing voor de spanning tussen symbolische en connectionistische benaderingen, en stellen voor dat symbolische structuren binnen vectoriële systemen kunnen worden gerepresenteerd via lineaire subruimten en geometrische relaties.

De auteurs blijven bescheiden wat betreft de beperkingen van de methode, en merken op dat de Polaire Sonde afhankelijk is van lineaire afstanden en is toegesneden op Euclidische grafen. Bijgevolg kan het niet perfect volledige niet-commutatieve, veel-op-veel relaties of complexe kortste-padsafstanden vertegenwoordigen die voorkomen in niet-Euclidische domeinen, hoewel het lokale coherentie binnen deze domeinen wel vastlegt.