Hypothesis-Driven Feature Manifold Analysis in LLMs via Supervised Multi-Dimensional Scaling

Titel: Hypothesegedreven Analyse van Feature-variëteiten in LLM's via Supervised Multi-Dimensional Scaling

Publicatie: Transactions on Machine Learning Research (TMLR), februari 2026.
Auteurs: Federico Tiblias et al. (TU Darmstadt, UKP Lab).

1. Het Probleem

Recente onderzoek in mechanistische interpretabiliteit suggereert dat taalmodellen (LLM's) concepten coderen als gerichte vectoren in hun latente ruimte, die georganiseerde, multidimensionale structuren vormen, bekend als feature-variëteiten (feature manifolds). Eerdere studies hebben zich voornamelijk gericht op het identificeren van specifieke geometrieën voor individuele kenmerken (bijv. dat dagen van de week een cirkelvormige structuur vormen).

Er zijn echter fundamentele lacunes in het huidige begrip:

• Het is onduidelijk of en hoe LLM's deze variëteiten daadwerkelijk gebruiken tijdens redenering.
• Bestaande methoden voor dimensiereductie (zoals PCA, LDA, PLS) maken vaak vaste structurele aannames, wat het moeilijk maakt om te vergelijken welke geometrische hypothese het beste past bij de data.
• Er ontbreekt een robuuste, kwantitatieve methode om te bepalen welke geometrie (cirkel, lijn, cluster, etc.) het best de onderliggende representatie van een taak beschrijft.

2. Methodologie: Supervised Multi-Dimensional Scaling (SMDS)

De auteurs introduceren SMDS, een model-onafhankelijke methode om concurrerende hypothesen over de geometrie van feature-variëteiten te evalueren en te vergelijken.

• Kernprincipe: SMDS reframet het identificeren van een variëteit als een modelselectieprobleem. In plaats van een geometrie te "ontdekken", test het een reeks vooraf gedefinieerde geometrische hypothesen (bijv. cirkel, lijn, logaritmische lijn, cluster).
• Werkingsprincipe:
  1. De methode gebruikt labels (bijv. datum, tijd) om een "ideale" geometrie te definiëren via een afstandsfunctie $d(y_i, y_j)$.
  2. Het leert een lineaire projectie $W$ die de hoge-dimensionale hidden states van het model zo goed mogelijk afbeeldt op deze ideale geometrie.
  3. De kwaliteit van de fit wordt gemeten met een stress-metric (gebaseerd op de afwijking tussen de projectie en de ideale afstanden). Een lagere stress betekent een betere match.
• Voordeel: In tegenstelling tot PCA of LDA, kan SMDS willekeurige geometrische structuren specificeren en kwantitatief vergelijken welke het meest waarschijnlijk is.

3. Experimentele Opzet

• Taak: De studie focust op temporeel redeneren (bijv. "Wie is het oudst?", "Wanneer eindigt de workshop?") omdat dit een ideale testomgeving biedt voor variëteit-analyse.
• Data: Vijf synthetische datasets met variabele tijdsuitdrukkingen (data, duur, periodieke gebeurtenissen, tijdstippen).
• Modellen: Verschillende LLM-families en groottes, waaronder Qwen2.5, Llama-3.2, en Gemma-2 (van 2B tot 70B parameters), zowel in base- als instructie-getuned versies.
• Analyse: De auteurs analyseren activaties op verschillende posities in de prompt (tijdsuitdrukking, prompt-einde, antwoordtoken) en door de lagen van het model heen.

4. Belangrijkste Bevindingen

De studie levert drie hoofdbevindingen op:

F1: Intuïtieve en gedeelde geometrische structuren

• Temporele entiteiten vormen variëteiten met intuïtieve structuren die consistent zijn over verschillende modelarchitecturen en groottes.
• Cyclische concepten (zoals maanden of tijdstippen) vormen cirkels.
• Monotone concepten (zoals duur of jaartallen) vormen lijnen of logaritmisch gecomprimeerde lijnen.
• Categorische concepten vormen clusters.
• Dit bevestigt dat modellen convergeren naar vergelijkbare interne representaties, ongeacht hun grootte.

F2: Dynamische aanpassing aan context en taak

• Feature-variëteiten zijn niet statisch; ze passen zich dynamisch aan afhankelijk van de taak en de prompt.
• Bijvoorbeeld: Dezelfde context (data van geboorte) leidt tot een cirkelvormige variëteit als de vraag gaat over de volgorde in een jaar, maar tot een cluster-gebaseerde variëteit als de vraag gaat over het seizoen.
• Dit suggereert dat het model intern de representatie herschikt om de specifieke redeneertaken (regressie vs. classificatie) te ondersteunen.

F3: Actief gebruik van variëteiten voor redenering

• Er is causaal bewijs dat LLM's deze structuren actief gebruiken:
  1. Interventie: Het toevoegen van ruis aan de geïdentificeerde variëteit-subruimtes leidt tot een significante daling in redeneerprestaties, terwijl ruis in willekeurige subruimtes weinig effect heeft.
  2. Correlatie: De kwaliteit van de variëteit (gemeten door stress) correleert significant met de downstream prestaties van het model. Modellen die beter redeneren, hebben ook beter georganiseerde variëteiten.

5. Uitbreiding en Generalisatie

De auteurs tonen aan dat SMDS uitbreidbaar is:

• Meerdimensionale variëteiten: Ze reconstrueerden een 2D-variëteit die zowel duur als startdatum combineert.
• Ruimtelijk redeneren: Toepassing op geografische data (steden) toonde aan dat modellen een sferische variëteit gebruiken om aarde-locaties weer te geven, wat beter past dan een vlakke projectie.

6. Significantie en Bijdrage

• Methodologische doorbraak: SMDS biedt een gestandaardiseerde, kwantitatieve manier om hypothesen over de interne structuur van LLM's te testen, wat een gat opvult in bestaande dimensiereductietechnieken.
• Mechanistisch inzicht: De studie ondersteunt een model van entiteit-gebaseerd redeneren, waarbij LLM's gestructureerde representaties coderen, transformeren op basis van de context, en vervolgens een antwoord selecteren.
• Robuustheid: De bevindingen zijn robuust over verschillende modelgroottes en families, wat suggereert dat deze geometrische patronen fundamenteel zijn voor hoe taalmodellen kennis structureren.
• Toekomstperspectief: De methode opent de deur voor het sturen van modellen (model steering) en het begrijpen van hoe complexe, meervoudige features samenkomen in hogere dimensies.

Conclusie:
Het paper demonstreert dat "vorm gebeurt" (shape happens) in LLM's. Feature-variëteiten zijn niet slechts artefacten, maar functionele structuren die essentieel zijn voor redenering. Door SMDS kunnen onderzoekers nu systematisch testen welke geometrische vormen deze kennis het beste beschrijven, wat leidt tot een dieper begrip van de "black box" van moderne taalmodellen.