Cell-Based Representation of Relational Binding in Language Models

Probleemstelling

Het begrijpen van een discours vereist het bijhouden van entiteiten en de relaties die tussen hen bestaan. Hoewel Large Language Models (LLMs) goed presteren in relationeel redeneren, blijft de onderliggende mechanisme waarmee ze entiteiten, relaties en attributen aan elkaar "koppelen" (binden) onduidelijk. Bestaand onderzoek heeft zich voornamelijk gericht op zeer korte teksten met een beperkt aantal entiteiten, waardoor relationele binding op discours-niveau (meerdere zinnen, complexe structuren) grotendeels onontgonnen terrein is. De vraag is hoe LLMs deze complexe, meervoudige bindingen intern coderen en of dit gebeurt via een gestructureerde, interpreteerbare subspace.

Methodologie

De auteurs introduceren het concept van Cell-based Binding Representation (CBR) en valideren dit via een combinatie van lineaire proeven en causale interventies.

1. Data en Opzet:

   • Er zijn gecontroleerde, multi-zinsdiscoursen gegenereerd met meerdere entiteiten, relaties en attributen.
   • Elk attribuut is uniek gebonden aan een specifiek paar (entiteit, relatie).
   • Een Indexed Relational Scheme (IRS) wordt gebruikt om de data te annoteren: entiteiten krijgen een index $e_i$ en relaties een index $r_i$ op basis van hun volgorde in het discours. Attributen worden gekoppeld aan het paar $(e_i, r_i)$.

2. Identificatie van de CBR Subspace:

   • De auteurs gebruiken Partial Least Squares (PLS) regressie om een lineaire subspace te vinden in de activaties van het model (specifiek in een middenlaag, bijv. laag 15).
   • Het doel is om de activatievectoren van attribuut-tokens te projecteren op een laag-dimensionale ruimte die de indices $e_i$ en $r_i$ lineair decodeert.

3. Causale Interventies (Activation Patching):

   • Om de causaliteit te testen, manipuleren de auteurs de activaties in de geïdentificeerde CBR-subspace.
   • Ze "patchen" activaties langs de PLS-richtingen om te zien of dit de voorspellingen van het model systematisch verandert.
   • Er worden ook controlexperimenten uitgevoerd met willekeurige subspaces om te bewijzen dat het effect specifiek is voor de CBR-structuur.

4. Generalisatie en Stabiliteit:

   • Er wordt getest of de subspace consistent blijft over verschillende domeinen (bijv. landen, beroepen), modelarchitecturen (Llama3-8B, Qwen3-8B) en discours-patronen (verwarring van volgorde, ablatie van informatie).
   • Er wordt onderzocht of context-specifieke representaties met elkaar verbonden zijn via translatievectoren in de activatieruimte.

Kernbijdragen

• Ontdekking van CBR: Het paper toont aan dat LLMs relationele binding op discours-niveau coderen via een Cell-based Binding Representation. Dit is een laag-dimensionale, lineaire subspace met een roosterachtige (grid-like) structuur.
• Cellen als Indexparen: Elke "cel" in deze subspace correspondeert met een uniek paar van een entiteitsindex en een relatie-index $(e_i, r_i)$. Het model haalt het gebonden attribuut op uit de cel die overeenkomt met de query-entiteit en -relatie.
• Causaal Bewijs: Door activaties in deze subspace te manipuleren, kunnen de auteurs de output van het model systematisch sturen (bijv. het antwoord van "China" naar "Frankrijk" veranderen door de relatie-index te verschuiven). Dit bewijst dat de subspace causaal verantwoordelijk is voor het ophalen van relationele informatie.
• Semantische Integratie: De subspace is niet puur positioneel; hij behoudt ook semantische informatie. Attributen die aan semantisch vergelijkbare relaties zijn gebonden, vormen coherente blokken in de subspace.
• Cross-Context Transfer: Hoewel de exacte positie van de subspace per context verschilt, kunnen deze worden uitgelijnd via translatievectoren, wat suggereert dat er een gedeelde, hogere-orde structuur bestaat.

Resultaten

• Lineaire Decodeerbaarheid: PLS-modellen kunnen entiteits- en relatie-indices met bijna perfecte nauwkeurigheid ($R^2 \approx 1.0$) decoderen uit de activaties van attributen in een zeer laag aantal componenten (2-5).
• Visuele Structuur: Projecties van de activaties tonen een duidelijk roosterpatroon waar punten gescheiden zijn langs twee dominante richtingen: één voor entiteitsindices ($e_i$) en één voor relatie-indices ($r_i$).
• Causale Impact:
  • Perturbaties (verstoringen) langs de CBR-richtingen leiden tot een significante daling in de nauwkeurigheid van attribuutvoorspellingen.
  • Perturbaties langs willekeurige richtingen hebben nauwelijks effect.
  • "Steering" (sturen) van de indices in de input zorgt ervoor dat het model het verwachte, maar oorspronkelijk onjuiste, antwoord gaat voorspellen.
• Robuustheid: De CBR-structuur blijft stabiel onder verschillende discours-perturbaties (zoals het herschikken van zinsvolgorde of het verwijderen van attributen) en is consistent over verschillende model-families (Llama en Qwen).
• Toepassing: De methode presteert beter dan bestaande Hessian-gebaseerde methoden bij het identificeren van gebonden entiteiten in scenario's met stereotiepe bias.

Betekenis en Conclusie

Dit paper biedt een fundamenteel inzicht in hoe LLMs complexe discoursstructuren intern representeren. Het bewijst dat relationele binding niet willekeurig of puur oppervlakkig gebeurt, maar via een gestructureerde, composionele en laag-dimensionale subspace.

De bevindingen hebben belangrijke implicaties voor:

1. Interpreteerbaarheid: Het biedt een nieuwe manier om te monitoren hoe modellen feitelijke relaties onthouden en te begrijpen waarom ze soms fouten maken (bijv. door de subspace te verstoren).
2. Controle: Het stelt onderzoekers in staat om het redeneerproces van modellen te sturen door de CBR-activaties te manipuleren.
3. Theoretische Uitbreiding: Het breidt de "Linear Representation Hypothesis" uit van statische concepten naar dynamische, discourse-afhankelijke relationele bindingen.

Kortom, de auteurs tonen aan dat LLMs een soort "mentaal rooster" gebruiken om informatie te organiseren, waarbij elke cel een specifieke combinatie van "wie" (entiteit) en "wat" (relatie) vertegenwoordigt, en dat dit mechanisme causaal essentieel is voor hun vermogen tot relationeel redeneren.