Technische Samenvatting: Geometrisch Feitelijke Herinnering in Transformers

Probleemstelling

Grote Taalmodellen (LLMs) beschikken over het vermogen om enorme verzamelingen feitelijke associaties op te slaan en op te halen. Een centrale vraag bij het begrijpen van dit vermogen is hoe transformer-architecturen deze associaties memoriseren. Bestaande theoretische kaders modelleren dit vaak als een associatief geheugen-probleem, waarbij interne gewichtsmatrices (specifiek MLP's of attentiemechanismen) paren van input-output-embeddings opslaan als willekeurige, bijna-orthogonale vectoren. In dit perspectief schaalt het aantal parameters dat nodig is om $N$ feiten te memoriseren lineair met $N$.

Empirische observaties suggereren echter een ander mechanisme: transformers kunnen geometrische memorisatie gebruiken, waarbij geleerde embeddings de relationele structuur van de data direct coderen. Dit artikel onderzoekt of transformers feitelijke associaties efficiënter kunnen memoriseren door de embedding-ruimte geometrisch te structureren, in plaats van te vertrouwen op brute-force associatieve opslag. De auteurs richten zich op een gecontroleerde setting met $N$ onderwerpen, $R$ relaties en een gedeelde set attributen, waarbij het model het attribuut moet voorspellen dat geassocieerd is met een onderwerp-relatie paar, of deze relaties moet combineren in multi-hop queries (bijvoorbeeld: "Wie is de moeder van de vrouw van $x$?").

Methodologie

Het artikel combineert theoretische constructie met empirische verificatie op synthetische en real-world data.

Theoretisch Kader

De auteurs analyseren de capaciteit van transformers om taken voor feitelijke herinnering op te lossen wanneer embeddings worden behandeld als leerbare parameters. Zij onderscheiden tussen twee regimes:

1. Single-Hop Herinnering: Het voorspellen van een attribuut gegeven een onderwerp en een relatie.
2. Multi-Hop Herinnering: Het sequentieel combineren van $k$ relaties zonder tussenliggende outputs (directe voorspelling) versus met Chain-of-Thought (CoT).

De theoretische analyse vertrouwt op het construeren van expliciete oplossingen voor transformers met leerbare embeddings. Cruciaal voor deze constructies is het gebruik van lineaire superposities binnen onderwerp-embeddings. In plaats van feiten op te slaan als distincte, orthogonale vectoren, wordt een onderwerp-embedding geconstrueerd als een blokvectoren die de representaties van al zijn $R$ mogelijke attributen bevat. De MLP fungeert dan niet als een zoektabel, maar als een relatie-geconditioneerde selector die het relevante attributenblok extrahert via ReLU-gating.

De auteurs leiden ook informatie-theoretische ondergrenzen af voor het aantal parameters en de embedding-dimensie die nodig zijn voor $k$-hop herinnering, gebruikmakend van telargumenten over $R$-regelige rand-gekleurde grafen.

Empirische Opzet

Om te verifiëren of gradiëntafstapeling deze theoretische structuren ontdekt, voeren de auteurs uitgebreide experimenten uit op synthetische data:

• Dataset: $N=4096$ onderwerpen met $R \in \{2, \dots, 16\}$ relaties, die映射en naar een gedeelde attributenpool.
• Architectuur: Enkel-laags transformers met uniforme of geleerde attentie en twee-laags MLP's.
• Controles: Experimenten vergelijken modellen met leerbare embeddings met een controle waarbij input-entiteit-embeddings bevroren zijn bij willekeurige initialisatie (het nabootsen van het regime met vaste embeddings van eerdere werken).
• Analyse: Post-training analyses omvatten lineaire readouts om te controleren op superpositiestructuren, causale interventies om MLP-selectiviteit te testen, en "freeze-and-swap" transfer-experimenten om de generaliteit van het geleerde mechanisme te testen.
• Real-world Probing: De auteurs onderzoeken vooraf getrainde LLM's (zoals Qwen, Llama, Phi) om te zien of onderwerp-verborgen staten lineaire relationele codering vertonen die vergelijkbaar is met hun theoretische voorspellingen.

Belangrijkste Bijdragen

1. Logaritmische Memoriseren met Gedeelde Attributen

Het artikel bewijst dat een enkel-laags transformer $N \times R$ feiten kan memoriseren met een embedding-dimensie $d = O(R \log N)$, mits de MLP klein is en relatie-geconditioneerd.

• Mechanisme: Onderwerp-embeddings coderen lineaire superposities van hun $R$ geassocieerde attributenvectoren.
• Rol van de MLP: De MLP fungeert als een selector die het specifieke attributenvector extrahert dat overeenkomt met de gevraagde relatie via ReLU-gating, in plaats van de mapping op te slaan in zijn gewichten.
• Betekenis: Dit reduceert de vereiste embedding-dimensie van lineair in $N$ (zoals in modellen voor associatief geheugen) naar logaritmisch, zonder de grootte van de MLP op te blazen.

2. Capaciteit-Diepte Trade-off voor Multi-Hop Herinnering

De auteurs stellen een fundamentele trade-off vast voor $k$-hop feitelijke herinnering zonder Chain-of-Thought (CoT):

• Zonder CoT: Het oplossen van $k$-hop queries vereist óf een embedding-dimensie exponentieel in $k$ ($d = \tilde{O}(R^k)$) óf een MLP-breedte lineair in het aantal feiten ($O(N \cdot R)$). Dit wordt bewezen via een informatie-theoretische ondergrens (Stelling 4.2) die aantoont dat zonder tussenliggende outputs het model de volledige evaluatieboom in een enkele verborgen staat moet coderen.
• Met CoT: Het toestaan dat het model tussenliggende relationele stappen uitbrengt (Chain-of-Thought) doorbreekt deze bottleneck. Een enkel-laags transformer met $d = \tilde{O}(R + k)$ en MLP-breedte $\tilde{O}(R)$ is voldoende voor elke $k$. CoT reduceert het multi-hop-probleem effectief tot een reeks single-hop problemen, waardoor de noodzaak om de volledige $k$-hop boom in de embedding-ruimte op te slaan wordt omzeild.

3. Empirische Verificatie van Geometrische Structuur

De experimenten bevestigen dat gradiëntafstapeling de voorspelde geometrische structuren op natuurlijke wijze ontdekt:

• Capaciteitsdrempel: De drempel $d = \Theta(R \log N)$ wordt empirisch waargenomen voor leerbare embeddings, terwijl bevroren embeddings $d = \Theta(N^R)$ vereisen (of vergelijkbare polynoomschaling), wat het theoretische voordeel van gestructureerde embeddings bevestigt.
• Superpositie: Lineaire readouts tonen aan dat onderwerp-embeddings goed worden benaderd als lineaire superposities van attributenvectoren.
• Generieke Selectie: Causale interventies bevestigen dat de MLP fungeert als een relatie-specifieke selector. Cruciaal: wanneer onderwerp-embeddings opnieuw worden geïnitieerd om nieuwe willekeurige bjecties te coderen, bereikt de bevroren MLP hoge zero-shot nauwkeurigheid. Dit demonstreert dat de MLP een generiek selectiemechanisme heeft geleerd, en geen memorisatie van specifieke feiten.

Betekenis en Beweringen

Het artikel claimt een theoretisch en empirisch verslag te geven van geometrische feitelijke memorisatie in transformers, en biedt een alternatief voor de heersende visie op associatief geheugen.

• Efficiëntie: Door embeddings te structureren om relationele topologie direct te coderen, kunnen transformers feitelijke herinnering bereiken met aanzienlijk minder parameters (logaritmisch in $N$) in vergelijking met modellen voor associatief geheugen met willekeurige embeddings.
• Mechanisme van Herinnering: De bevindingen suggereren dat feitelijke herinnering wordt geïmplementeerd via gestructureerde geometrische representaties waarbij de MLP dient als een generieke, relatie-geconditioneerde selector. Dit verklaart waarom modellen kunnen generaliseren naar nieuwe feiten als de embedding-ruimte op de juiste manier opnieuw wordt geïnitieerd, aangezien het selectiemechanisme is ontkoppeld van de specifieke factwaarden.
• Rol van Chain-of-Thought: Het werk biedt een theoretische verklaring voor de effectiviteit van Chain-of-Thought in multi-hop redenering. Het demonstreert dat CoT de capaciteitsbottlenecks inherent aan directe $k$-hop voorspelling omzeilt door de berekening te verdelen over autoregressieve stappen, waardoor ondiepe modellen diepe redeningstaken kunnen oplossen.
• Real-world Relevantie: De observatie van lineaire relationele codering in vooraf getrainde LLM's suggereert dat deze geometrische mechanismen niet louter theoretische artefacten zijn, maar aanwezig zijn in modellen die zijn getraind op natuurlijke taal, en mogelijk fenomenen verklaren zoals de lineariteit van relatie-decodering die is waargenomen in eerdere empirische werken.

De auteurs houden een bescheiden standpunt, met de opmerking dat hun setting relaties behandelt als ondeurdringbare tokens en attributen als willekeurige entiteiten, terwijl real-world kennis rijke semantische structuren omvat. Zij suggereren dat het uitbreiden van dit geometrische verslag naar data met dergelijke regulariteiten een richting is voor toekomstig werk.