🤖 machine learning

Context Is King: How In-Context Specification Shapes the Geometry of Concepts

Dit artikel toont aan dat de geometrische structuur van concepten in grote taalmodellen dynamisch wordt bepaald door contextuele specificaties in plaats van door vaste vooraf getrainde priors, met het vermogen om deze priors helder te overschrijven en de opgelegde geometrie causaal te benutten, wat pas bij grotere modellen naar voren komt.

Oorspronkelijke auteurs: Elad David, Max Fomin

Gepubliceerd 2026-07-28

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Elad David, Max Fomin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te begrijpen hoe een gigantische, superintelligente robot denkt. Een lange tijd dachten wetenschappers dat er in de hersenen van deze robot een enorme, onveranderlijke bibliotheek met feiten zat. Als je naar de dagen van de week vroeg, haalde de robot een kant-en-klare, perfecte cirkel uit de planken waar maandag altijd naast dinsdag zit. Als je naar maanden vroeg, haalde hij een andere cirkel tevoorschijn. Dit idee suggereerde dat het brein van de robot als een statische kaart was, die voor altijd vaststond zodra hij gebouwd was, wachtend om geraadpleegd te worden wanneer er een vraag werd gesteld.

Maar wat als die bibliotheek niet zo rigide is als we dachten? Wat als de robot niet alleen een kaart opzoekt, maar ook een nieuwe kaart tekent elke keer dat je met hem praat, gebaseerd op precies wat je net zei? Dit is de grote vraag die wetenschappers stellen over "Large Language Models" (de chique naam voor deze gigantische AI-robots). Ze willen weten: is het begrip van de robot van de wereld een permanente, opgeslagen feit, of is het een flexibele vorm die verandert afhankelijk van het gesprek? Het begrijpen hiervan helpt ons te ontdekken of deze robots echt dingen "weten" of dat ze gewoon ongelooflijk goed zijn in het volgen van de regels van het moment.

De Grote Ontdekking van het Papier: De "Context is King"-regel

Een team onderzoekers bij Zenity besloot dit idee te testen met een leuke, lichtelijk ondeugende experiment. Ze stelden een simpele vraag: als je een robot een volledig verzonnen regel vertelt over hoe de wereld werkt, zal hij je dan geloven, of houdt hij vast aan wat hij eerder heeft geleerd?

Ze namen modellen zoals Gemma en Qwen (die als zeer geavanceerde versies van de eerder genoemde robots kunnen worden beschouwd) en gaven ze een "hergedefinieerde" kalender. Stel je voor dat je de robot vertelt: "Hey, vergeet alles wat je weet. In deze nieuwe wereld is de enige geldige volgorde van de dagen woensdag, dan maandag, en dan vrijdag." Ze gaven de robot geen voorbeelden om van te leren; ze verkondigden de regel simpelweg als een feit.

Het Schokkende Resultaat: De robot deed niet alleen alsof hij de regel volgde; hij herbedrad de werkelijkheid in zijn brein om erbij te passen.

Toen de onderzoekers in het "brein" van de robot keken (specifiek naar de wiskundige patronen die hij creëert vlak voordat hij antwoordt), ontdekten ze iets verbazingwekkends. De robot zei niet alleen de woorden "woensdag, maandag, vrijdag". Hij arrangeerde de concepten van die dagen daadwerkelijk in een gloednieuwe vorm in zijn brein die overeenkwam met de nieuwe regel.

De Oude Visie: De robot heeft een vaste cirkel van dagen.
De Nieuwe Visie: De robot tekent ter plekke een nieuwe vorm. Als je hem vertelt dat de dagen in een cirkel staan, vormen ze een cirkel. Als je hem vertelt dat ze in een rechte lijn staan, vormen ze een lijn. Als je hem vertelt dat ze een stamboom zijn, worden ze een boom.

Het papier noemt dit "Context is King". Het belangrijkste is niet wat de robot in het verleden heeft geleerd (zijn "pretrained prior"), maar wat je hem nú vertelt (de "in-context specification"). Het brein van de robot is zo flexibel dat wanneer je een sterke nieuwe regel geeft, de nieuwe vorm die hij bouwt de oude opgeslagen structuur domineert. De oude kaart verdwijnt niet voor altijd; hij is nog steeds echt en opgeslagen in de gewichten, maar op het moment dat de context ermee in strijd is, schakelt de robot over naar de nieuwe, door de context gedefinieerde kaart.

Hoe Ze Het Bewezen Hadden (De "Grote Truc")

Om er zeker van te zijn dat de robot niet gewoon aan het bluffen was, deden de onderzoekers een "causal patching" experiment. Dit is als een goocheltruc waarbij je het brein van het ene personage vervangt door dat van een ander om te zien wat er gebeurt.

Ze vertelden de robot de nieuwe, vreemde volgorde van de dagen.
Ze namen het "hersensignaal" voor de dag "maandag" en wisselden dit om met het signaal voor "woensdag".
Ze vroegen de robot: "Wat komt er na maandag?"

Als de robot alleen een opgeslagen lijst zou opzoeken, zou hij in de war zijn geraakt of het verkeerde antwoord hebben gegeven. Maar omdat de robot een nieuwe kaart had gebouwd op basis van jouw regel, antwoordde hij op basis van de nieuwe kaart. Hij zei dat de dag na "maandag" de dag was die volgens de nieuwe regel na "maandag" kwam, zelfs al gedroeg "maandag" zich nu als "woensdag". Dit bewees dat de robot daadwerkelijk de nieuwe vorm gebruikte die hij zojuist had gebouwd, en niet alleen oude feiten reciteerde.

De Kanttekening: Het Hangt Af van de Grootte van de Robot

Hier zit de twist: niet alle robots zijn even goed in dit. De onderzoekers ontdekten dat dit vermogen om volledig een nieuwe wereldkaart te hertekenen sterk afhangt van de grootte van de robot.

De Grote Robots (zoals Gemma-31B en Qwen-27B): Dit zijn de superintelligente robots. Zij kunnen jouw nieuwe regel horen, de oude kaart overrulen en een perfecte, heldere nieuwe vorm tekenen. In directe, simpele prompts volgen ze de nieuwe volgorde met bijna perfecte nauwkeurigheid (ze halen 100% succes in tests). Echter, zelfs voor deze grote modellen kan de prestatie dalen als de taak moeilijker wordt (zoals het nemen van veel stappen in de nieuwe volgorde) of als ze de ruimte krijgen om vrijuit na te denken zonder strikte instructies.
De Kleine Robots (zoals Gemma-2B of Qwen-4B): Dit zijn de jongere, kleinere modellen. Ze kunnen de regel horen en proberen een nieuwe vorm te tekenen, maar het is slordig. Het is alsof ze proberen een perfecte cirkel te tekenen met een trillende hand. Ze begrijpen misschien het algemene idee, maar ze kunnen hun oude herinneringen niet volledig loslaten. Soms raken ze zelfs in de war en vallen ze terug op de oude manier van denken, of slagen ze er helemaal niet in om een bruikbare kaart te bouwen.

Het papier suggereert dat het "bouwen" van een nieuwe vorm makkelijk is, zelfs voor kleine robots, maar het "gebruiken" van die vorm perfect en helder is een vaardigheid die alleen met grootte komt. Het is zoals hoe een kind een nieuw spel kan leren, maar alleen een meester het perfect kan spelen zonder fouten te maken.

Wat Dit Betekent voor de Toekomst

Deze studie verandert hoe we over AI denken. Het suggereert dat deze modellen geen enkel, vaststaand "wereldbeeld" in zich hebben opgesloten. In plaats daarvan is hun begrip van de wereld vloeibaar. Het is als een kameleon die niet alleen van kleur verandert om bij de achtergrond te passen, maar om bij het verhaal dat jij vertelt.

Als je een capabele AI vertelt dat de wereld plat is, kan hij zijn gedachten tijdelijk zo ordenen alsof de wereld plat is. Als je hem vertelt dat de dagen van de week een boom zijn, zal hij een boom bouwen. De "waarheid" binnen de AI is geen statisch feit; het is een berekening die op dat moment plaatsvindt, gevormd door het gesprek.

De onderzoekers zijn voorzichtig in hun bewering dat ze niet precies weten hoe de robot deze vormen vanaf nul opbouwt, of dat hij slechts oude meubels aan het verplaatsen is. Maar één ding is duidelijk: de robot luistert naar je, en hij verandert van gedachten om bij jouw verhaal te passen. De context die je biedt is de koning, en de robot is zijn vormveranderende onderdaan.

Technische Samenvatting: Context is King: Hoe In-Context Specificatie de Geometrie van Concepten Vormgeeft

Probleemstelling

Huidig interpretatieonderzoek stelt vaak dat Large Language Models (LLM's) gestructureerde concepten opslaan als vaste geometrische manifolds binnen hun gewichten (bijv. weekdagen die een cirkel vormen, maanden die een andere vormen). Deze "lineaire representatiehypothese" suggereert dat semantische relaties overeenkomen met vaste verplaatsingen of topologische vormen die tijdens de pretraining zijn geleerd en tijdens inferentie worden opgehaald. Het blijft echter onduidelijk of deze geometrische structuren intrinsieke, statische eigenschappen van het model zijn of dynamische assemblages die on-demand worden geconstrueerd op basis van de input-context. Specifiek: zorgt een conflicterende in-context specificatie enkel voor een verschuiving van de positie van een concept binnen een vaste manifold, of herconfigureert het fundamenteel de topologie van de representatie zelf?

Methodologie

De auteurs onderzoeken dit door een directe strijd af te dwingen tussen de gepretrainde priors van een model en een declaratieve in-context specificatie.

1. Experimenteel Framework:

In-Context Specificatie: De auteurs definiëren een "specificatie" als een declaratieve regel die relaties tussen een set entiteiten stelt zonder voorbeelden (exemplars) te geven. Dit kan een volgorde zijn (bijv. "De enige geldige volgorde is: Woensdag, Maandag...") of een hiërarchie (bijv. "P is de ouder van A en B").
Conflictregime: De studie legt specificaties op die de natuurlijke verstandhouding van het model tegenspreken (bijv. het herdefiniëren van de volgorde van weekdagen of het toepassen van een hiërarchische structuur op cyclische concepten).
Entiteiten: Experimenten behandelen sterke cyclische priors (weekdagen, maanden, klokuren), zwakke priors (sterrenbeelden), niet-cyclische priors (muzikale noten) en willekeurige, betekenisloze tokens.
Oppervlaktevormen (Surface Forms): Specificaties worden gepresenteerd als genummerde lijsten of nabijheidsranden (adjacency edges), met of zonder een "wrap"-rand om een cyclus te sluiten.

2. Meting en Analyse:

Representational Similarity Analysis (RSA): De primaire metriek is de Spearman-correlatie tussen de Representational Dissimilarity Matrix (RDM) van entiteit-centroids (geëxtraheerd uit de residual stream bij het laatste token vóór generatie) en een theoretisch sjabloon (bijv. cyclische afstand of boomdiepte). Cruciaal is dat centroids gemiddeld zijn gecentreerd om anisotrope richtingen in de residual stream te verwijderen.
Activation Patching: Om causaliteit vast te stellen, voeren de auteurs entiteits-substitutie patching uit. Ze overschrijven de residual activatie van een entiteit ( $E_{orig}$ ) met die van een andere entiteit ( $E_{patch}$ ) uit dezelfde context en observeren of de output van het model de opvolger volgt van de gepatchte entiteit volgens de door de context opgelegde volgorde, in plaats van de gepretrainde volgorde.
Scale Sweep: De studie evalueert acht instructie-getunede modellen over drie families (Gemma, Qwen, Llama) variërend van 2B tot 31B parameters om te bepalen hoe de schaal van het model de vorming en het gebruik van deze geometrieën beïnvloedt.

Belangrijkste Bijdragen en Resultaten

1. Context Bepaalt het Type Topologie, Niet Alleen de Positie
Het artikel demonstreert dat de in-context specificatie de topologie van de conceptgeometrie bepaalt, en niet louter een verschuiving binnen een vaste vorm.

Topologie-wisseling: Wanneer een declaratieve regel een hiërarchie definieert, reorganiseert de geometrie van de entiteiten (zelfs cyclische zoals weekdagen) zich tot een op diepte gestratificeerde boom. Omgekeeld dwingt een cyclische regel een boomstructuur om in een ring.
Willekeurige Tokens: Dit effect treedt zelfs op bij willekeurige, betekenisloze tokens waar geen pretrained prior aanwezig is, wat bewijst dat de geometrie wordt gebouwd vanuit de specificatie in plaats van opgehaald te worden.
Bewijs: In Gemma-31B levert een opgelegde hiërarchie op weekdagen een diepte-RSA van +0,67 op, terwijl een opgelegde cyclus een cyclische-RSA van +0,72 oplevert. De effectieve dimensionaliteit verschuift dienovereenkomstig (van ~4,8 voor een natuurlijke ring naar ~1,8 voor een opgelegde boom).

2. Context-Set Geometrie Domineert Gepretrainde Priors
Wanneer de context botst met een sterke gepretrainde prior, domineert de context-set geometrie.

Dominantie: In capabele modellen (Gemma-31B, Qwen-27B) is de RSA naar de opgelegde volgorde hoog (+0,80 tot +0,90), terwijl de RSA naar de natuurlijke, gepretrainde volgorde naar bijna nul daalt (bijv. -0,03 voor dagen).
Causaal Gebruik: Activation patching bevestigt dat deze geometrie causaal wordt gebruikt. Wanneer de activatie van een entiteit wordt verwisseld, volgt het antwoord van het model de opvolger die gedefinieerd is door de door de context opgelegde kaart, en niet de gepretraide kaart. Deze "dubbele dissociatie" (het volgen van de opgelegde volgorde in een opgelegde context en de natuurlijke volgorde in een natuurlijke context) sluit een eenvoudige lookup van een vaste tabel uit.

3. Schaal-gestuurde Getrouwheid: Vormen versus Gebruiken
Het vermogen om een ruwe geometrie te vormen is aanwezig zelfs in kleine modellen, maar het vermogen om deze helder en getrouw te gebruiken is schaal-gestuurd.

Kleine Modellen: Modellen zoals Gemma-2B of Qwen-9B kunnen een ruwe opgelegde geometrie vormen (het klaren van nullen), maar de kaart is vaak "lek" of eenzijdig. Bijvoorbeeld: patching beïnvloedt de output misschien wel onder de opgelegde context, maar faalt bij het wisselen onder de natuurlijke context, of de geometrie is een zelfkruisende ring in plaats van een zuivere cyclus.
Grote Modellen: Zuivere, doorloopbare kaarten en volledige causale dubbele dissociatie ontstaan pas in grotere modellen (Gemma-12B/31B, Qwen-27B).
Implicatie: Een mechanisme dat aanwezig is in een groot model (getrouwe context-afhankelijke geometrie), kan afwezig of fundamenteel anders zijn in een kleiner model van dezelfde familie.

4. Lokalisatie van het Mechanisme
De studie lokaliseert de vorming van deze kaart tot een mid-network stadium (ongeveer 0,45–0,75 diepte).

Identiteit naar Binding: Vroege lagen coderen token-identiteit, maar tegen de mid-network fase wordt de identiteit gebonden aan de door de context opgelegde positie. Patching op deze mid-layers is het meest effectief in het sturen van de output.

Betekenis en Claims

Het artikel claimt dat de geometrische structuur van concepten in LLM's geen vaste, intrinsieke eigenschap is die in de gewichten is opgeslagen, maar een berekening die door de context wordt ingesteld.

Herformulering van "Wereldmodellen": Hoewel modellen wereldmodel-achtige structuren kunnen opslaan, zijn dit niet de enige of finale representaties die tijdens inferentie worden gebruikt. De "geometrie die het model gebruikt" is de geometrie die door de context wordt gespecificeerd, zelfs als dit de opgeslagen prior tegenspreekt.
Mechanistisch versus Instructioneel: Dit is een mechanistisch fenomeen, niet louter instructie-opvolging. Het type topologie verandert op commando, vormt zich op tokens zonder voorafgaande kennis, en flipt onder causale edities.
Waarschuwing bij Transfer: De bevindingen suggereren dat circuit-level interpretatie en geometrische eigenschappen waargenomen in kleine modellen mogelijk niet overdraagbaar zijn naar grotere modellen. Kleine modellen kunnen een ruwe benadering van een context-set kaart vormen, maar de zuivere, causaal opererende geometrie is een capaciteit die emergeert met schaal.

De auteurs concluderen dat teruggevonden "wereldmodel"-geometrieën gelezen moeten worden als context-afhankelijk in plaats van intrinsiek, en dat het gedrag van het model wordt gedreven door een kaart die on-demand wordt geconstrueerd vanuit de specificatie.