Language Models Struggle to Use Representations Learned In-Context

1. Probleemstelling

Hoewel Large Language Models (LM's) indrukwekkende vaardigheden hebben aangetoond in next-token predictie en complex redeneren, blijft er een kritieke kloof bestaan in hun vermogen om te fungeren als echt aanpasbare kunstmatige agenten. Specifiek onderzoekt het artikel of LM's flexibel kunnen inzetten rijke, gestructureerde representaties van data die volledig in-context zijn geleerd (d.w.z. zonder parameter-updates) om nieuwe downstream-taken op te lossen.

Vorig werk (Park et al., 2025a) stelde vast dat LM's nieuwe semantics kunnen coderen in hun latente verborgen staten wanneer ze worden blootgesteld aan een specifieke context (bijvoorbeeld het leren van de topologie van een random walk). Het is echter onduidelijk of deze representaties inert zijn (decoderbaar maar ongebruikt) of flexibel inzetbaar (causaal sturend voor antwoorden op nieuwe taken). De kernvraag is: Kan een LM een structuur in-context leren en die structuur vervolgens actief gebruiken om een andere taak op te lossen die dezelfde structuur vereist?

2. Methodologie

De auteurs ontwierpen een reeks experimenten met synthetische taken om codering (het leren van de representatie) te ontkoppelen van inzet (het gebruiken van de representatie).

A. Kerntaak: Graph Tracing & In-Context Representation Learning (ICRL)

• Opzet: Modellen krijgen een reeks willekeurige tokens gepresenteerd die zijn gegenereerd door een random walk over een latente statenruimte (topologieën omvatten 1D-lijnen en 2D-roosters van 16 of 25 staten).
• Meting: De auteurs gebruiken Dirichlet Energy (DE) en Distance Correlation (DC) om te meten of de verborgen lagenrepresentaties van het model zich hebben geherorganiseerd om de geometrische topologie van de statenruimte te reflecteren.
• Doel: Bevestigen dat het model de topologie succesvol leert in zijn latente ruimte.

B. Experiment 1: Next-Token Prediction met Vertraging

• Doel: Testen of de geleerde topologie kan worden gebruikt om de volgende token te voorspellen na een vertraging.
• Voorwaarden:
  1. Prefilled: De random walk-reeks wordt gepresenteerd als onderdeel van het eigen gegenereerde antwoord van het model (onmiddellijke inzet).
  2. Instruction: De reeks wordt verstrekt in de gebruikersprompt, waarbij het model een [ANSWER]-token moet genereren en vervolgens het volgende woord moet voorspellen na een gat (vertraagde inzet).
• Hypothese: Als representaties flexibel zijn, zou de prestatie in beide voorwaarden vergelijkbaar moeten zijn. Als ze inert zijn, zou de prestatie in de Instruction-voorwaarde aanzienlijk moeten dalen.

C. Experiment 2: Adaptive World Modeling (AWM)

• Doel: Een nieuwe taak ontworpen om het model te dwingen de geleerde topologie te gebruiken om een transformatieregel af te leiden.
• Opzet:
  1. Fase 1: Het model observeert een random walk (leren van de topologie).
  2. Fase 2: Few-shot voorbeelden definiëren een regel die staten mapt (bijvoorbeeld $s_{i,j} \to s_{i+2,j}$).
  3. Fase 3: Het model moet deze regel toepassen op een vastgehouden staat.
• Uitdaging: Omdat tokens willekeurig zijn, moet het model vertrouwen op de in-context geleerde topologie om de mapping op te lossen.
• Variaties: Getest met "1-stap" (regel waargenomen in de walk) en "2-stap/3-stap" (regel niet waargenomen) regels.

D. Experiment 3: Frontier Reasoning Models

• Onderwerpen: State-of-the-art "redeneringsmodellen" (Gemini-2.5 Pro/Flash, GPT-5) die Chain-of-Thought (CoT)-redenering gebruiken.
• Doel: Bepalen of externaliseerde redeneringsketens kunnen compenseren voor trage verborgen representaties.
• Analyse: Getest op AWM en een "Structure Description"-taak (het model vragen om de geleerde topologie mondeling te beschrijven).

3. Belangrijkste Bijdragen

1. Introductie van Adaptive World Modeling (AWM): Een nieuwe benchmark-taak die specifiek is ontworpen om de flexibele inzet van in-context semantics te onderzoeken.
2. Ontkoppeling van Codering en Inzet: De studie levert empirisch bewijs dat succesvol in-context representatieleren (codering) niet garandeert dat deze representaties kunnen worden gebruikt voor downstream-taken (inzet).
3. Analyse van Redeneringsmodellen: De eerste systematische evaluatie van of frontier redeneringsmodellen de beperking van "inerte representaties" die wordt aangetroffen in standaard open-weights-modellen, overwinnen.

4. Belangrijkste Resultaten

A. Open-Weights Modellen (Gemma, OLMo)

• Succesvolle Codering: Modellen leerden de topologie succesvol in hun latente representaties (DE- en DC-metingen verbeterden met contextlengte) in zowel de Instruction- als de Prefilled-voorwaarde.
• Mislukking van Inzet:
  • Next-Token Prediction: Modellen presteerden goed in de Prefilled-voorwaarde maar hadden aanzienlijke moeite in de Instruction-voorwaarde (vertraagde inzet), ondanks het hebben van equivalente latente representaties.
  • AWM-taak: Modellen faalden om de AWM-taak op te lossen wanneer ze de topologie in-context moesten afleiden. De nauwkeurigheid lag dicht bij de baseline.
  • Cruciaal Bevinding: Toen de topologie expliciet in de prompt werd verstrekt (het leren in-context omzeilend), sprong de nauwkeurigheid naar >75%. Dit bewijst dat het falen niet lag in regelinductie, maar in het inzetten van de in-context geleerde representatie.
  • Degradatie van Representaties: Verborgen representaties van tokens in de few-shot voorbeelden (AWM-fase) vertoonden een lagere fideliteit ten opzichte van de topologie vergeleken met de random walk-fase, wat suggereert dat de geleerde structuur niet flexibel werd overgedragen.

B. Frontier Redeneringsmodellen (Gemini, GPT-5)

• Gedeeltelijke Verbetering: Redeneringsmodellen presteerden beter dan open-weights-modellen, met name op 1D (lijn) topologieën.
• Aanhoudende Beperkingen: De prestatie stortte in op 2D (rooster) topologieën.
• Mechanisme: Toen ze werden gevraagd om de geleerde topologie expliciet te beschrijven, behaalden deze modellen "redelijke maar niet perfecte" nauwkeurigheid. Dit suggereert dat CoT-ketens enigszins flexibele inzet van semantics toelaten, maar dat het proces imperfect is en de inertie van de onderliggende verborgen representaties niet volledig overwint.

5. Betekenis en Implicaties

• Het "Inerte Representatie"-Probleem: Het artikel daagt de aanname uit dat in-context learning een volledig functioneel "wereldmodel" creëert. Het suggereert dat LM's vaak context-afhankelijke structuren coderen op een manier die inert is: ze bestaan in de latente ruimte maar kunnen niet causaal worden benaderd om gedrag in nieuwe contexten te sturen.
• Beperkingen van Huidige Architecturen: Zelfs de meest geavanceerde redeneringsmodellen (CoT) mitigeren dit probleem slechts gedeeltelijk. Dit impliceert dat huidige transformer-architecturen, zelfs met uitgebreid redeneren, mogelijk de mechanismen missen die nodig zijn voor echt aanpasbare agenten die interne wereldmodellen onderweg kunnen construeren en inzetten.
• Toekomstige Richtingen: De auteurs suggereren dat het bereiken van flexibele inzet mogelijk vereist:
  • Gerichte trainingsregimes.
  • Mechanistische interventies om in-context semantics beschikbaar te maken voor eerdere modellagen.
  • Architecturale wijzigingen die de dynamische koppeling van geleerde representaties aan downstream-redenering ondersteunen.

Kortom, het artikel toont aan dat hoewel LM's uitstekend zijn in het vastleggen van nieuwe informatie in hun contextvenster, ze momenteel moeite hebben om te handelen op die informatie wanneer dit een flexibele, causale toepassing van de geleerde structuur op een nieuwe taak vereist.