Technische Samenvatting: Agentic Context Learning met Zelfontdekte Specificatie

1. Probleemdefinitie: De Context Learning Bottleneck

Het artikel behandelt Context Learning, een taak tijdens de inferentie waarbij Large Language Models (LLM's) nieuwe, taakspecifieke kennis moeten leren en toepassen uit complexe, lange contexten die afwezig zijn tijdens de pre-training. In tegenstelling tot traditionele long-context taken (bijv. documentbegrip), die zich richten op het ophalen van relevante feiten, vereist context learning dat het model opereert binnen een nieuw gedefinieerde lokale omgeving (bijv. een producthandleiding, regelgevende code of API-specificatie) waar de regels van geldigheid vaak impliciet zijn.

Ondanks sterke prestaties op algemene taaltaken, worstelen frontier-modellen aanzienlijk in deze setting. Op CL-Bench (een benchmark die specifiek is ontworpen voor context learning met 1.899 taken) scoren zelfs de beste modellen minder dan 24% strikte taaksucces. De auteurs hypothetiseren dat de mislukkingen niet louter te wijten zijn aan een onvermogen om inhoud binnen lange contexten te ontsluiten, maar aan een falen in het verwerven van lokale specificaties — de gedragsmatige beperkingen, formaten, afhandeling van randgevallen en volledigheidsvoorwaarden verspreid over de context die bepalen of een antwoord geldig is.

2. Empirische Analyse en Diagnose

De auteurs hebben een uitgebreide empirische studie uitgevoerd op CL-Bench om de oorzaak van deze mislukkingen te diagnosticeren:

• Analyse van Foutmodi: Hoewel de strikte taak-passrate laag is (22,55%), is de rubric-niveau passrate veel hoger (76,01%). Dit geeft aan dat modellen vaak aan de meeste vereisten voldoen, maar falen op een kritieke enkeling. Bij taken die faalden op exact één rubric-item, waren 75,3% van de gemiste items specificatie-items (naleving van lokale gedragsmatige beperkingen) in plaats van fouten in de feitelijke inhoud.
• Taxonomie van Vereisten: Over 31.592 rubric-items evalueert 55,4% de specificatieverwerving (het leren van lokale regels), terwijl slechts 22,6% de inhoudverwerving (het ophalen van feiten) evalueert.
• De Query-Context Asymmetrie: Een belangrijke bevinding is dat 76,7% van de specificatie-items niet afleidbaar is uit de gebruikersquery alleen; ze zijn verspreid over de omliggende context (bijv. in voorbeelden, validatiepatronen of herhaalde structuren). Echter, 95,5% van deze specificaties is traceerbaar naar de context, wat betekent dat het leerbare verplichtingen zijn in plaats van verborgen voorkeuren van de evaluator.
• Beperkingen van Bestaande Methoden: De auteurs evalueerden twaalf baselines variërend van retrieval, context-herstructurering, zelfcorrectie en iteratieve retrieval. Geen enkele overtrof de directe full-context prompting baseline met meer dan één procentpunt. Dit suggereert dat methoden gericht op het naar boven halen van query-relevante inhoud falen omdat ze de validiteitsrelevante specificaties missen die de vorm en procedure van de respons beheersen.

3. Methodologie: Private Specification-Contract Induction (PSCI)

Om de diagnose te valideren dat specificatieverwerving de bottleneck is, stellen de auteurs PSCI voor, een bewust eenvoudige, training-vrije, test-time scaffold. PSCI werkt in vier opeenvolgende stappen:

1. Specificatie Ontdekking (Inductie): Het model induceert een privé-specificatiecontract ($K$) uit de taak ($x$) en de context ($c$). Dit contract is een gestructureerde set van verplichtingsitems (formaten, validatiecontroles, ordeningsbeperkingen) die vereist zijn voor lokale validiteit. Cruciaal is dat dit contract wordt geïnduceerd vóór de generatie en nooit wordt waargenomen door de publieke rubric.
2. Generatie: Het model genereert een eerste conceptantwoord ($y_0$) geconditioneerd op de taak, de context en het geïnduceerde contract $K$.
3. Adversariële Controle: Een adversariële checker auditeert $y_0$ tegen $K$ (niet de publieke rubric), wat een gestructureerde diagnose ($d$) oplevert die identificeert welke verplichtingen zijn voldaan, gedeeltelijk zijn voldaan of worden geschonden.
4. Reparatie: Een reparatiestap patst de in $d$ geïdentificeerde schendingen om het definitieve antwoord ($\hat{y}$) te produceren, waarbij de correcte inhoud behouden blijft terwijl het contract wordt afgedwongen.

De kerninnovatie is het behandelen van het specificatiecontract als een control object dat de generatie vormgeeft, in plaats van een post-hoc grader.

4. Belangrijkste Resultaten

De auteurs evalueerden PSCI op CL-Bench met GPT-5.1, Qwen3.5-27B en Gemini 3 Pro:

• State-of-the-Art Prestaties: PSCI bereikte een strikte passrate van 28,14% met GPT-5.1 (Medium), een absolute winst van +5,59 procentpunt (24,8% relatieve verbetering) ten opzichte van de directe baseline (22,55%). Deze prestatie overtrof zelfs GPT-5.1 (High) uit de oorspronkelijke CL-Bench evaluatie (23,7%).
• Cross-Model Generalisatie: De winsten waren consistent over modellen heen:
  • Qwen3.5-27B: Verbeterde van 14,14% naar 19,42% (+5,28 pp).
  • Gemini 3 Pro: Verbeterde van 16,14% naar 22,31% (+6,17 pp).
• Winst op Rubric-Niveau: PSCI verbeterde de globale rubric-passrate met +5,12 pp. Opvallend genoeg was de verbetering groter voor specificatie-items (het dichten van 23,2% van de kloof) dan voor inhoud-items (het dichten van 15,5%), wat bevestigt dat de methode de geïdentificeerde bottleneck aanpakt.
• Vergelijking met Baselines: Alle twaalf alternatieve baselines (inclusclusief Self-RAG, Reflexion en Iterative Retrieval) bleven binnen 0,78 pp van de directe baseline en slaagden er niet in om de prestaties van PSCI te evenaren.

5. Ablatie-studies en Mechanisme-validatie

Zeventien ablaties werden uitgevoerd om de rol van taakspecifieke specificaties te isoleren:

• Noodzaak van Taak-Specificiteit: Het husselen van contracten (het gebruik van een contract van een andere taak) zorgde ervoor dat de prestaties instortten tot onder de baseline (19,80%), wat bewijst dat specificaties moeten zijn uitgelijnd met de specifieke taakcontext.
• Gronding in Context: Zero-shot context-afgeleide specificaties verbeterden de prestaties, maar generieke statische specificaties niet, wat bevestigt dat specificaties moeten worden geëxtraheerd uit de huidige context.
• Handhaving versus Ontdekking: Alleen ontdekking (het induceren van het contract zonder controle/reparatie) bereikte 26,09%, maar de volledige pijplijn (28,14%) toonde aan dat handhaving cruciaal is.
• Control Object versus Post-Hoc Grader: Het induceren van specificaties na de generatie (Answer-first ordering) faalde (23,67%), wat aantoont dat het contract moet fungeren als een control object om het generatieproces te vormen, en niet slechts als een reparatiegids.
• Computatie-efficiëntie: Compute-gematchte controles (bijv. generieke zelfreflectie, herhaalde statische specificaties) slaagden er niet in om PSCI te evenaren, wat aangeeft dat de winst voortkomt uit de structuur van de computatie (specificatieontdekking en handhaving), en niet louter uit de verhoogde inferentiekosten.

6. Betekenis en Claims

Het artikel claimt drie primaire bijdragen:

1. Diagnose: Het identificeert specificatieverwerving — het afleiden van query-impliciete maar context-traceerbare lokale verplichtingen — als de belangrijkste bottleneck in context learning, onderscheidend van inhoudverwerving.
2. Methodologie: Het introduceert PSCI, een eenvoudige, training-vrije scaffold die state-of-the-art resultaten behaalt door deze lokale specificaties expliciet te induceren en af te dwingen.
3. Mechanisme: Het demonstreert via uitgebreide ablatie dat context learning een tweestaps-proces vereist: specificatieontdekking (gegrond in de context) en specificatiehandhaving (via controle en reparatie).

De auteurs concluderen dat context learning niet alleen draait om het ophalen van de juiste feiten, maar om het verwerven van en voldoen aan de lokale "spelregels" die binnen de prompt worden gedefinieerd. Ze merken op dat hoewel PSCI de prestaties aanzienlijk verbetert, handhaving een resterende bottleneck blijft, aangezien modellen vaak de juiste verplichtingen naar boven brengen maar er niet consequent in slagen deze consistent uit te voeren in de uiteindelijke output. Het werk suggereert dat toekomstige vooruitgang in context learning mechanismen vereist die deze lokale validiteitsvoorwaarden beter internaliseren en afdwingen.