🤖 AI

Context Assembly as the Controlled Variable: A Control-Theoretic View of Harness Policies for Frozen LLM Agents

Dit artikel stelt een regeltheoretisch kader voor voor bevroren LLM-agenten dat contextassemblage behandelt als de geregelde variabele, waarbij gebruik wordt gemaakt van een online buitenste beleid om promptcomponenten dynamisch te optimaliseren terwijl formele stabiliteitsgaranties en onzekerheidskalibratie worden geboden.

Oorspronkelijke auteurs: Debjyoti Paul

Gepubliceerd 2026-07-29

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Debjyoti Paul

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kunst van de Perfecte Prompt: Een Controletheorie-verhaal

Stel je voor dat je een briljante, maar ongelooflijk koppige robot probeert te leren hoe hij een mysterie moet oplossen. Deze robot is een AI, en hij is "bevroren", wat betekent dat zijn brein in steen is gebeiteld; je kunt niet zijn neuronen herbedraden of hem nieuwe feiten aanleren. Hij weet veel, maar hij weet niet hoe hij die kennis moet gebruiken voor jouw specieveke puzzel, tenzij je hem de juiste instructies geeft. In de wereld van Kunstmatige Intelligentie wordt deze opstelling een "agent" genoemd. Lange tijd hebben onderzoekers geprobeerd uit te vinden hoe ze deze agents betrouwbaar kunnen maken, door ze te behandelen als machines die gestuurd moeten worden. Ze gebruiken ideeën uit de "controletheorie", wat in essentie de wetenschap is van het stabiel en op koers houden van zaken—zoals hoe een cruise control-systeem in een auto constant de gaspedaal aanpast om de snelheid constant te houden, of hoe een thermostaat de warmte bijstuurt om een kamer comfortabel te houden.

De grote vraag die dit paper aanpakt is: Wat moeten we precies sturen? De meeste mensen hebben geprobeerd te controleren wat de robot vervolgens doet (zoals welk gereedschap hij oppakt) of met wie hij praat. Maar dit paper suggereert dat de echte magie plaatsvindt voordat de robot überhaupt in beweging komt. Het gaat om het controleren van de "context"—de specifieke instructies, de voorbeelden die je aan hem laat zien, en de hoeveelheid achtergrondinformatie die je hem voert. Denk hierbij aan een chefkok die het receptenboek niet kan veranderen (de bevroren AI), maar wel de ingrediënten, de verlichting in de keuken en de aantekeningen op het aanrecht kan veranderen om het perfecte gerecht te bereiken. De auteurs willen weten of we een slim systeem kunnen boueren dat automatisch de beste manier vindt om deze instructies on the fly op te zetten, en of dat systeem stabiel genoeg is om te vertrouwen.

Het Grote Idee van het Paper: Het Sturen van de Opstelling, Niet de Robot

Dit paper, geschreven door Debjyoti Paul in juli 2026, stelt een frisse manier voor om naar AI-agents te kijken. In plaats van te proberen de acties van de robot direct te controleren, suggereren de auteurs het controleren van de context-assemblage. In gewone mensentaal betekent dit het controleren van de "opstelling" van de prompt: welke template te gebruiken, welke enkele voorbeelden aan de AI te tonen, hoeveel informatie er opgehaald moet worden uit een database, en hoe vaak de AI zijn eigen werk moet controleren.

De auteurs stellen zich een tweeledig systeem voor. Het eerste deel is de "bevroren" AI-agent—de robot die het eigenlijke werk doet. Het tweede deel is een "harnas" of een controller die buiten de robot staat. Deze controller is een slimme leerling (gebruikmakend van methoden zoals een "contextual bandit" of een "REINFORCE" policy) die voortdurend experimenteert met verschillende opstellingen om te zien welke de beste resultaten oplevert. Het is als een regisseur die de tekst van de acteur niet kan veranderen (omdat de acteur bevroren is), maar wel de belichting, de rekwisieten en de scriptnotities kan aanpassen om de acteur beter te laten presteren.

Wat Ze Vonden: Een Reality Check

De auteurs hebben dit idee niet alleen bedacht; ze hebben het getest om te zien of het daadwerkelijk werkt en of het stabiel is. Ze voerden experimenten uit met een specifieke opstelling waarbij de controller moest kiezen uit 729 verschillende mogelijke configuraties (een combinatie van verschillende promptstijlen, tools, geheugenpolicies en verificatiestappen). Ze voerden deze tests uit voor 60 episodes (pogingen) per run, wat in totaal 240 episodes betekende over verschillende seeds.

Hier is de eerlijke waarheid over wat ze vonden:

1. De Stabiliteitstest (Wordt het beter?)
De auteurs wilden zien of de controller leerde om beter te worden, een concept dat ze "stabiliteit" noemen. In een perfecte wereld zou de prestatie van de controller moeten stijgen of gelijk blijven naarmate hij leert. Echter, hun data toonde iets anders aan. Over de 60 episodes die ze testten, neigde de prestatie eigenlijk licht naar beneden of bleef deze vlak voor de meeste runs. Drie van de vier testruns vertoonden een kleine negatieve helling.

De auteurs leggen uit dat dit niet noodzakelijkerwijs een falen van hun idee is, maar een beperking van de omvang van de test. Ze argumenteren dat met 729 mogelijke opties om uit te kiezen, 60 episodes simpelweg niet genoeg tijd is voor de controller om de fijne kneepjes te leren. Het is alsoak je probeert een enorme bibliotheek van 729 verschillende talen te leren in slechts een paar dagen; je hebt niet genoeg tijd gehad om genoeg te oefenen om er goed in te worden. Ze merken op dat zelfs met 300 episodes (vijf keer meer dan hun stabiliteitstest), hun begeleidende paper vond dat het systeem nog steeds een statische, vooraf ingestelde baseline niet kon verslaan. De conclusie is dat het systeem zich momenteel in een "ondergesamplede" regime bevindt—het is een te kleine steekproef om de langetermijntheorie te bewijzen, ook al is de theorie zelf logisch.

2. De Vertrouwenscheck (Weet het wanneer het gokt?)
Het tweede ding dat ze controleerden was "onzekerheidskalibratie". Dit vraat: weet de controller wanneer hij zelfverzekerd is en wanneer hij onzeker is? In een reële scenario, als de AI onzeker is, zou hij een mens moeten vragen om in te grijpen.

De resultaten hiervoor waren behoorlijk verrassend en een beetje rommelig. De "vertrouwensscore" van de controller (gebaseerd op hoe waarschijnlijk hij dacht dat zijn keuze was) was extreem laag—rond de 0,0014—terwijl het werkelijke succespercentage van de taken veel hoger was, rond de 0,64 (64%) en 0,58 (58%). Dit is een enorme kloof, ongeveer twee ordes van grootte.

De auteurs verklaren dat dit geen fout is in het leren, maar een wiskundig probleem. Omdat er 729 opties zijn, is de kans om er één specifieke te kiezen van nature minuscuul (ongeveer 1/729, oftewel 0,0014). Daarom ziet de controller er altijd "onzeker" uit, zelfs als hij het juiste antwoord kiest. Dit betekent dat als je deze ruwe vertrouwensscore zou gebruiken om te beslissen wanneer je een mens om hulp vraagt, het niet zou werken—je zou voor elke taak, zelfs de makkelijke, een mens bellen. Het paper suggereert dat je, om dit op te lossen, het vertrouwenssignaal zou moeten herkalibreren (misschien door naar het gat tussen de top twee keuzes te kijken in plaats van de ruwe waarschijnlijkheid), maar ze geven toe dat ze die oplossing nog niet hebben getest.

De Kern van het Verhaal

Dit paper beweert niet het probleem van AI-controle te hebben opgelost. In plaats daarvan biedt het een zeer specifieke, eerlijke kijk op een nieuwe manier van denken: het controleren van de context in plaats van de actie. Het betoogt dat hoewel dit een veelbelovend en onderscheidend idee is, de huidige experimenten laten zien dat we tegen een muur aanlopen omdat de ruimte van mogelijkheden (729 configuraties) te groot is voor de hoeveelheid data die we realistisch gezien in een dag kunnen verzamelen.

De auteurs zijn voorzichtig en noemen dit geen doorbraak. Ze stellen expliciet dat hun stabiliteitsresultaten "ruis-gedomineerd" zijn en dat hun vertrouwenssignalen momenteel "oninformatief" zijn zonder extra aanpassingen. Ze zeggen in feite: "Hier is een nieuwe hendel om aan te trekken, maar op dit moment hebben we niet genoeg oefenslagen gedaan om te weten of het perfect werkt, en onze huidige manier om vertrouwen te meten is kapot." Het is een oproep voor meer data en betere kalibratiemethoden, in plaats van een verklaring van overwinning.

Technische Samenvatting: Context Assemblage als de Gecontroleerde Variabele

Probleemstelling

Hoewel de toepassing van regeltheorie op Large Language Model (LLM) agenten een gevestigd veld is per medio 2026, richt de bestaande literatuur zich primair op het controleren van specifieke discrete acties of systeemrouting. Eerdere werken hebben tool selectie (Anonymous [2026]), actie selectie in massieve discrete universa (Majumdar [2026]), of inter-agent bericht routing (Nogueira en Skogestad [2026]) behandeld als de gecontroleerde variabelen.

Dit artikel betoogt dat deze benaderingen een duidelende, praktisch cruciale gecontroleerde variabele over het hoofd zien: context assemblage. Dit verwijst naar de dynamische configuratie van de prompt template, few-shot demonstraties, het volume van de opgehaalde context, en het aantal planning- of verificatie-passes. In tegenstelling tot ruwe actiestromen of tool catalogi, is context assemblage de specifieke set parameters die een harness engineer vandaag de dag handmatig bewerkt. Het artikel stelt dat deze variabele klein genoeg is om te enumereren, maar complex genoeg om online learning te vereisen, en dat het geoptimaliseerd kan worden door een lichtgewicht controller (contextual bandit of REINFORCE) die buiten een bevroren LLM opereert.

Methodologie

Formele Decompositie

Het systeem wordt gedecomposeerd in twee verschillende policies:

Inner Policy ( $\pi_\theta$ ): Een bevroren LLM-model dat acties $a_t$ genereert gegeven een staat $s_t$ en een context configuratie $C_t$ . De modelgewichten $\theta$ worden nooit bijgewerkt.
Outer Policy ( $\pi_\phi$ ): Een leerbare controller die de context configuratie $C_t$ $C_{t}$ selecteert uit een vaste, enumereerbare ruimte $\mathcal{C}$ $C$ op basis van de taak $x_t$ $x_{t}$ en interactiegeschiedenis $h_t$ $h_{t}$ .
- In de instantiatie van het artikel is $|\mathcal{C}| = 729$ , gefactoreerd over prompt stijl, tool/retrieval policy, memory policy, planning policy, verificatie policy en step budget.
- De outer policy is geparametriseerd als ofwel een lineaire waardefunctie (voor een contextual bandit) of een softmax policy (voor REINFORCE).

Optimalisatie Doelstelling

De outer policy wordt geoptimaliseerd om een multi-objective beloningsfunctie te maximaliseren terwijl $\theta$ vast blijft:
$\max_\phi \mathbb{E} [R_{task} + \lambda_v R_{verify} + \lambda_p R_{policy} - \lambda_c C_{tokens} - \lambda_\ell C_{latency} - \lambda_h P_{unsupported}]$
Deze doelstelling balanceert taaksucces, verificatiekwaliteit en policy naleving tegen de kosten voor tokengebruik, latentie en niet-ondersteunde operaties.

Stabiliteits- en Kalibratieanalyse

Het artikel evalueert de controller aan de hand van twee specifieke regeltheoretische lenzen:

Empirische Stabiliteit: Adopterend de definitie van Zhang et al. [2026], wordt stabiliteit gedefinieerd als de niet-afnemende verwachte beloning over een sliding window naarmate episodes toenemen. Dit is een zwakkere, meer meetbare claim dan de Lyapunov asymptotische stabiliteit, geschikt voor online learning waar de "staat" een set geleerde gewichten is.
Onzekerheid Kalibratie: Het artikel analyseert of de vertrouwen van de controller (gedefinieerd als de softmax waarschijnlijkheid van de geselecteerde actie) correleert met het gerealiseerde taaksucces. Dit is cruciaal voor scenario's met menselijke escalatie waarbij een laag vertrouwen falen moet voorspellen.

Belangrijkste Resultaten

1. Empirische Stabiliteit

De auteurs voerden een geïnstrumenteerd experiment uit met 240 episodes over bandit en REINFORCE controllers op een tool-use domein (Ollama qwen2.5:7b).

Bevinding: De empirische resultaten bevestigden niet de theoretische propositie van een niet-afnemende beloning binnen het budget van 60 episodes-per-seed.
Analyse: Lineaire fits van beloning tegen de episode index toonden licht negatieve of vlakke trends voor drie van de vier runs. De auteurs schrijven dit niet toe aan een falen van de logica, maar aan het ondergesamplede regime. Met een actieruimte van 729 configuraties zijn 60 episodes onvoldoende om de lopende schattingen te laten concentreren (een regime geïdentificeerd als $\Omega(M)$ in Majumdar [2026]). De resultaten karakteriseren de moeilijkheid van leren in deze ruimte met praktische, single-day experimentele budgetten in plaats van het bewijzen van asymptotische convergentie.

2. Onzekerheid Kalibratie

De kalibratieanalyse onthulde een significante disconnect tussen de vertrouwen van de controller en de werkelijke prestaties.

Bevinding: De Expected Calibration Error (ECE) was 0.607, een grote miskalibratie.
Mechanisme: De gemiddelde vertrouwen van de controller was ongeveer 0.0014 (ongeveer $1/729$ ), terwijl de gerealiseerde succesrate tussen 0.58 en 0.64 lag.
Implicatie: Omdat de actieruimte groot is en scores bijna gelijk verdeeld zijn, is de ruwe softmax waarschijnlijkheid begrensd nabij $1/M$ . Dit maakt de ruwe waarschijnlijkheid een oninformatief signaal voor menselijke escalatie; in essentie lijkt elke episode "laag vertrouwen" te hebben, ongeacht succes. Het artikel stelt expliciet dat de ruwe actie-selectie waarschijnlijkheid niet gebruikt kan worden als een vertrouwenssignaal zonder herkalibratie (bijv. temperature scaling of value-margin definities).

Betekenis en Claims

Het artikel maakt een bescheiden, specifieke claim: het identificeert context assemblage als een duidelijke, gecontroleerde variabele die minder onderzocht is vergeleken met tool selectie of agent routing.

Bijdrage: Het biedt een formele decompositie van de "bevroren model + leerbare harness" architectuur en onderwerpt deze specifieke gecontroleerde variabele aan dezelfde empirische toetsing (stabiliteit en kalibratie checks) toegepast op andere controle-theoretische agent papers.
Eerlijkheid in Rapportage: Het artikel benadrukt dat de empirische resultaten "informatief in plaats van flatterend" zijn. Het rapporteert expliciet dat de praktische episode budgetten onvoldoende zijn om de asymptotische stabiliteit of kalibratie te bereiken die vereist is voor implementatie in hun huidige vorm.
Designpunt: In plaats van te claimen dat het een opgelost probleem is, markeert het artikel de kalibratie kwestie als een echt open designpunt. Het suggereert dat voor de levensvatbaarheid van deze aanpak, vertrouwenssignalen geherdefinieerd moeten worden (bijv. via value margins) in plaats van te vertrouwen op ruwe softmax waarschijnlijkheden over grote discrete ruimtes.

Samenvattend claimt het artikel niet de stabiliteit van LLM harnesses te hebben opgelost. In plaats daarvan demonstreert het rigoureus de sample complexity bottleneck inherent aan het leren van context assemblage over een grote discrete ruimte en benadrukt het de kalibratie-fout van naïeve vertrouwen metrieken, wat een realistisch nulpunt biedt voor toekomstig werk in deze specifieke niche.