💻 computer science

Harnesses for Inference-Time Alignment over Execution Trajectories

Dit artikel introduceert een trajectaligneringskader voor de inferentietijd om de harness-engineering voor LLM-agenten te analyseren, waarbij wordt aangetoond dat optimale prestaties vaak gedeeltelijke in plaats van volledig gestructureerde workflows vereisen door taakdecompositie en geleide uitvoering in evenwicht te brengen om faalmodi zoals over-decompositie en hallucinatie te voorkomen.

Oorspronkelijke auteurs: Boyuan Wang, Bochao Li, Minghan Wang, Yuxin Tao, Fang Kong

Gepubliceerd 2026-05-22

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Boyuan Wang, Bochao Li, Minghan Wang, Yuxin Tao, Fang Kong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het "Over-Opvoeden" Probleem

Stel je voor dat je een zeer slimme maar onervaren robot leert om een complexe taart te bakken. Je hebt twee manieren om het te helpen:

De "Volledige Handleiding" Aanpak: Je schrijft een recept met 50 stappen. Stap 1: "Oven voorverwarmen." Stap 2: "Koelkast openen." Stap 3: "Eieren eruit halen." Stap 4: "Ei breken." En zo verder, tot aan de glazuur.
De "Gedeeltelijke Gids" Aanpak: Je geeft de robot de eerste drie stappen ("Oven voorverwarmen, ingrediënten halen, eieren breken") en zegt dan: "Oké, je weet de rest. Maak de taart af."

Het paper stelt dat meer instructies niet altijd een betere taart betekenen. Sterker nog, als je de robot te veel kleine, specifieke stappen geeft, kan het verward raken, kleine foutjes maken die zich optellen, of vastlopen omdat het probeert een regel te volgen die niet past bij de situatie. Soms leidt het geven van minder structuur en het laten uitvinden van het middenstuk door de robot zelf, tot een beter resultaat.

De auteurs noemen dit "Harness Engineering". Een "harness" is gewoon een chique woord voor de set regels, sub-taken en begeleiding die je aan een AI geeft om het te helpen een groot probleem op te lossen.

De Twee Belangrijkste Hefbomen

Het paper splitst hoe we AI helpen op in twee verschillende hulpmiddelen:

1. De Kaart (Taak Decompositie)

Dit is het opsplitsen van een grote klus in kleinere stukjes.

De Analogie: Stel je voor dat je een berg beklimt.
- Te Grof: Je zegt tegen de wandelaar: "Beklim de berg." (Te vaag; ze kunnen verdwalen).
- Te Fijn: Je zegt tegen de wandelaar: "Zet één stap vooruit. Nu nog een. Nu til je linker voet op. Nu zet je hem neer." (Te veel micro-management; de wandelaar raakt in de war en struikelt).
- Precies Goed: Je geeft hen controlepunten: "Loop naar de boom, dan naar de rots, dan naar de top."
De Bevinding: Het paper bewijst dat de grootte van deze controlepunten uitmaakt. Als de punten te groot zijn, kan de AI ze niet bereiken. Als ze te klein zijn, stapelt de AI kleine foutjes op (zoals afrondingsfouten in de wiskunde) die het eindresultaat verpesten. Het "gouden midden" hangt af van hoe capabel de specifieke AI is.

2. Het Kompas (Begeleiding)

Dit is het advies dat je de AI geeft terwijl het aan een specifieke stap werkt.

De Analogie: Stel je voor dat je in mist een auto bestuurt.
- Gecoördineerde Begeleiding: Je zegt: "Blijf in de rijbaan, maar pas op voor de mist." Dit helpt je veilig te blijven.
- Niet-Gecoördineerde Begeleiding: Je zegt: "Rijd snel en negeer de mist omdat de kaart zegt dat het goed zit." Dit kan ervoor zorgen dat de auto nog sneller crasht, omdat de AI je regel volgt in plaats van de realiteit van de weg.
De Bevinding: Begeleiding helpt alleen als het overeenkomt met het beschikbare bewijs. Als je een AI vertelt om "zelfverzekerd" te zijn terwijl het niet genoeg informatie heeft, begint het te hallucineren (dingen erbij te verzinnen). Als je het vertelt om "de feiten te controleren", presteert het beter. De sterkte van de begeleiding is minder belangrijk dan of de begeleiding correct is voor de situatie.

De Verrassende Ontdekking: "Gedeeltelijke Harnessing"

Dit is het meest tegen-intuïtieve resultaat van het paper.

Meestal denken mensen: "Als een beetje hulp goed is, moet veel hulp geweldig zijn."
Het paper zegt: Nee.

Ze ontdekten dat de beste strategie vaak Gedeeltelijke Harnessing is.

De Analogie: Denk aan een GPS.
- Volledige Harness: De GPS vertelt je elke enkele bocht voor de hele 3 uur durende rit. "Links af in 500 meter. Rechts invoegen in 200 meter." Als de GPS halverwege een signaalstoring krijgt, of als er plotseling een weggesloten is, breekt het hele plan omdat de AI te druk is met het volgen van het starre script.
- Gedeeltelijke Harness: De GPS zegt: "Rijd naar de oprijlaan van de snelweg, en ga dan de A1 op." Zodra je op de snelweg bent, neemt de AI het over en regelt de rest van de rit op basis van het live verkeer.
Het Resultaat: In hun experimenten slaagden AI-agenten die alleen de eerste paar stappen kregen en daarna de klus zelf moesten afmaken, vaker dan agenten die een volledig, gedetailleerd plan kregen. De AI had net genoeg structuur nodig om in de goede richting te starten, maar had daarna de vrijheid nodig om zich aan te passen aan de rest van de reis.

Waarom gebeurt dit?

De auteurs gebruiken een concept genaamd "Herstelbaarheid".

Stel je voor dat de AI over een slakkenlijn loopt.
Als je het een star script geeft (te veel stappen), en het maakt één klein foutje, valt het van de lijn omdat het script geen correctie toestaat.
Als je het een gedeeltelijke gids geeft, kan het struikelen, beseffen dat het van koers is, en zijn eigen brein gebruiken om de fout te herstellen en terug op de lijn te komen.

Samenvatting van de Regels

Op basis van hun wiskunde en experimenten stelt het paper drie regels voor het bouwen van AI-helpers:

Pas de Stapgrootte aan de AI aan: Breek een taak niet op in stappen die te groot zijn voor de AI om aan te kunnen, of zo klein dat het verdwaalt in de details. Vind de "Goudelocks"-grootte voor die specifieke AI.
Pas het Advies aan de Feiten aan: Geef alleen advies dat wordt ondersteund door wat de AI daadwerkelijk kan zien. Als je het laat gokken, zal het liegen.
Stop met Helpen als het Tijd is: Schrijf het hele script niet. Geef de AI het startpunt, laat het een tijdje lopen, en laat het dan de klus afmaken. De meest effectieve harness is vaak de kortste die de AI ervan weerhoudt van de klif te vallen.

Kortom: Over-engineer het pad van de AI niet. Geef het een goede start, een goed kompas, en laat het dan rijden.

Technische Samenvatting: Harnassen voor Uitlijning tijdens Inferentie over Executietrajecten

Probleemstelling

Grote Taalmodellen (LLM)-agenten vertrouwen steeds vaker op "harnassen"—strategieën voor scaffolding tijdens inferentie die menselijke priors injecteren in de uitvoering via taakdecompositie en geleide uitvoering. Hoewel de heersende intuïtie suggereert dat uitgebreidere harnassen (finere decompositie, strengere begeleiding) betere prestaties opleveren, wijzen empirische observaties en historische lessen uit de AI op het tegendeel: excessieve structuur kan het vermogen van een agent om te zoeken, aan te passen en te schalen beperken, wat soms de uiteindelijke taaksluiting vermindert.

Het kernprobleem dat wordt aangepakt, is het bepalen wat een harnas moet specificeren en wat aan de agent moet worden overgelaten om autonoom op te lossen. Huidige ontwerppraktijken behandelen het toevoegen van structuur vaak als een lineair optimalisatieprobleem, zonder een theoretisch kader om te voorspellen wanneer extra scaffolding contraproductief wordt (bijvoorbeeld door over-decompositie, over-pruning of gehallucineerde uitvoering).

Methodologie

De auteurs stellen een theoretisch kader voor dat harnasontwerp modelleert als een uitlijningsprobleem voor trajecten tijdens inferentie. Ze ontleden een harnas in twee distincte mechanismen die op verschillende tijdschalen opereren:

Werkstroom (Buitentijdschaal): Regelt taakdecompositie, waarbij een taak wordt gestructureerd in een reeks subdoelen ( $g_1 \to g_2 \to \dots \to g_T$ ). Dit definieert de granulariteit van het plan.
Begeleiding (Binnentijdschaal): Hervormt de lokale actieverdeling tijdens de uitvoering van elk subdoel. Dit wordt gemodelleerd als een herweging van de basis-trajectverdeling van de agent op basis van een begeleidingsregel $\psi$ en sterkte $\lambda$ .

Theoretisch Kader

Het paper introduceert een herstelbaarheidskader waarbij uiteindelijke succes gelijkstaat aan het prefix dat op elk stadium "herstelbaar" blijft (in staat is om het eindantwoord te bereiken). Hiermee leiden ze drie uitlijningsprincipes af:

Granulariteit–Capaciteitsuitlijning: De schaal van subdoelen moet overeenkomen met de schaal van controleerbare voortgang van de agent binnen een gegeven retry-budget. Als subdoelen te groot zijn (grof), kan de agent ze niet bereiken; als ze te klein zijn (fijn), hopen afrondingsfouten en coördinatieverlies zich op.
Begeleiding–Evidentie-uitlijning: Begeleiding verbetert prestaties alleen als het de agent beïnvloedt richting trajecten die worden ondersteund door huidige taak-evidentie. Niet-uitgelijnde begeleiding (bijvoorbeeld het belonen van instructie-gevolgzaamheid boven evidentie) creëert een negatieve "retentie-kloof", wat hallucinaties versterkt.
Partieel Harnassen (Marginaal Stoppen): Een harnas hoeft niet het volledige uitvoeringspad te bestrijken. Het optimale ontwerp stopt met scaffolding wanneer de marginale reductie in staartrisico (door het toevoegen van een stadium) niet langer de betrouwbaarheidskosten van dat stadium overstijgt.

Experimentele Validatie

De auteurs valideren deze principes door middel van:

Synthetische Experimenten: Een gecontroleerde taak voor cumulatieve voortgang waarbij agenten een doelsom moeten bereiken met gebruik van afgekapt Gaussische actieverdelingen. Ze variëren decompositie-granulariteit ( $K$ ), begeleidingskwaliteit (uitgelijnd versus niet-uitgelijnd prunen) en de lengte van het partiële harnas.
Real-World Benchmarks:
- Terminal-Bench v2: Evaluatie van werkstroom-granulariteit op software-engineeringtaken.
- Plotly Chart Analysis: Meten van hallucinatiepercentages onder variërende begeleidingscondities.
- Casestudie: Een specifieke taak (llm-inference-batching-scheduler) waarbij volledig versus partiële werkstromen worden vergeleken.

Belangrijkste Bijdragen

Formalisatie van Harnasontwerp als Uitlijning: Het paper ontleden harnassen in werkstroom (decompositie) en begeleiding (herweging van acties), waarbij twee principes op stadia-niveau worden vastgesteld: de schaal van subdoelen moet overeenkomen met de capaciteit van de agent, en begeleiding moet overeenkomen met taak-evidentie.
Theoretische Grenzen voor Falingsmodi:
- Stelling 1: Leidt een grens af die aantoont dat de kans op uiteindelijke succes daalt wanneer de granulariteitsstraf (mismatch tussen gevraagde voortgang en bereikbare schalen) de capaciteit van het retry-budget overschrijdt.
- Stelling 2: Bewijst dat begeleiding de herstelbaarheid van een stadium verbetert dan en slechts dan als de "retentie-kloof" (log-ratio van gewichten op herstelbare versus niet-herstelbare trajecten) positief is. Negatieve kloven leiden tot hallucinaties.
Strategie voor Partieel Harnassen: De auteurs introduceren Partieel Harnassen, een ontwerpstategie waarbij het harnas slechts een initieel prefix van het traject specificeren. Ze formaliseren een marginaal stopregels: breid het harnas alleen uit zolang de volgende gescaffolde fase meer residuair risico bespaart dan deze introduceert.
Empirisch Bewijs van Non-Monotonie: Experimenten tonen aan dat slagingspercentages unimodaal zijn met betrekking tot zowel decompositie-granulariteit als harnaslengte. Over-specificatie (te veel stappen of te veel begeleiding) degradeert consequent de prestaties in vergelijking met optimale partiële configuraties.

Resultaten

Granulariteit: In synthetische en real-world taken pieken slagingspercentages bij een specifiek aantal subdoelen. Finere decompositie (beyond de piek) leidt tot opgehoopte terminale bias en lagere slagingspercentages vanwege het onvermogen van de agent om precies te stoppen bij willekeurige mijlpalen.
Begeleiding: Uitgelijnde begeleiding (prioritering van evidentie-gedreven acties) verbetert slagingspercentages en vermindert hallucinaties naarmate de begeleidingssterkte toeneemt. Omgekeerd veroorzaakt niet-uitgelijnde begeleiding (prioritering van instructie-gevolgzaamheid zonder evidentie) dat hallucinatiepercentages monotoon stijgen met de begeleidingssterkte.
Partieel Harnassen: Op de taak llm-inference-batching-scheduler presteerde een partiële harnas (die slechts de eerste 3 stappen specificeren) beter dan een volledig gespecificeerde 10-staps werkstroom. De volledige harnas veroorzaakte dat de agent "vastliep" in herhaalde tussentijdse revisies, terwijl de partiële harnas de agent toeliet om een productieve iteratieve verfijningslus te betreden voor de resterende stappen.
Agentcapaciteit: Sterkere agenten (met lagere autonome staartkosten) bereiken de optimale lengte van het partiële harnas eerder (bij minder gescaffolde stappen) dan zwakkere agenten.

Betekenis en Claims

Het paper betoogt dat harnasontwerp moet verschuiven van het probleem van "meer structuur toevoegen" naar het probleem van "kiezen wat te specificeren, hoe sterk het te specificeren en wanneer te stoppen".

De auteurs claimen dat:

Sterker is niet altijd beter: Uitgebreidere harnassen kunnen betrouwbaarheidsknelpunten worden in plaats van hulpmiddelen als ze niet uitlijnen met de capaciteiten van de agent of de beschikbare evidentie.
Partiële specificatie is optimaal: Effectieve harnassen hoeven het volledige uitvoeringspad niet te bestrijken. Zodra de resterende taak binnen de autonome capaciteit van de agent valt, voegt voortdurende controle kosten toe zonder voordeel.
Ontwerp als een Stopprobleem: Het "juiste" harnas is het kleinste dat de agent op een herstelbaar traject houdt. Dit herformuleert scaffolding als een marginale afweging tussen vermindering van staartrisico en de betrouwbaarheidskosten van opgelegde structuur.

Het paper concludeert met de opmerking dat hoewel hun vereenvoudigde settings kernmechanismen isoleren, het gedrag van agenten in de real-world complexer is, en het uitbreiden van deze principes naar rijker executiedynamiek een richting blijft voor toekomstig werk.