🤖 AI

Trajectories That Segment Themselves: Agent-Declared Boundaries as a Training Unit

Dit artikel introduceert een trainingsparadigma waarbij coderingsagenten hun trajecten zelf segmenteren door falsifieerbare causale hypothesen te verklaren, waardoor hoogwaardige, variabel lengte variërende semantische fasen worden gegenereerd die effectievere supervised fine-tuning en direct preference optimization mogelijk maken in vergelijking met traditionele fixed-window of episode-gebaseerde labeling.

Oorspronkelijke auteurs: Jingxi Wei

Gepubliceerd 2026-08-04

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jingxi Wei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Notitieblok van de Detective: Waarom AI moet weten wanneer het moet stoppen met gokken

Stel je voor dat je een robot probeert te leren een enorme, rommelige puzzel op te lossen. In de wereld van kunstmatige intelligentie wordt deze robot een "agent" genoemd, en de puzzel is vaak een complex stuk computercode. Om te leren, probeert de robot dingen, maakt hij fouten en krijgt hij feedback. Maar hier zit de crux: hoe vertel je de robot wat hij goed of fout heeft gedaan?

Meestal kijken we naar de hele reis van de robot van begin tot eind en geven we één cijfer: "Goed gedaan!" of "Probeer het opnieuw." Dit is alsof je een detective ziet een misdaad oplossen en alleen zegt: "Je hebt de crimineel gepakt," zonder te vertellen welke aanwijzing de doorbraak was of welke doodlopende weg een verspilling van tijd was. Als de detective urenlang een vals spoor heeft achtervolgd voordat hij het echte spoor vond, straft het cijfer "Probeer het opnieuw" het goede werk dat hij eerder deed onterecht af.

Dit artikel pakt dat probleem aan. Het vraagt: Kunnen we de AI leren om zijn eigen lange, rommelige reis op te delen in kleinere, betekenisvolle hoofdstukken? In plaats van alleen de hele film te bekijken, kan de AI pauzeren en zeggen: "Oké, ik heb zojuist deze specifieke theorie over de code getest, en nu ga ik over naar een nieuwe." Door dit te doen, kan de AI veel sneller leren van zijn fouten, omdat hij precies weet welk "hoofdstuk" van zijn denken fout ging, in plaats van een slecht cijfer te krijgen voor het hele boek.

Het Papier: Wanneer AI-agents hun eigen hoofdstuktitels schrijven

Dit papier introduceert een slimme truc genaamd "Agent-Declared Boundaries" (door de agent verklaarde grenzen). Zie het als het geven van een magisch notitieblok aan de AI-agent, waarin hij voor elke nieuwe theorie die hij probeert, een titel moet schrijven.

Het Probleem: Het "Wazige" Cijfer

Stel je voor dat je een videogame speelt waarin je een verborgen schat moet vinden. Je probeert een kaart, graaft op de verkeerde plek, probeert een kompas, graaft op een andere verkeerde plek, en vindt uiteindelijk de schat.

De Oude Manier: De game geeft je aan het einde één score. Als je een paar fouten hebt gemaakt, krijg je een lage score. Je weet niet of het de kompas was die het probleem vormde, of dat je gewoon op de verkeerde plek groef.
Het Idee uit het Papier: De AI-agent wordt gevraagd te stoppen en te zeggen: "Ik test nu de Kompas-theorie." Wanneer die theorie faalt, zegt hij: "Oké, Kompas-theorie is dood. Nu begin ik met de Kaart-theorie."

Door de AI te dwingen zijn huidige gok (zijn "hypothese") te benoemen, kunnen de onderzoekers de lange, verwarrende reis opdelen in nette, korte segmenten. Elk segment is een "semantische fase"—een blok tijd waarin de AI gefocust was op één specifieke idee.

Hoe ze het deden: De "Hypothese-Ledger"

De onderzoekers stelden een speciale regel op voor de AI-agents. Terwijl de agent werkt aan het repareren van code, moet hij verklaren: "Ik geloof dat de bug in het loginsysteem zit." Vervolgens gaat hij aan het werk. Als hij faalt, stapt een "beoordelaar" (een andere AI) in en zegt: "Nee, het loginsysteem is prima. Jouw Login-theorie was fout. Probeer de Database-theorie in plaats daarvan."

Dit creëert een "ledger" (een lijst) van de gokken van de agent.

De Kosten: Dit voegt slechts ongeveer 52 tokens (een klein beetje tekst) toe per gok. Het is alsof je een briefje bij een pagina plakt; het maakt het boek niet zwaarder.
Het Voordeel: In plaats van één groot "Gefaald"-label voor de hele poging, krijgen ze vier verschillende soorten leerdata van dezelfde reis:
1. Audit: "Waarom was deze specifieke gok fout?" (Zelfs als de gok faalde, is de les nuttig!)
2. Propose: "Wat moeten we nu gokken?"
3. Fix: "Hoe repareren we de code nu we het antwoord weten?"
4. Preference: "Welke gok was beter?"

De Grote Test: Maakte de AI het daadwerkelijk zinvol?

De onderzoekers waren bezorgd: "Missen de AI's misschien gewoon willekeurige titels, en zijn de 'hoofdstukken' eigenlijk gewoon willekeurige tekstblokken?" Om te bewijzen dat dit niet waar was, voerden ze enkele leuke experimenten uit waarbij ze de titels uitgumden en anderen vroegen waar de hoofdstukken eindigden.

De "Blinde" AI-test: Ze gaven een andere AI een lijst met acties en een lijst met theorieën, maar verborgen welke theorie bij welke acties hoorde. De AI moest de match raden.
- Het Resultaat: De AI had het 2,18 keer vaker goed dan bij willekeurig gokken. Nog beter: toen ze de "benoemde" hoofdstukken van de AI vergeleken met het simpelweg in gelijke tekstblokken snijden, waren de benoemde hoofdstukken aanzienlijk beter in het groeperen van gerelateerde acties samen.
De "Code-Blinde" Menselijke Test: Een mens die de code niet kende, keek naar de commando's en probeerde te raden waar de theorieën veranderden.
- Het Resultaat: De mens vond 24 van de 40 grenzen correct. Als ze willekeurig hadden gegokt, zouden ze er slechts ongeveer 11,5 hebben gevonden.
De "Mechanische" Test: Ze probeerden eenvoudige regels te gebruiken (zoals "snijd de tekst telkens wanneer een test wordt uitgevoerd") om de grenzen te vinden.
- Het Resultaat: Deze eenvoudige regels faalden jammerlijk en presteerden niet beter dan bij willekeurig gokken. Dit bewijst dat de grenzen niet alleen gaan over wanneer een test plaatsvond, maar over de betekenis van het werk.

Wat hebben ze geleerd? (En wat ze niet hebben geleerd)

Het papier laat zien dat deze methode echte, betekenisvolle blokken werk creëert die gemakkelijk te bestuderen en van te leren zijn.

Het Goede Nieuws: De AI kan leren om slechte gokken te herkennen en te corrigeren. Wanneer ze een nieuwe AI trainden met deze "hoofdstuk-gebaseerde" lessen, leerde deze een specifieke voorkeur voor het kiezen van bepaalde soorten gokken boven andere. Echter, dit leren was strikt gebonden aan hoe de trainingsparen geschreven waren. Wanneer deze werd getest op een nieuwe set problemen die anders waren opgebouwd (adversariële sets), verbeterde de AI niet; hij maakte exact dezelfde keuzes als voorheen, wat aantoont dat hij niet een algemene vaardigheid voor beter gokken had geleerd.
De Realiteitscheck: Het papier is zeer eerlijk over wat het niet heeft bewezen.
- Ze hebben dit getest op een specifieke set programmeertaken.
- In hun kleine test loste de nieuwe AI niet meer problemen op totaal dan de oude AI; hij loste exact hetzelfde aantal taken op.
- Het "leren" dat ze zagen, was zeer specifief voor de constructie van de data. Het is alsof je een specifieke raadsel perfect leert, maar niet noodzakelijkerwijs beter bent in het oplossen van alle raadsels.

De Kern van het Verhaal

Dit papier beweert niet dat het een superintelligente robot heeft gebouwd die elke code direct kan repareren. In plaats daarvan heeft het een manier gevonden om het "denkproces" van de robot veel duidelijker te maken. Door de robot te vragen een titel te schrijven voor elke theorie die hij probeert, kunnen de onderzoekers een lange, verwarrende bende van fouten omzetten in een reeks heldere, korte lessen.

Het is het verschil tussen een rapportcijfer krijgen dat zegt "Je bent gezakt voor het semester" en een rapportcijfer krijgen dat zegt "Je bent gezakt voor het hoofdstuk algebra, maar je hebt het hoofdstuk meetkunde uitstekend gedaan, en hier is precies waarom de algebra mislukte." Het papier suggereert dat dit soort gedetailleerde feedback een krachtig hulpmiddel is om AI te onderwijzen, zelfs als de robot nog niet helemaal klaar is om een professionele programmeur te worden.

Technische Samenvatting: Trajecten die zichzelf segmenteren

1. Probleemstelling

Trajecten van long-horizon coding-agents vertonen een fundamentele mismatch met standaard trainingsunits. Huidige benaderingen vertrouwen op drie gebrekkige mechanismen voor krediettoewijzing (credit assignment):

Per-actie krediet: Individuele acties (bijv. grep, pytest) missen intrinsieke waarde; hun nut hangt volledig af van de causale hypothese die ze dienen.
Terminale episode-labels: Een enkele succes/falen-bit vervaagt het onderscheid tussen productieve exploratie en verlaten richtingen, waardoor goed onderbouwde fasen worden samengevoegd met mislukte commitments.
Vaste vensters: Willekeurige tijdstap-grenzen (bijv. $K$ -turn vensters) splitsen vaak coherente onderzoeken of voegen het verlaten van één oorzaak samen met de adoptie van een andere.

Deze grenzen zijn afgeleid van logging-mechanica in plaats van de evoluerende epistemische staat van de agent, wat resulteert in ruisige targets die oppervlaktevorm belonen boven causaal redeneren.

2. Methodologie

2.1 Door de agent verklaarde semantische zelfsegmentatie

Het artikel introduceert een protocol tijdens de collectie waarbij de actieve agent zijn eigen grenzen blootlegt via een declaratief contract.

Het Mechanisme: Tijdens een tool-gebruikende rollout adopteert de actieve agent een falsifieerbare causale hypothese ( $h_k$ ) en verklaart deze. De agent verzamelt vervolgens bewijs, bewerkt code of voert controles uit onder deze hypothese. De fase eindigt wanneer de agent een nieuwe hypothese ( $h_{k+1}$ ) adopteert of wanneer het traject eindigt.
De Kosten: Dit voegt een minimale overhead toe (gemiddeld 52 tokens per verklaring, ~9,8% van de agent-output) vergeleken met alternatieven die gold patches, omgeving-specifieke vocabulaire, reproduceerbare omgevingen of post-hoc segmenters vereisen.
Het Collectieprotocol: Een agent probeert een taak uit te voeren. Als het verborgen tests niet doorstaat, grijpt een reviewer-model in. De reviewer ziet de referentie-fix, maar is verboden deze te benoemen. In plaats daarvan moet de reviewer het volgende bieden: (1) een negatie van de huidige foutieve aanpak en (2) de kleinste positieve richting om als volgende te onderzoeken. Dit dwingt de agent om de weerlegde hypothese te verlaten en een nieuwe hypothese te adopteren, wat een duidelijke "foutieve-oorzaak-dan-correctie" transitie creëert.

2.2 Vier gesuperviseerde targets vanuit één collectie

Een enkele rollout levert vier verschillende trainingsweergaven op, gebruikmakend van de asymmetrie van informatie:

Audit (2.721 rijen): De auditor ziet de voltooide fase en koppelt het bewijs om te beoordelen of de richting deugde en om ontbrekend bewijs te identificeren. Dit herstelt lessen uit spans die een episode-label zou weggooien.
Propose (1.405 rijen): Het model ziet alleen de staat op de grens (gemaskeerd) en moet een controleerbare volgende hypothese of ontbrekend bewijs afleiden.
Fix (553 rijen): Het model ziet een uitkomst-bevestigde oorzaak en bron om een gelokaliseerde diagnose om te zetten in een patch.
Preference Pairs (2.551 rijen): Het model ziet de gemaskeerde grens-staat en leert een voortschrijdende opening te verkiezen boven een stagnerende of weerlegde opening.

2.3 Phase-DPO

Het artikel implementeert een standaard Direct Preference Optimization (DPO) op de preference pairs. Het doel is om een beleid $\pi_\theta$ te leren waarvoor geldt dat $\pi_\theta(y^+ | x) > \pi_\theta(y^- | x)$ , waarbij $y^+$ een geprefereerde openingshypothese is en $y^-$ een afgewezen hypothese, gegeven de gemaskeerde staat $x$ . De fase dient als de kredietunit, waarbij bepaald wordt waar de context wordt afgesneden en welke tekst het target is.

3. Belangrijkste Bijdragen

Afhankelijkheidsvrije Grenzen: De segmentatie wordt geleverd door de actieve policy zelf onder een declaratief contract, zonder externe gold patches, mijlpaal-vocabulaire of post-hoc segmenters. De grens arriveert binnen hetzelfde traject dat de traject produceert.
Adresseerbare Units: In tegenstelling tot vensters gedefinieerd door positie, is een verklaarde hypothese een adresseerbare handle. Dit maakt fijnmaziger krediet toewijzen mogelijk, processupervisie zonder stap-annotatie, en sturing op basis van naam (het negeren van specifieke conjecturen in plaats van hele trajecten).
Semantische Coherentie: De grenzen volgen het redeneren van de agent, niet logging-artefacten.
- Attributie: Wanneer verklaringen worden verwijderd, schrijft een onafhankelijk model actieblokken toe aan de regerende hypothese met een 2,18x kans (gepaarde sign test $p=0.0002$ ), wat beter presteert dan vensters van gelijke lengte.
- Niet-afleidbaarheid: Een code-blinde menselijke annotator vindt 24/40 grenzen (tegenover de 11,5 verwacht door toeval), terwijl een mechanische test-event regel bij noch strikte, noch permissieve drempels het toeval niet verslaat.
Constructie-interface: Het protocol produceert "foutieve-oorzaak-dan-correctie" transities die zelangzaam in opgenomen werk worden gevonden, wat audit-supervisie oplevert uit gefaalde regio's die standaard episode-labels zouden weggooien.

4. Resultaten

4.1 Validiteit van de Unit

Attributie: Actieblokken blijven toe te schrijven aan hun regerende hypothese, zelfs nadat de verklaringstekst is verwijderd, wat bevestigt dat de grens semantisch is en niet lexicaal.
Herstelbaarheid: Een code-blinde lezer kan grenzen aanzienlijk beter herstellen dan willekeurig, hoewel zij over-segmenteren (1,55x), wat aangeeft dat de grenzen niet triviaal reproduceerbaar zijn door eenvoudige heuristieken.

4.2 Downstream Optimalisatie (Phase-DPO)

Oriëntatiesensitiviteit: Training op 2.551 paren met een 27B SFT policy produceert een label-geïnverteerde arm die de scheiding niet reproduceert, wat bevestigt dat het signaal geen artefact is van de optimizer shell.
Generalisatiegrenzen:
- Op adversarieel gebouwde helden-items (87 instanties) veranderde de getrainde adapter 0/91 beslissingen.
- Op matched-construction items (60 items uit dezelfde generator-familie) veranderde de adapter 4/60 beslissingen (allemaal fout-naar-goed), terwijl de controles geen enkele verandering lieten zien.
- Conclusie: De aangepaste voorkeur is echt maar constructie-gebonden; het leert hoe de paren geschreven zijn in plaats van een generaliseerbare capaciteit.

4.3 Rollout Pilot

Een 20-taak pilot op SWE-bench Verified toonde:

Resolve Rate: Base (13/20), SFT (14/20), Phase-DPO (14/20). Geen statistisch significante verbetering in de resolve rate.
Efficiëntie: Phase-DPO vertoonde een neiging naar kortere trajecten (14,0% reductie in berichten t.o.v. base), maar de betrouwbaarheidsintervallen bevatten nul.
Casestudies: Specifieke gevallen lieten zien dat DPO betere lokale keuzes maakte (bijv. het behouden van interne defaults) of slechtere (bijv. vroegtijdig vastleggen op foutieve locaties), wat benadrukt dat betere fase-selectie geen globaal succes garandeert.

5. Betekenis en Claims

Het artikel claimt bescheiden dat het segmentatieprotocol tijdens de collectie en de data-interface de primaire bijdragen zijn.

Wat is vastgesteld: Een semantische grens kan goedkoop worden verkregen zonder externe afhankelijkheden. Deze grens creëert een coherente unit waarin acties toe te schrijven zijn aan een regerende hypothese, wat het mogelijk maakt om lessen te extraheren uit gefaalde zoekrichtingen (audit supervisie) en voorkeurs-paren te construeren.
Wat niet is vastgesteld: Het artikel claimt niet dat trainen op deze units resulteert in een policy met superieure end-to-end programmeercapaciteiten of hogere resolve rates. Het optimalisatiesignaal is oriëntatie-gevoelig maar momenteel gebonden aan de constructie van de trainingsparen.
Toekomstige Richting: Het artikel stelt dat de volgende variabele die gevarieerd moet worden de diversiteit van de paar-corpus is, en niet de definitie van de grens zelf. De grens is een noodzakelijke voorwaarde voor de unit, maar het nut van de unit hangt af van de kwaliteit en variëteit van de data die zij structureert.

Het werk herformuleert het "credit unit" probleem: door de agent zijn eigen causale commitments te laten verklaren, produceert het systeem trainingsdata die onderscheid maakt tussen zoekrichtingen in plaats van alleen uitkomsten, wat een pad biedt naar meer fijnmazige en interpreteerbare agent-training.