🤖 AI

Learning CLI Agents with Structured Action Credit under Selective Observation

Dit artikel behandelt de uitdagingen van selectieve observatie en toewijzing van credit voor schaarse beloningen bij het leren van CLI-agenten door de $\sigma$ -Reveal-inferentie-tijdmechanisme, de Action Advantage Assignment ( $\mathrm{A}^3$ )-versterkende leermethode en de ShellOps-dataset-suite voor verifieerbare evaluatie in te voeren.

Oorspronkelijke auteurs: Haoyang Su, Ying Wen

Gepubliceerd 2026-05-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haoyang Su, Ying Wen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slim maar lichtelijk blind assistent inhuurt om een enorme, chaotische bibliotheek te beheren. Deze assistent kan boeken lezen, planken verplaatsen en nieuwe notities schrijven, maar kan op elk moment slechts een klein hoekje van de bibliotheek zien. Bovendien vertel je hen pas aan het einde of ze de hele puzzel hebben opgelost, niet of ze in stap één het juiste boek hebben gepakt of in stap twee de juiste notitie hebben geschreven.

Dit is de uitdaging die het artikel aanpakt: het leren van CLI Agents (computerprogramma's die met de commandoregel van een computer communiceren) om te werken in complexe bestandsystemen waar ze niet alles kunnen zien en pas aan het einde een "goed gedaan" of "mislukt" signaal krijgen.

De auteurs stellen een nieuwe manier voor om deze agenten te trainen met twee belangrijkste trucs: σ-Reveal en A3.

De Twee Grote Problemen

Het "Blinddoek"-Probleem (Selectieve Observatie):
De bibliotheek (het bestandsysteem van de computer) heeft duizenden bestanden. De agent kan ze niet allemaal tegelijk lezen omdat het beperkt geheugen heeft (token-budget). Als je de hele bibliotheek toont, raakt het overweldigd. Als je niets toont, moet het gissen.
- De Oplossing van het Artikel (σ-Reveal): Denk hierbij aan een slimme bibliothecaris die kijkt naar de specifieke vraag van de agent en alleen de relevante boeken en mappen pakt om aan de agent te tonen voordat het aan het werk gaat. In plaats van de hele bibliotheek op het bureau te dumpen, zegt de bibliothecaris: "Hier zijn de 5 bestanden die je echt nodig hebt om dit op te lossen. Negeer de rest." Dit helpt de agent zich te focussen op het juiste bewijs zonder verdwaald te raken.
Het "Black Box"-Beloningsprobleem (Toewijzing van Krediet):
De agent onderneemt veel stappen (rondes) om een taak op te lossen. Aan het einde zeg je: "Succes!" of "Mislukt." Maar welke specifieke stap maakte het verschil? Vond de agent in stap 2 het juiste bestand? Tikte het in stap 4 het verkeerde commando in?
- De Oplossing van het Artikel (A3): Dit is een nieuwe manier om krediet toe te wijzen aan de acties van de agent. In plaats van alleen te zeggen "Goed gedaan in het algemeen", breekt A3 de score op in drie lagen:
  - De Episodische Score: Werkte deze hele poging beter dan andere pogingen voor dezelfde taak?
  - De Ronde Score: Leek dit specifieke commando op de commando's die werkten in andere succesvolle pogingen? (Het artikel gebruikt een speciale "vingerafdruk" genaamd een AST om de structuur van commando's te vergelijken, zoals het vergelijken van het skelet van een zin in plaats van alleen de woorden).
  - De Boom Score: Leek dit specifieke pad van acties tot een beter resultaat dan vergelijkbare paden die door andere agenten werden genomen?
- Analogie: Stel je een coach voor die een voetbalteam bekijkt. In plaats van alleen te zeggen "We hebben gewonnen", zegt de coach: "Grote pass in de 10e minuut (Ronde Score), die beweging was precies zoals degene die vorige week scoorde (Structuurscore), en kiezen om aan te vallen aan de linkerkant was de juiste strategie vergeleken met de rechterkant (Boom Score)." Dit helpt de agent te leren precies wat ze moeten herhalen.

De Nieuwe Speeltuin: ShellOps

Om dit te testen, bouwden de auteurs een nieuwe trainingsomgeving genaamd ShellOps.

Denk hierbij aan een sportschool voor computeragenten.
Het bevat meer dan 1.600 taken, variërend van simpel "vind dit bestand" tot complex "bewerk deze 20 bestanden en geef me een samenvatting".
Het is ontworpen om verifieerbaar te zijn: De computer kan automatisch controleren of de agent het juiste heeft gedaan (bijvoorbeeld: is het bestand daadwerkelijk correct bewerkt?), in plaats van alleen te gokken of het antwoord goed klinkt.

Wat Gebeurde Er Toen Ze Het Probeerden?

De auteurs testten hun nieuwe methode (A3 + σ-Reveal) tegen andere top-tier AI-agenten met een model van 14 miljard parameters (een middelgroot maar krachtig brein).

De Resultaten: Hun methode presteerde aanzienlijk beter dan de anderen.
- Op de moeilijkste taken (de "Hybride" taken die zowel het vinden van informatie als het bewerken van bestanden vereisen), kreeg hun agent ongeveer 24,6% correct, terwijl de volgende beste methode slechts 11,3% haalde.
- Het was ook goedkoper en sneller om te trainen. Sommige andere methoden vereisen een tweede "jury"-AI om elke stap te beoordelen, wat traag en duur is. Hun methode doet de beoordelingswiskunde op basis van de structuur van de code zelf, waardoor de kosten laag blijven.

De Conclusie

Het artikel beweert dat we door agenten een gefocusd overzicht te geven van de bestanden die ze nodig hebben (σ-Reveal) en een gedetailleerd rapport over precies welke acties goed waren (A3), ze veel beter kunnen leren navigeren in en repareren van computerbestandsystemen.

Ze beweerden niet dat dit werkt voor medische diagnose, zelfrijdende auto's of creatief schrijven. Ze richtten zich specifiek op commandorel-taken: logs vinden, code bewerken, data samenvoegen uit spreadsheets en database-invoer repareren. In die specifieke wereld maakte hun nieuwe "slimme bibliothecaris" en "gedetailleerde coach"-aanpak de agenten aanzienlijk slimmer en betrouwbaarder.

Technische Samenvatting: Leren van CLI-agenten met Gestructureerde Actiecredit onder Selectieve Observatie

Probleemstelling

Command Line Interface (CLI)-agenten vertegenwoordigen een praktisch paradigma voor agent-computerinteractie, die direct binnen bestandsysteemomgevingen opereren via shell-opdrachten in plaats van vooraf gedefinieerde tool-API's. Het trainen van deze agenten staat echter voor twee gekoppelde knelpunten:

Selectieve Observatie: Agenten moeten taakrelevante bewijzen identificeren binnen grote, hoogdimensionale codebases en bestandsystemen op basis van gedeeltelijke observaties. Het initiële overzicht dekt vaak slechts een beperkte projectie van de omgeving, wat het moeilijk maakt om de juiste bestanden of mappen voor actie te selecteren.
Schaarse Actiecredit: Bij multi-turn-interacties zijn terminalbeloningen vaak schaars en vertraagd, en verschijnen ze pas aan het einde van de episode. Het toekennen van credit aan specifieke acties die een lange trajectvorming bepalen, is uitdagend, vooral wanneer de ruimtestatus groot is en bijna elke observatie uniek is, waardoor de aannames van bestaande versterkingsleer (RL)-methoden verzwakken die vertrouwen op herhaalde staten voor normalisatie.

Huidige benaderingen, zoals supervisor fijnafstemming op trajectniveau, leiden vaak tot memorisatie van interfacepatronen in plaats van echt taakbegrip. Omgekeerd worstelen bestaande RL-methoden (bijvoorbeeld varianten van Group Relative Policy Optimization) met credittoewijzing in CLI-omgevingen vanwege het ontbreken van herhaalde staten en de complexiteit van het mappen van schaarse terminalbeloningen naar specifieke shell-opdrachtstructuren.

Methodologie

Het artikel stelt een unificerend kader voor dat zowel observatie als credittoewijzing aanpakt via twee primaire mechanismen: $\sigma$ -Reveal en Action Advantage Assignment (A3).

1. $\sigma$ -Reveal: Selectieve Observatie

Om het knelpunt van gedeeltelijke observatie aan te pakken, introduceren de auteurs $\sigma$ -Reveal, een inferentiemechanisme dat een token-budgetteerde initiële werkruimte-weergave construeert.

Mechanisme: Voordat de eerste actie wordt ondernomen, selecteert $\sigma$ -Reveal een boomstam-afgesloten set bestanden uit de initiële bestandsboom ( $FS_0$ ) die een relevantiescore $\hat{\mu}(x | o_0)$ maximaliseert binnen een tokenbudget $B$ .
Relevantiescoring: De score combineert drie signalen:
1. Naamovereenkomst: Of de bestandsnaam overeenkomt met tokens in de taakinstructie.
2. Diepteprioriteit: Een geometrische afname gebaseerd op de diepte van het bestand in de mappenboom.
3. Extensieprioriteit: De waarschijnlijkheid dat de bestandsextensie relevant is voor het afgeleide taaktype.
Resultaat: Dit zorgt ervoor dat de agent een contextueel rijke maar token-efficiënte weergave van de werkruimte ontvangt, waarbij de mapcontext voor geselecteerde bestanden behouden blijft.

2. Action Advantage Assignment (A3)

Om schaarse credittoewijzing aan te pakken, is A3 een native agentic RL-methode die per-turn-voordelen construeert door drie complementaire signalen te fuseren zonder hulpwaarde-modellen of statverankering te vereisen.

AST-gebaseerde Actiegelijkheid: De methode kwantificeert actie-intentie door Abstract Syntax Tree (AST)-handtekeningen van shell-opdrachten te vergelijken. Met behulp van Tree-sitter voor Bash worden acties omgezet in structurele handtekeningen (werkwoorden, literalen, besturingsstructuren) die onafhankelijk zijn van specifieke bestandspaden of literalen. De afstand tussen acties wordt berekend via genormaliseerde Levenshtein-afstand op deze handtekeningen.
Drie-Kanaals Voordeel-Fusie:
1. Episode-ruggengraat ( $A^{ep}$ ): Vergelijkt de opbrengst van een rollout met de mediaanopbrengst van broerrollouts voor dezelfde prompt, genormaliseerd door de Mediaan Absolute Afwijking (MAD). Dit levert een globaal signaal van taaksucces.
2. Turn-niveau Actie-Subketen Residu ( $A^{intent}$ ): Cluster trajecten op een specifiek moment op basis van de structurele gelijkenis van hun recente actie-subketens (met gebruik van de AST-afstand). Het berekent een leave-one-out (LOO) gemiddelde van opbrengsten voor structureel vergelijkbare acties en wijst credit toe op basis van de afwijking van dit gemiddelde. Dit isoleert de waarde van specifieke opdrachtstructuren.
3. Boomvoordeel ( $A^{tree}$ ): Abstracte interactiegeschiedenissen in "emmers" op basis van eerdere actiehandtekeningen. Het berekent het waardeverschil tussen het nemen van een specifieke abstracte actievertakking versus de gemiddelde vertakking vanuit dezelfde abstracte staat. Dit signaal wordt afgeschermd door groepsgrootte om ruis in kleine clusters te voorkomen.
Fusie: Deze drie signalen worden genormaliseerd, gewogen en door een gebonden activatiefunctie (tanh) geleid om het uiteindelijke voordeel $A_i$ te produceren dat wordt gebruikt voor policy-gradiëntupdates.

3. ShellOps Dataset

Om deze setting te evalueren, hebben de auteurs ShellOps en ShellOps-Pro opgezet, verifieerbare datasetsuites die CLI-taken in repository-omgevingen bestrijken.

Scope: Taken omvatten Lookup (waarden extraheren), Aggregate (scalare antwoorden uit verspreide bewijzen), Edit (verifieerbare bestands herschrijvingen) en Mixed (combinatie van stdout en bestandsbewerkingen).
Schaal: ShellOps bevat 1.624 taken; ShellOps-Pro voegt 150 moeilijkere, out-of-distribution-taken toe met grotere werkruimtes (mediaan 25 bestanden per taak versus 3 in de standaardset) en diverse bestandsextensies.

Belangrijkste Resultaten

Experimenten werden uitgevoerd met het Qwen3-14B policy-model over meerdere benchmarks (AgentBench, DataBench, EHRCon, TableBench en ShellOps).

Prestaties: A3 met $\sigma$ -Reveal behaalde de sterkste resultaten onder Qwen3-14B-methoden. Op de ShellOps hybride taken (die zowel bestandsbewerkingen als stdout vereisen) behaalde A3 een exacte match-score van 24,6%, wat significant beter is dan de sterkste baseline (11,3%).
Sampling-efficiëntie: In termen van Pass@k bereikte A3 met $\sigma$ -Reveal 55,7% op ShellOps (Pass@5), vergeleken met 28,6% voor de beste non-A3-baseline.
Transfervermogen op lange horizon: Op ShellOps-Pro met verlengde horizons (tot 10 stappen) behield A3 de beste prestaties onder Qwen3-14B-agenten en bereikte prestatieniveaus vergelijkbaar met veel grotere frontier-modellen (bijvoorbeeld Qwen3-235B) in specifieke settings, hoewel er nog steeds verschillen bleven met modellen zoals Kimi-K2.6.
Stabiliteit: Trainingsdiagnostiek toonde aan dat A3 stabiele surrogate KL en policy-entropie behield, waardoor de "KL-spiezen" en entropie-inzakking werden vermeden die werden waargenomen bij baselines zoals HGPO en RetroAgent.
Efficiëntie: De kosten voor het berekenen van het voordeel van A3 zijn vergelijkbaar met standaard groepsrelatief trainen, in tegenstelling tot methoden die vertrouwen op LLM-rechters (bijvoorbeeld GiGPO, HGPO), die aanzienlijk hogere rekenkosten met zich meebrengen.

Betekenis en Claims

Het artikel claimt dat selectie van bewijsmateriaal in de werkruimte en opdrachtstructuur effectieve bases zijn voor het leren van CLI-agenten.

Structurele Credit: Door gebruik te maken van de native gestructureerde attributen van CLI-acties (AST-handtekeningen) in plaats van oppervlaktetekst, biedt A3 een schaalbare en rekenkundig efficiënte methode voor credittoewijzing die niet afhankelijk is van herhaalde staten of externe rechters.
Observatiebeheer: $\sigma$ -Reveal demonstreert dat selectieve, token-budgetteerde contextinjectie het probleem van gedeeltelijke observatie in grote bestandsystemen effectief kan mitigeren zonder uitgebreid zoeken te vereisen.
Praktisch Paradigma: Het werk vestigt een verifieerbare lus voor CLI-agenten waarbij beloningen worden afgeleid van uitvoerbare uitkomsten (bestandsstaten en terminaluitvoer), en zo verder gaat dan geïsoleerde input-outputparen naar echte multi-turn-interactieoptimalisatie.

De auteurs wijzen op beperkingen, waaronder de afhankelijkheid van shell-structuur als proxy voor intentie (wat semantische verschillen in paden of bestandsinhoud kan missen) en het feit dat de huidige reikwijdte beperkt is tot shell-gedreven bestandsysteeminteracties, wat verdere validatie vereist voor GUI- of netwerkinstellingen.