🤖 AI

Learning CLI Agents with Structured Action Credit under Selective Observation

Dieser Beitrag adressiert die Herausforderungen der selektiven Beobachtung und der Zuweisung von Belohnungsgutschriften bei spärlichen Belohnungen beim Lernen von CLI-Agenten durch die Einführung des $\sigma$ -Reveal-Inferenzzeitmechanismus, der Verstärkungslernmethode Action Advantage Assignment ( $\mathrm{A}^3$ ) und des ShellOps-Datensatz-Sets zur überprüfbaren Evaluation.

Ursprüngliche Autoren: Haoyang Su, Ying Wen

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haoyang Su, Ying Wen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen sehr klugen, aber leicht blinden Assistenten ein, um eine riesige, chaotische Bibliothek zu verwalten. Dieser Assistent kann Bücher lesen, Regale verschieben und neue Notizen schreiben, sieht aber zu jedem Zeitpunkt nur einen winzigen Eckbereich der Bibliothek. Darüber hinaus teilen Sie ihm erst am ganz Ende mit, ob er das gesamte Puzzle gelöst hat, nicht aber, ob er im ersten Schritt das richtige Buch aufgehoben oder im zweiten Schritt die richtige Notiz geschrieben hat.

Dies ist die Herausforderung, der sich die Arbeit stellt: CLI-Agenten (Computerprogramme, die mit der Kommandozeile eines Computers kommunizieren) darin zu unterrichten, in komplexen Dateisystemen zu arbeiten, in denen sie nicht alles sehen können und erst am Ende ein Signal „Gute Arbeit" oder „Fehlschlag" erhalten.

Die Autoren schlagen eine neue Methode vor, um diese Agenten mit zwei Haupttricks zu trainieren: σ-Reveal und A3.

Die zwei großen Probleme

Das „Verblindungs"-Problem (Selektive Beobachtung):
Die Bibliothek (das Dateisystem des Computers) enthält Tausende von Dateien. Der Agent kann sie nicht alle auf einmal lesen, da er ein begrenztes Gedächtnis (Token-Budget) hat. Zeigt man ihm die gesamte Bibliothek, wird er überwältigt. Zeigt man ihm nichts, rät er.
- Die Lösung der Arbeit (σ-Reveal): Stellen Sie sich dies als einen intelligenten Bibliothekar vor, der die spezifische Frage des Agenten betrachtet und nur die relevanten Bücher und Ordner herauszieht, um sie dem Agenten zu zeigen, bevor er mit der Arbeit beginnt. Anstatt die gesamte Bibliothek auf den Tisch zu kippen, sagt der Bibliothekar: „Hier sind die 5 Dateien, die Sie tatsächlich benötigen, um dies zu lösen. Ignorieren Sie den Rest." Dies hilft dem Agenten, sich auf die richtigen Beweise zu konzentrieren, ohne sich zu verirren.
Das „Black-Box"-Belohnungsproblem (Kreditvergabe):
Der Agent unternimmt viele Schritte (Züge), um eine Aufgabe zu lösen. Am Ende sagen Sie: „Erfolg!" oder „Fehlschlag". Aber welcher spezifische Schritt hat den Unterschied gemacht? Hat der Agent im Schritt 2 die richtige Datei gefunden? Hat er im Schritt 4 den falschen Befehl eingegeben?
- Die Lösung der Arbeit (A3): Dies ist eine neue Art, den Aktionen des Agenten Kredit zu verleihen. Anstatt nur zu sagen „Gute Gesamtleistung", zerlegt A3 die Bewertung in drei Ebenen:
  - Die Episoden-Bewertung: Hat dieser gesamte Versuch im Vergleich zu anderen Versuchen bei derselben Aufgabe besser funktioniert?
  - Die Zug-Bewertung: Sah dieser spezifische Befehl ähnlich aus wie die Befehle, die in anderen erfolgreichen Versuchen funktioniert haben? (Die Arbeit verwendet einen speziellen „Fingerabdruck" namens AST, um die Struktur von Befehlen zu vergleichen, ähnlich wie man das Skelett eines Satzes vergleicht und nicht nur die Wörter).
  - Die Baum-Bewertung: Hat dieser spezifische Pfad von Aktionen zu einem besseren Ergebnis geführt als ähnliche Pfade, die von anderen Agenten gewählt wurden?
- Analogie: Stellen Sie sich einen Trainer vor, der ein Fußballteam beobachtet. Anstatt nur zu sagen „Wir haben gewonnen", sagt der Trainer: „Toller Pass in der 10. Minute (Zug-Bewertung), dieser Zug war genau wie der, der letzte Woche das Tor erzielt hat (Struktur-Bewertung), und die Entscheidung, die linke Seite anzugreifen, war die richtige Strategie im Vergleich zur rechten Seite (Baum-Bewertung)." Dies hilft dem Agenten zu lernen, genau was er wiederholen soll.

Der neue Spielplatz: ShellOps

Um dies zu testen, bauten die Autoren einen neuen Trainingsbereich namens ShellOps.

Stellen Sie sich dies als ein Fitnessstudio für Computer-Agenten vor.
Es enthält über 1.600 Aufgaben, die von einfachen „Finde diese Datei" bis zu komplexen „Bearbeite diese 20 Dateien und gib mir eine Zusammenfassung" reichen.
Es ist so konzipiert, dass es überprüfbar ist: Der Computer kann automatisch prüfen, ob der Agent tatsächlich das Richtige getan hat (z. B. wurde die Datei tatsächlich korrekt bearbeitet?), anstatt nur zu raten, ob die Antwort gut klingt.

Was passierte, als sie es versuchten?

Die Autoren testeten ihre neue Methode (A3 + σ-Reveal) gegen andere hochrangige KI-Agenten unter Verwendung eines 14-Milliarden-Parameter-Modells (ein mittelgroßes, aber leistungsstarkes Gehirn).

Die Ergebnisse: Ihre Methode schnitt deutlich besser ab als die anderen.
- Bei den schwierigsten Aufgaben (den „Hybrid"-Aufgaben, die sowohl das Finden von Informationen als auch das Bearbeiten von Dateien erfordern), erreichte ihr Agent etwa 24,6 % Korrektheit, während die nächstbeste Methode nur 11,3 % erreichte.
- Es war auch günstiger und schneller zu trainieren. Einige andere Methoden erfordern eine zweite „Richter"-KI, um jeden Schritt zu bewerten, was langsam und teuer ist. Ihre Methode führt die Bewertungsrechnung mathematisch unter Verwendung der Struktur des Codes selbst durch, was die Kosten niedrig hält.

Das Fazit

Die Arbeit behauptet, dass wir Agenten durch eine fokussierte Sicht auf die Dateien, die sie benötigen (σ-Reveal), und einen detaillierten Leistungsbericht darüber, welche Aktionen genau gut waren (A3), viel besser darin unterrichten können, Computerdateisysteme zu navigieren und zu reparieren.

Sie behaupteten nicht, dass dies für medizinische Diagnosen, selbstfahrende Autos oder kreatives Schreiben funktioniert. Sie konzentrierten sich spezifisch auf Kommandozeilen-Aufgaben: das Finden von Protokollen, das Bearbeiten von Code, das Aggregieren von Daten aus Tabellenkalkulationen und das Reparieren von Datbankeintragungen. In dieser spezifischen Welt machte ihr neuer Ansatz mit „intelligentem Bibliothekar" und „detailliertem Trainer" die Agenten deutlich schlauer und zuverlässiger.

Technische Zusammenfassung: Lernen von CLI-Agenten mit strukturiertem Aktionskredit unter selektiver Beobachtung

Problemstellung

Command-Line-Interface (CLI)-Agenten stellen ein praktisches Paradigma für die Interaktion zwischen Agent und Computer dar, da sie direkt über Shell-Befehle in Dateisystemumgebungen operieren, anstatt über vordefinierte Tool-APIs. Das Training dieser Agenten stößt jedoch auf zwei gekoppelte Engpässe:

Selektive Beobachtung: Agenten müssen aufgabenrelevante Beweise innerhalb großer, hochdimensionaler Codebasen und Dateisysteme aus partiellen Beobachtungen identifizieren. Die initiale Ansicht deckt oft nur eine begrenzte Projektion der Umgebung ab, was die Auswahl der richtigen Dateien oder Verzeichnisse für Aktionen erschwert.
Sparsamer Aktionskredit: Bei Multi-Turn-Interaktionen sind terminale Belohnungen oft spärlich und verzögert und treten erst am Ende einer Episode auf. Die Zuweisung von Kredit zu spezifischen Aktionen, die eine lange Trajektorie prägen, ist herausfordernd, insbesondere wenn der Zustandsraum groß ist und fast jede Beobachtung einzigartig ist. Dies schwächt die Annahmen bestehender Reinforcement-Learning (RL)-Methoden, die auf wiederholten Zuständen zur Normalisierung angewiesen sind.

Gängige Ansätze, wie das überwachtes Feinabstimmen auf Trajektorien-Ebene, führen häufig zu einer Memorierung von Schnittstellenmustern statt zu einem echten Aufgabenverständnis. Umgekehrt haben bestehende RL-Methoden (z. B. Varianten der Group Relative Policy Optimization) Schwierigkeiten mit der Kreditvergabe in CLI-Umgebungen aufgrund des Fehlens wiederholter Zustände und der Komplexität, spärliche terminale Belohnungen auf spezifische Shell-Befehlsstrukturen abzubilden.

Methodik

Der Artikel schlägt ein einheitliches Framework vor, das sowohl die Beobachtung als auch die Kreditvergabe durch zwei primäre Mechanismen adressiert: $\sigma$ -Reveal und Action Advantage Assignment (A3).

1. $\sigma$ -Reveal: Selektive Beobachtung

Um den Engpass der partiellen Beobachtung zu adressieren, führen die Autoren $\sigma$ -Reveal ein, einen Inferenzzeit-Mechanismus, der eine token-budgetierte initiale Arbeitsbereichsansicht konstruiert.

Mechanismus: Vor der ersten Aktion wählt $\sigma$ -Reveal eine unterbaumbeschlossene Menge von Dateien aus dem initialen Dateibaum ( $FS_0$ ) aus, die einen Relevanzscore $\hat{\mu}(x | o_0)$ unter einem Token-Budget $B$ maximiert.
Relevanzbewertung: Der Score kombiniert drei Signale:
1. Namensübereinstimmung: Ob der Dateiname mit Tokens in der Aufgabenanweisung übereinstimmt.
2. Tiefen-Priorität: Ein geometrischer Abfall basierend auf der Tiefe der Datei im Verzeichnisbaum.
3. Erweiterungs-Priorität: Die Wahrscheinlichkeit, dass die Dateierweiterung für den inferierten Aufgabentyp relevant ist.
Ergebnis: Dies stellt sicher, dass der Agent einen kontextuell reichen, aber token-effizienten Blick auf den Arbeitsbereich erhält, wobei der Verzeichnis-Kontext für ausgewählte Dateien erhalten bleibt.

2. Action Advantage Assignment (A3)

Um die spärliche Kreditvergabe zu adressieren, ist A3 eine native agentische RL-Methode, die pro-Turn-Vorteile konstruiert, indem sie drei komplementäre Signale fusioniert, ohne zusätzliche Wertmodelle oder Zustandsanker zu benötigen.

AST-basierte Aktionsähnlichkeit: Die Methode quantifiziert die Aktionsabsicht durch den Vergleich von Abstract Syntax Tree (AST)-Signaturen von Shell-Befehlen. Unter Verwendung von Tree-sitter für Bash werden Aktionen in strukturelle Signaturen (Verben, Literale, Kontrollstrukturen) umgewandelt, die unabhängig von spezifischen Dateipfaden oder Literalwerten sind. Der Abstand zwischen Aktionen wird über den normalisierten Levenshtein-Abstand dieser Signaturen berechnet.
Drei-Kanal-Vorteilsfusion:
1. Episoden-Rückgrat ( $A^{ep}$ ): Setzt den Return einer Rollout gegen den Median-Return von Geschwister-Rollouts für denselben Prompt in Kontrast, normalisiert durch die Median Absolute Deviation (MAD). Dies liefert ein globales Signal für den Aufgabenerfolg.
2. Turn-Level-Aktions-Sub-Kette-Residuum ( $A^{intent}$ ): Gruppiert Trajektorien an einem bestimmten Turn basierend auf der strukturellen Ähnlichkeit ihrer jüngsten Aktions-Sub-Ketten (unter Verwendung des AST-Abstands). Es berechnet einen Leave-One-Out (LOO)-Mittelwert der Returns für strukturell ähnliche Aktionen und weist Kredit basierend auf der Abweichung von diesem Mittelwert zu. Dies isoliert den Wert spezifischer Befehlsstrukturen.
3. Baum-Vorteil ( $A^{tree}$ ): Fasst Interaktionsverläufe in „Eimern" basierend auf vergangenen Aktionssignaturen zusammen. Es berechnet die Wertdifferenz zwischen dem Treffen eines spezifischen abstrakten Aktionszweigs gegenüber dem durchschnittlichen Zweig aus demselben abstrakten Zustand. Dieses Signal wird durch die Gruppengröße gesteuert, um Rauschen in kleinen Clustern zu verhindern.
Fusion: Diese drei Signale werden normalisiert, gewichtet und durch eine begrenzte Aktivierungsfunktion (tanh) geleitet, um den finalen Vorteil $A_i$ zu erzeugen, der für Policy-Gradient-Updates verwendet wird.

3. ShellOps-Datensatz

Um dieses Setting zu evaluieren, stellten die Autoren ShellOps und ShellOps-Pro zusammen, verifizierbare Datensatz-Suiten, die CLI-Aufgaben in Repository-Umgebungen abdecken.

Umfang: Aufgaben umfassen Lookup (Extrahieren von Werten), Aggregate (skalare Antworten aus verstreuten Beweisen), Edit (verifizierbare Dateineuschreibungen) und Mixed (Kombination von stdout und Dateibearbeitungen).
Skala: ShellOps enthält 1.624 Aufgaben; ShellOps-Pro fügt 150 schwierigere, out-of-distribution-Aufgaben mit größeren Arbeitsbereichen hinzu (Median 25 Dateien pro Aufgabe vs. 3 im Standard-Set) und diverse Dateierweiterungen.

Hauptergebnisse

Experimente wurden mit dem Qwen3-14B-Policy-Modell über mehrere Benchmarks hinweg durchgeführt (AgentBench, DataBench, EHRCon, TableBench und ShellOps).

Leistung: A3 mit $\sigma$ -Reveal erzielte die stärksten Ergebnisse unter den Qwen3-14B-Methoden. Bei den ShellOps-Hybridaufgaben (die sowohl Dateibearbeitungen als auch stdout erfordern) erreichte A3 einen exakten Übereinstimmungsscore von 24,6 %, was die stärkste Baseline (11,3 %) signifikant übertrifft.
Sampling-Effizienz: In Bezug auf Pass@k erreichte A3 mit $\sigma$ -Reveal 55,7 % auf ShellOps (Pass@5), verglichen mit 28,6 % für die beste Nicht-A3-Baseline.
Langhorizont-Transfer: Auf ShellOps-Pro mit erweiterten Horizonten (bis zu 10 Schritte) behielt A3 die beste Leistung unter den Qwen3-14B-Agenten bei und erreichte in spezifischen Settings Leistungsniveaus, die mit viel größeren Frontier-Modellen (z. B. Qwen3-235B) vergleichbar sind, obwohl Lücken zu Modellen wie Kimi-K2.6 bestehen blieben.
Stabilität: Trainingsdiagnosen zeigten, dass A3 einen stabilen Surrogat-KL und Policy-Entropie aufrechterhielt und die „KL-Spitzen" und den Entropie-Kollaps vermied, die bei Baselines wie HGPO und RetroAgent beobachtet wurden.
Effizienz: Die Kosten für die Vorteilberechnung von A3 sind mit dem standardmäßigen gruppenrelativen Training vergleichbar, im Gegensatz zu Methoden, die auf LLM-Richtern basieren (z. B. GiGPO, HGPO), die erheblich höheren Rechenaufwand verursachen.

Bedeutung und Behauptungen

Der Artikel behauptet, dass Auswahl von Arbeitsbereichsbeweisen und Befehlsstruktur effektive Grundlagen für das Lernen von CLI-Agenten sind.

Struktureller Kredit: Durch die Nutzung der nativen strukturellen Attribute von CLI-Aktionen (AST-Signaturen) anstelle von Oberflächentext bietet A3 eine skalierbare und rechnerisch effiziente Methode zur Kreditvergabe, die nicht auf wiederholten Zuständen oder externen Richtern angewiesen ist.
Beobachtungsmanagement: $\sigma$ -Reveal zeigt, dass eine selektive, token-budgetierte Kontextinjektion das Problem der partiellen Beobachtung in großen Dateisystemen effektiv mildern kann, ohne eine erschöpfende Suche zu erfordern.
Praktisches Paradigma: Die Arbeit etabliert eine verifizierbare Schleife für CLI-Agenten, bei der Belohnungen aus ausführbaren Ergebnissen (Dateizustände und Terminalausgaben) abgeleitet werden und sich über isolierte Eingabe-Ausgabe-Paare hinaus zu einer echten Multi-Turn-Interaktionsoptimierung bewegen.

Die Autoren weisen auf Einschränkungen hin, darunter die Abhängigkeit von der Shell-Struktur als Proxy für die Absicht (was semantische Unterschiede in Pfaden oder Dateiinhalten übersehen kann) und der derzeitige Umfang, der auf shell-gesteuerte Dateisystem-Interaktionen beschränkt ist, was eine weitere Validierung für GUI- oder vernetzte Settings erfordert.