Riepilogo Tecnico: Apprendimento di Agenti CLI con Credito di Azione Strutturato sotto Osservazione Selettiva

Enunciato del Problema

Gli agenti per Interfaccia a Righe di Comando (CLI) rappresentano un paradigma pratico per l'interazione agente-computer, operando direttamente negli ambienti del filesystem tramite comandi shell invece di API di strumenti predefiniti. Tuttavia, l'addestramento di questi agenti incontra due colli di bottiglia accoppiati:

1. Osservazione Selettiva: Gli agenti devono identificare prove rilevanti per il compito all'interno di grandi codebase e filesystem ad alta dimensionalità partendo da osservazioni parziali. La vista iniziale copre spesso solo una proiezione limitata dell'ambiente, rendendo difficile selezionare i file o le directory corretti per l'azione.
2. Credito di Azione Sparso: Nelle interazioni multi-turno, le ricompense terminali sono spesso sparse e ritardate, apparendo solo alla fine dell'episodio. Assegnare credito ad azioni specifiche che modellano una traiettoria lunga è impegnativo, specialmente quando lo spazio degli stati è vasto e quasi ogni osservazione è unica, indebolendo le ipotesi fatte dai metodi esistenti di apprendimento per rinforzo (RL) che si basano su stati ripetuti per la normalizzazione.

Gli approcci attuali, come il fine-tuning supervisionato a livello di traiettoria, spesso portano alla memorizzazione di pattern di interfaccia piuttosto che a una comprensione genuina del compito. Al contrario, i metodi RL esistenti (ad esempio, varianti dell'ottimizzazione della politica relativa di gruppo) faticano nell'assegnazione del credito negli ambienti CLI a causa della mancanza di stati ripetuti e della complessità nel mappare ricompense terminali sparse su strutture specifiche di comandi shell.

Metodologia

Il documento propone un framework unificato che affronta sia l'osservazione sia l'assegnazione del credito attraverso due meccanismi principali: $\sigma$-Reveal e Assegnazione del Vantaggio di Azione (A3).

1. $\sigma$-Reveal: Osservazione Selettiva

Per affrontare il collo di bottiglia dell'osservazione parziale, gli autori introducono $\sigma$-Reveal, un meccanismo di tempo di inferenza che costruisce una vista iniziale dello spazio di lavoro con un budget di token.

• Meccanismo: Prima della prima azione, $\sigma$-Reveal seleziona un insieme chiuso di sottoalberi di file dall'albero dei file iniziale ($FS_0$) che massimizza un punteggio di rilevanza $\hat{\mu}(x | o_0)$ sotto un budget di token $B$.
• Punteggio di Rilevanza: Il punteggio combina tre segnali:
  1. Corrispondenza dei Nomi: Se il nome del file corrisponde a token nelle istruzioni del compito.
  2. Priorità di Profondità: Un decadimento geometrico basato sulla profondità del file nell'albero delle directory.
  3. Priorità di Estensione: La probabilità che l'estensione del file sia rilevante per il tipo di compito inferito.
• Esito: Ciò garantisce che l'agente riceva una vista dello spazio di lavoro ricca di contesto ma efficiente in termini di token, preservando il contesto delle directory per i file selezionati.

2. Assegnazione del Vantaggio di Azione (A3)

Per affrontare l'assegnazione del credito sparso, A3 è un metodo nativo di RL agenziale che costruisce vantaggi per turno fondendo tre segnali complementari senza richiedere modelli di valore ausiliari o ancoraggio degli stati.

• Similarità delle Azioni Basata su AST: Il metodo quantifica l'intento dell'azione confrontando le firme dell'Albero Sintattico Astratto (AST) dei comandi shell. Utilizzando Tree-sitter per Bash, le azioni vengono convertite in firme strutturali (verbi, letterali, strutture di controllo) indipendenti da percorsi di file specifici o valori letterali. La distanza tra le azioni è calcolata tramite la distanza di Levenshtein normalizzata su queste firme.
• Fusione del Vantaggio a Tre Canali:
  1. Backbone dell'Episodio ($A^{ep}$): Contrasta il ritorno di una simulazione (rollout) contro il ritorno mediano delle simulazioni "fratelle" per lo stesso prompt, normalizzato dalla Deviazione Assoluta Mediana (MAD). Questo fornisce un segnale globale di successo del compito.
  2. Residuo della Sottocatena di Azione a Livello di Turno ($A^{intent}$): Raggruppa le traiettorie a un turno specifico basandosi sulla similarità strutturale delle loro recenti sottocatene di azioni (utilizzando la distanza AST). Calcola una media leave-one-out (LOO) dei ritorni per azioni strutturalmente simili e assegna credito basandosi sulla deviazione da questa media. Questo isola il valore di strutture di comandi specifiche.
  3. Vantaggio dell'Albero ($A^{tree}$): Astrae le storie di interazione in "secchi" basati sulle firme delle azioni passate. Calcola la differenza di valore tra l'assunzione di un ramo di azione astratto specifico rispetto al ramo medio dallo stesso stato astratto. Questo segnale è controllato dalla dimensione del gruppo per prevenire il rumore in cluster piccoli.
• Fusione: Questi tre segnali vengono normalizzati, pesati e passati attraverso una funzione di attivazione limitata (tanh) per produrre il vantaggio finale $A_i$ utilizzato per gli aggiornamenti del gradiente della politica.

3. Dataset ShellOps

Per valutare questo scenario, gli autori hanno costruito ShellOps e ShellOps-Pro, suite di dataset verificabili che coprono compiti CLI in ambienti di repository.

• Ambito: I compiti includono Lookup (estrazione di valori), Aggregate (risposte scalari da prove sparse), Edit (sovrascritture di file verificabili) e Mixed (combinazione di stdout e modifiche ai file).
• Scala: ShellOps contiene 1.624 compiti; ShellOps-Pro aggiunge 150 compiti più difficili, fuori distribuzione, con spazi di lavoro più ampi (mediana di 25 file per compito contro 3 nel set standard) e diverse estensioni di file.

Risultati Chiave

Gli esperimenti sono stati condotti utilizzando il modello di politica Qwen3-14B su diversi benchmark (AgentBench, DataBench, EHRCon, TableBench e ShellOps).

• Prestazioni: A3 con $\sigma$-Reveal ha ottenuto i risultati più forti tra i metodi Qwen3-14B. Sui compiti ibridi di ShellOps (che richiedono sia modifiche ai file sia stdout), A3 ha raggiunto un punteggio di corrispondenza esatta del 24,6%, superando significativamente la baseline più forte (11,3%).
• Efficienza nel Campionamento: In termini di Pass@k, A3 con $\sigma$-Reveal ha raggiunto il 55,7% su ShellOps (Pass@5), rispetto al 28,6% della migliore baseline non-A3.
• Trasferimento a Lungo Orizzonte: Su ShellOps-Pro con orizzonti estesi (fino a 10 passaggi), A3 ha mantenuto le migliori prestazioni tra gli agenti Qwen3-14B, raggiungendo livelli di prestazioni comparabili a modelli frontier molto più grandi (ad esempio, Qwen3-235B) in configurazioni specifiche, sebbene siano rimaste delle lacune con modelli come Kimi-K2.6.
• Stabilità: Le diagnosi di addestramento hanno mostrato che A3 ha mantenuto un KL surrogato e un'entropia della politica stabili, evitando i "picchi di KL" e il collasso dell'entropia osservati in baseline come HGPO e RetroAgent.
• Efficienza: Il costo di calcolo del vantaggio di A3 è paragonabile all'addestramento relativo di gruppo standard, a differenza dei metodi che si affidano a giudici LLM (ad esempio, GiGPO, HGPO) che comportano un sovraccarico computazionale significativamente maggiore.

Significato e Affermazioni

Il documento afferma che la selezione delle prove dello spazio di lavoro e la struttura dei comandi sono basi efficaci per l'apprendimento degli agenti CLI.

• Credito Strutturale: Sfruttando gli attributi strutturati nativi delle azioni CLI (firme AST) piuttosto che il testo superficiale, A3 fornisce un metodo scalabile ed efficiente dal punto di vista computazionale per l'assegnazione del credito che non dipende da stati ripetuti o giudici esterni.
• Gestione dell'Osservazione: $\sigma$-Reveal dimostra che l'iniezione selettiva di contesto con budget di token può mitigare efficacemente il problema dell'osservazione parziale in grandi filesystem senza richiedere una ricerca esaustiva.
• Paradigma Pratico: Il lavoro stabilisce un ciclo verificabile per gli agenti CLI in cui le ricompense sono derivate da risultati eseguibili (stati dei file e output terminali), andando oltre le coppie input-output isolate verso un vero ottimizzazione dell'interazione multi-turno.

Gli autori notano le limitazioni, inclusa la dipendenza dalla struttura shell come proxy per l'intento (che potrebbe non cogliere differenze semantiche nei percorsi o nei contenuti dei file) e il fatto che l'ambito attuale sia limitato alle interazioni filesystem guidate da shell, richiedendo ulteriore validazione per ambienti GUI o di rete.