🤖 AI

Learning CLI Agents with Structured Action Credit under Selective Observation

Ce papier aborde les défis de l'observation sélective et de l'attribution de crédit pour les récompenses clairsemées dans l'apprentissage d'agents CLI en introduisant le mécanisme d'inférence $\sigma$ -Reveal, la méthode d'apprentissage par renforcement Action Advantage Assignment ( $\mathrm{A}^3$ ) et la suite de jeux de données ShellOps pour une évaluation vérifiable.

Auteurs originaux : Haoyang Su, Ying Wen

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haoyang Su, Ying Wen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchiez un assistant très intelligent mais légèrement aveugle pour gérer une bibliothèque massive et chaotique. Cet assistant peut lire des livres, déplacer des étagères et écrire de nouvelles notes, mais il ne peut voir qu'un tout petit coin de la bibliothèque à un moment donné. De plus, vous ne lui indiquez s'il a résolu l'énigme entière qu'à la toute fin, et non s'il a pris le bon livre à l'étape un ou écrit la bonne note à l'étape deux.

C'est le défi que l'article relève : enseigner aux Agents CLI (programmes informatiques qui interagissent avec la ligne de commande d'un ordinateur) à travailler dans des systèmes de fichiers complexes où ils ne peuvent pas tout voir et ne reçoivent qu'un signal « bien joué » ou « échec » à la toute fin.

Les auteurs proposent une nouvelle méthode pour entraîner ces agents en utilisant deux astuces principales : σ-Reveal et A3.

Les Deux Grands Problèmes

Le Problème du « Bandeau » (Observation Sélective) :
La bibliothèque (le système de fichiers de l'ordinateur) contient des milliers de fichiers. L'agent ne peut pas les lire tous à la fois car sa mémoire est limitée (budget de tokens). Si vous lui montrez toute la bibliothèque, il est submergé. Si vous ne lui montrez rien, il devine.
- La Solution de l'Article (σ-Reveal) : Imaginez cela comme un bibliothécaire intelligent qui examine la question spécifique de l'agent et sort uniquement les livres et dossiers pertinents à lui montrer avant qu'il ne commence à travailler. Au lieu de déverser toute la bibliothèque sur le bureau, le bibliothécaire dit : « Voici les 5 fichiers dont vous avez réellement besoin pour résoudre ceci. Ignorez le reste. » Cela aide l'agent à se concentrer sur les bonnes preuves sans se perdre.
Le Problème de la Récompense « Boîte Noire » (Attribution du Crédit) :
L'agent effectue de nombreuses étapes (tours) pour résoudre une tâche. À la fin, vous dites « Succès ! » ou « Échec ». Mais quelle étape précise a fait la différence ? L'agent a-t-il trouvé le bon fichier à l'étape 2 ? A-t-il tapé la mauvaise commande à l'étape 4 ?
- La Solution de l'Article (A3) : C'est une nouvelle façon d'attribuer le crédit aux actions de l'agent. Au lieu de simplement dire « Bien joué dans l'ensemble », A3 décompose le score en trois couches :
  - Le Score de l'Épisode : Cette tentative globale a-t-elle mieux fonctionné que d'autres tentatives pour la même tâche ?
  - Le Score du Tour : Cette commande spécifique ressemble-t-elle aux commandes qui ont fonctionné dans d'autres tentatives réussies ? (L'article utilise une « empreinte » spéciale appelée AST pour comparer la structure des commandes, comme comparer le squelette d'une phrase plutôt que simplement les mots).
  - Le Score de l'Arbre : Ce chemin spécifique d'actions a-t-il conduit à un meilleur résultat que des chemins similaires empruntés par d'autres agents ?
- Analogie : Imaginez un entraîneur regardant une équipe de football. Au lieu de simplement dire « Nous avons gagné », l'entraîneur dit : « Super passe à la 10e minute (Score du Tour), ce mouvement était exactement comme celui qui a marqué la semaine dernière (Score de Structure), et choisir d'attaquer le côté gauche était la bonne stratégie par rapport au côté droit (Score de l'Arbre). » Cela aide l'agent à apprendre exactement quoi répéter.

Le Nouveau Terrain de Jeu : ShellOps

Pour tester cela, les auteurs ont construit un nouveau terrain d'entraînement appelé ShellOps.

Imaginez cela comme une salle de sport pour agents informatiques.
Il contient plus de 1 600 tâches, allant de simples « trouvez ce fichier » à des tâches complexes « éditez ces 20 fichiers et donnez-moi un résumé ».
Il est conçu pour être vérifiable : L'ordinateur peut vérifier automatiquement si l'agent a réellement fait la bonne chose (par exemple, le fichier a-t-il été édité correctement ?), plutôt que de simplement deviner si la réponse semble bonne.

Que s'est-il Passé Quand Ils Ont Essayé ?

Les auteurs ont testé leur nouvelle méthode (A3 + σ-Reveal) contre d'autres agents IA de premier plan en utilisant un modèle de 14 milliards de paramètres (un cerveau de taille moyenne mais puissant).

Les Résultats : Leur méthode a nettement surpassé les autres.
- Sur les tâches les plus difficiles (les « Hybrides » qui nécessitent à la fois de trouver des informations et d'éditer des fichiers), leur agent a obtenu environ 24,6 % de réussite, tandis que la méthode suivante ne réussissait qu'à 11,3 %.
- L'entraînement était également moins cher et plus rapide. Certaines autres méthodes nécessitent une seconde IA « juge » pour noter chaque étape, ce qui est lent et coûteux. Leur méthode effectue le calcul de notation mathématiquement en utilisant la structure du code lui-même, maintenant les coûts bas.

La Conclusion

L'article affirme qu'en donnant aux agents une vue focalisée des fichiers dont ils ont besoin (σ-Reveal) et un bulletin détaillé sur exactement quelles actions étaient bonnes (A3), nous pouvons leur apprendre à être bien meilleurs pour naviguer et réparer les systèmes de fichiers informatiques.

Ils n'ont pas prétendu que cela fonctionne pour le diagnostic médical, les voitures autonomes ou l'écriture créative. Ils se sont spécifiquement concentrés sur les tâches en ligne de commande : trouver des journaux d'événements, éditer du code, agréger des données à partir de feuilles de calcul et corriger des entrées de base de données. Dans ce monde spécifique, leur nouvelle approche de « bibliothécaire intelligent » et d'« entraîneur détaillé » a rendu les agents nettement plus intelligents et plus fiables.

Résumé Technique : Apprentissage d'Agents CLI avec Attribution de Crédit d'Action Structurée sous Observation Sélective

Énoncé du Problème

Les agents d'Interface en Ligne de Commande (CLI) représentent un paradigme pratique pour l'interaction agent-ordinateur, opérant directement dans des environnements de système de fichiers via des commandes shell plutôt que par des API d'outils prédéfinies. Cependant, l'entraînement de ces agents se heurte à deux goulots d'étranglement couplés :

Observation Sélective : Les agents doivent identifier des preuves pertinentes pour la tâche au sein de vastes bases de code et de systèmes de fichiers à haute dimension, à partir d'observations partielles. La vue initiale ne couvre souvent qu'une projection limitée de l'environnement, rendant difficile la sélection des fichiers ou répertoires corrects pour l'action.
Crédit d'Action Épars : Dans les interactions multi-tours, les récompenses terminales sont souvent espacées et retardées, n'apparaissant qu'à la fin de l'épisode. Attribuer un crédit à des actions spécifiques qui façonnent une trajectoire longue est difficile, particulièrement lorsque l'espace d'états est vaste et que presque chaque observation est unique, affaiblissant les hypothèses faites par les méthodes d'apprentissage par renforcement (RL) existantes qui reposent sur des états répétés pour la normalisation.

Les approches actuelles, telles que l'affinement supervisé au niveau de la trajectoire, conduisent souvent à la mémorisation de motifs d'interface plutôt qu'à une véritable compréhension de la tâche. À l'inverse, les méthodes RL existantes (par exemple, les variantes de l'Optimisation de Politique Relative de Groupe) peinent à gérer l'attribution de crédit dans les contextes CLI en raison de l'absence d'états répétés et de la complexité de mapper des récompenses terminales espacées vers des structures de commandes shell spécifiques.

Méthodologie

L'article propose un cadre unifié traitant à la fois l'observation et l'attribution de crédit grâce à deux mécanismes principaux : $\sigma$ -Reveal et Action Advantage Assignment (A3).

1. $\sigma$ -Reveal : Observation Sélective

Pour résoudre le goulot d'étranglement de l'observation partielle, les auteurs introduisent $\sigma$ -Reveal, un mécanisme d'inférence qui construit une vue initiale de l'espace de travail budgétisée en jetons.

Mécanisme : Avant la première action, $\sigma$ -Reveal sélectionne un ensemble de fichiers fermé par sous-arbre à partir de l'arbre de fichiers initial ( $FS_0$ ) qui maximise un score de pertinence $\hat{\mu}(x | o_0)$ sous un budget de jetons $B$ .
Évaluation de la Pertinence : Le score combine trois signaux :
1. Correspondance de Nom : Si le nom du fichier correspond à des jetons dans l'instruction de la tâche.
2. Priorité de Profondeur : Un déclin géométrique basé sur la profondeur du fichier dans l'arborescence des répertoires.
3. Priorité d'Extension : La probabilité que l'extension du fichier soit pertinente pour le type de tâche inféré.
Résultat : Cela garantit que l'agent reçoit une vue de l'espace de travail riche contextuellement mais efficace en termes de jetons, préservant le contexte des répertoires pour les fichiers sélectionnés.

2. Attribution de Crédit d'Action (A3)

Pour résoudre l'attribution de crédit éparse, A3 est une méthode native d'apprentissage par renforcement pour agents qui construit des avantages par tour en fusionnant trois signaux complémentaires sans nécessiter de modèles de valeur auxiliaires ni d'ancrage d'état.

Similarité d'Action basée sur AST : La méthode quantifie l'intention d'action en comparant les signatures d'Arbre de Syntaxe Abstraite (AST) des commandes shell. En utilisant Tree-sitter pour Bash, les actions sont converties en signatures structurelles (verbes, littéraux, structures de contrôle) indépendantes des chemins de fichiers spécifiques ou des valeurs littérales. La distance entre les actions est calculée via la distance de Levenshtein normalisée sur ces signatures.
Fusion d'Avantages à Trois Canaux :
1. Colonne Vertébrale de l'Épisode ( $A^{ep}$ ) : Contraste le retour d'un déploiement contre le retour médian des déploiements frères pour le même prompt, normalisé par la Déviation Absolue Médiane (MAD). Cela fournit un signal global de réussite de la tâche.
2. Résidu de Sous-Chaîne d'Action au Niveau du Tour ( $A^{intent}$ ) : Regroupe les trajectoires à un tour spécifique basé sur la similarité structurelle de leurs sous-chaines d'actions récentes (en utilisant la distance AST). Il calcule une moyenne leave-one-out (LOO) des retours pour des actions structurellement similaires et attribue un crédit basé sur l'écart par rapport à cette moyenne. Cela isole la valeur de structures de commandes spécifiques.
3. Avantage d'Arbre ( $A^{tree}$ ) : Abstrait les historiques d'interaction en « seaux » basés sur les signatures d'actions passées. Il calcule la différence de valeur entre le fait de prendre une branche d'action abstraite spécifique par rapport à la branche moyenne depuis le même état abstrait. Ce signal est filtré par la taille du groupe pour éviter le bruit dans les petits clusters.
Fusion : Ces trois signaux sont normalisés, pondérés et passés à travers une fonction d'activation bornée (tanh) pour produire l'avantage final $A_i$ utilisé pour les mises à jour du gradient de politique.

3. Jeu de Données ShellOps

Pour évaluer ce contexte, les auteurs ont construit ShellOps et ShellOps-Pro, des suites de jeux de données vérifiables couvrant des tâches CLI dans des environnements de dépôts.

Portée : Les tâches incluent Recherche (extraction de valeurs), Agrégation (réponses scalaires à partir de preuves dispersées), Édition (réécritures de fichiers vérifiables) et Mixte (combinaison de stdout et d'éditions de fichiers).
Échelle : ShellOps contient 1 624 tâches ; ShellOps-Pro ajoute 150 tâches plus difficiles, hors distribution, avec des espaces de travail plus vastes (médiane de 25 fichiers par tâche contre 3 dans l'ensemble standard) et des extensions de fichiers diverses.

Résultats Clés

Les expériences ont été menées en utilisant le modèle de politique Qwen3-14B sur plusieurs benchmarks (AgentBench, DataBench, EHRCon, TableBench et ShellOps).

Performance : A3 avec $\sigma$ -Reveal a obtenu les meilleurs résultats parmi les méthodes Qwen3-14B. Sur les tâches hybrides ShellOps (nécessitant à la fois des éditions de fichiers et stdout), A3 a obtenu un score de correspondance exacte de 24,6 %, surpassant significativement la meilleure ligne de base (11,3 %).
Efficacité de l'Échantillonnage : En termes de Pass@k, A3 avec $\sigma$ -Reveal a atteint 55,7 % sur ShellOps (Pass@5), contre 28,6 % pour la meilleure ligne de base non-A3.
Transfert à Long Horizon : Sur ShellOps-Pro avec des horizons étendus (jusqu'à 10 étapes), A3 a maintenu les meilleures performances parmi les agents Qwen3-14B, atteignant des niveaux de performance comparables à des modèles de pointe beaucoup plus grands (par exemple, Qwen3-235B) dans des configurations spécifiques, bien que des écarts subsistent avec des modèles comme Kimi-K2.6.
Stabilité : Les diagnostics d'entraînement ont montré que A3 a maintenu une entropie de politique et un KL de substitution stables, évitant les « pics de KL » et l'effondrement de l'entropie observés dans des lignes de base comme HGPO et RetroAgent.
Efficacité : Le coût de calcul de l'avantage de A3 est comparable à l'entraînement relatif de groupe standard, contrairement aux méthodes reposant sur des juges LLM (par exemple, GiGPO, HGPO) qui entraînent des frais informatiques significativement plus élevés.

Signification et Revendications

L'article revendique que la sélection de preuves dans l'espace de travail et la structure des commandes sont des bases efficaces pour l'apprentissage d'agents CLI.

Crédit Structurel : En exploitant les attributs structurels natifs des actions CLI (signatures AST) plutôt que le texte de surface, A3 fournit une méthode évolutive et efficace en calcul pour l'attribution de crédit qui ne dépend ni d'états répétés ni de juges externes.
Gestion de l'Observation : $\sigma$ -Reveal démontre qu'une injection de contexte sélective et budgétisée en jetons peut efficacement atténuer le problème de l'observation partielle dans les grands systèmes de fichiers sans nécessiter de recherche exhaustive.
Paradigme Pratique : Ce travail établit une boucle vérifiable pour les agents CLI où les récompenses sont dérivées de résultats exécutables (états de fichiers et sorties terminales), allant au-delà des paires entrée-sortie isolées vers une véritable optimisation d'interaction multi-tours.

Les auteurs notent des limitations, notamment la dépendance à la structure shell comme proxy de l'intention (ce qui peut manquer des différences sémantiques dans les chemins ou le contenu des fichiers) et le fait que la portée actuelle est limitée aux interactions de systèmes de fichiers pilotées par shell, nécessitant une validation supplémentaire pour les environnements GUI ou réseau.