💻 computer science

Harnessing LLM Agents with Skill Programs

Le papier présente HASP, un cadre modulaire qui transforme des compétences textuelles d'orientation en Fonctions de Programme (PF) exécutables pour intervenir activement dans les boucles d'agents LLM, améliorant ainsi considérablement les performances sur des tâches complexes telles que la recherche web, le raisonnement mathématique et la programmation grâce à un guidage au moment de l'inférence, une supervision après l'entraînement ou une auto-amélioration.

Auteurs originaux : Hongjun Liu, Yifei Ming, Shafiq Joty, Chen Zhao

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hongjun Liu, Yifei Ming, Shafiq Joty, Chen Zhao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant robot très intelligent, mais parfois maladroit. Vous lui demandez de résoudre un puzzle complexe, comme trouver un fait spécifique sur Internet ou écrire un morceau de code. Le robot fait de son mieux, mais il continue de commettre les mêmes erreurs : il abandonne trop tôt, recherche les mauvaises choses, ou se laisse confondre par des noms qui se ressemblent.

Habituellement, lorsque nous essayons de corriger cela, nous donnons simplement au robot une liste d'instructions écrites (comme un manuel) disant : « N'oubliez pas de vérifier votre travail ! » ou « Ne devinez pas ! » Mais le robot ignore souvent ces notes car ce ne sont que des textes passifs. Il ne sait pas exactement quand s'arrêter et écouter, ni comment modifier son action.

HASP (Harnessing LLM Agents with Skill Programs) est un nouveau cadre qui change la donne. Au lieu de donner au robot un manuel passif, les chercheurs lui fournissent un ensemble de programmes d'exécution « Programmes de Compétences » (PF). Ne les voyez pas comme un livre, mais comme un harnais de sécurité intelligent ou un copilote assis juste à côté du cerveau du robot.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. De la « Conseil Passif » aux « Barrières de Sécurité Actives »

L'Ancienne Méthode (Compétences Textuelles) : Imaginez un instructeur de conduite assis à l'arrière qui crie : « Vous devriez ralentir ! » Le conducteur peut l'entendre, l'ignorer, ou ne pas réaliser exactement quand appuyer sur les freins. Ce n'est que du conseil.
La Méthode HASP (Fonctions de Programme) : Maintenant, imaginez que la voiture est équipée d'un harnais de sécurité intelligent. Si la voiture commence à dériver vers une falaise (un « état propice à l'échec »), le harnais ne se contente pas de crier des conseils. Il intervient physiquement. Il peut doucement recentrer le volant ou injecter un signal d'alerte directement dans le champ de vision du conducteur.
Dans l'Article : Ces « Programmes de Compétences » sont de petits bouts de code qui surveillent chaque mouvement du robot. Si le robot est sur le point de faire une erreur (comme finaliser une réponse sans avoir lu les preuves), le Programme de Compétence intervient. Il peut soit réécrire l'action du robot (transformant une mauvaise requête de recherche en une bonne), soit injecter un indice (disant au robot : « Attendez, vous n'avez pas encore lu le document ! »).

2. Les Trois Façons d'Utiliser le Harnais

L'article montre que ce « harnais » peut être utilisé de trois manières différentes, comme pour former un élève :

Mode A : La Correction Instantanée (Intervention au Moment de l'Inférence)
- Analogie : Vous mettez le harnais sur le robot pendant qu'il travaille. Le harnais attrape les erreurs en temps réel et les corrige immédiatement. Le robot n'a pas besoin d'apprendre quelque chose de nouveau ; le harnais fait simplement le gros du travail.
- Résultat : Le robot résout les problèmes beaucoup mieux immédiatement, même sans formation supplémentaire.
Mode B : Le Guide d'Étude (Post-Entraînement)
- Analogie : Après que le harnais a corrigé les erreurs du robot, les chercheurs prennent une vidéo du parcours « corrigé » et la montrent au robot comme une leçon. Le robot étudie ces exemples et apprend à faire les bons choix par lui-même la prochaine fois.
- Résultat : Le robot internalise les compétences. Il commence à agir comme si le harnais faisait partie de son propre cerveau, ayant besoin de moins d'aide au fil du temps.
Mode C : La Bibliothèque d'Auto-Amélioration (Évolution)
- Analogie : Si le robot rencontre un nouveau type d'erreur que le harnais n'a jamais vu auparavant, le système se met en pause. Il demande à un « Professeur » (une IA très intelligente) d'écrire un nouveau Programme de Compétence spécifiquement pour cette erreur. Avant d'ajouter cette nouvelle compétence à la boîte à outils, le Professeur la vérifie pour s'assurer qu'elle est sûre et utile.
- Résultat : La boîte à outils de compétences du robot devient plus intelligente au fil du temps, apprenant de ses propres échecs sans que des humains aient à écrire chaque règle.

3. Pourquoi Cela Fonctionne Si Bien

L'article a testé cela sur trois tâches difficiles :

Recherche Web : Trouver des réponses qui nécessitent de relier plusieurs éléments d'information (comme un détective résolvant une énigme).
Mathématiques : Résoudre des équations complexes.
Programmation : Écrire des programmes informatiques.

Les Résultats :

L'approche « harnais » a battu presque toutes les autres méthodes avec lesquelles les chercheurs l'ont comparée.
Pour la recherche web, l'utilisation simple du harnais (sans entraîner le robot) a amélioré les performances de 25 % par rapport aux méthodes standard.
Lorsqu'ils ont laissé le robot apprendre du harnais (Post-Entraînement), il est devenu encore meilleur.
Crucialement, le système est modulaire. C'est comme un couteau suisse ; vous pouvez utiliser uniquement les outils, ou vous pouvez utiliser les outils pour enseigner au robot, ou vous pouvez laisser le robot construire de nouveaux outils.

La Conclusion

HASP transforme l'« expérience réutilisable » d'une idée vague en un outil concret et exécutable. Au lieu d'espérer qu'un robot se souvienne d'une règle, HASP donne au robot un ensemble de vérifications de sécurité automatiques qui détectent les erreurs au moment où elles se produisent, les corrigent et aident le robot à apprendre à les éviter à l'avenir. C'est la différence entre donner un manuel à un élève et lui donner un tuteur qui s'assoit juste à côté de lui, corrigeant son travail au fur et à mesure qu'il le fait.

Résumé Technique : Exploiter les Agents LLM avec des Programmes de Compétences (HASP)

1. Énoncé du Problème

Bien que les agents basés sur les grands modèles de langage (LLM) aient démontré des capacités croissantes en matière de planification et d'interaction avec des environnements, ils présentent fréquemment des schémas d'échec récurrents, tels que l'arrêt avant vérification, l'adhésion à des conclusions intermédiaires fragiles, ou la répétition d'actions improductives. Les approches existantes pour atténuer ces échecs reposent souvent sur des compétences textuelles dérivées d'expériences passées. Ces compétences sont généralement injectées dans les invites ou utilisées comme conseils. Cependant, l'article soutient que les compétences textuelles souffrent de trois limitations fondamentales :

Nature Conseillère : Elles expriment ce qu'un agent devrait faire en principe, mais manquent de mécanismes explicites pour déterminer quand les activer ou comment intervenir au sein de la boucle de politique.
Contrôle Faible : Elles sont souvent ignorées par le modèle en pratique, échouant à modifier de manière fiable le comportement de l'agent.
Absence d'Exécutabilité : Il existe un fossé entre l'expérience réutilisable exprimée en langage et l'expérience réutilisable capable de contrôler explicitement les actions de l'agent.

Le défi central consiste à combler ce fossé en transformant des leçons textuelles passives en mécanismes actifs et exécutables capables d'intervenir directement dans le processus de prise de décision de l'agent.

2. Méthodologie : Le Cadre HASP

Les auteurs introduisent HASP (Harnessing LLM Agents with Skill Programs), un cadre qui élève les compétences du statut de texte passif à celui de Fonctions de Programme (PF). Une PF est définie comme une fonction d'intervention état-action réutilisable et exécutable.

Composants Principaux

Fonctions de Programme (PF) : Contrairement aux rappels en langage naturel, les PF sont des modules Python exécutables disposant de deux interfaces distinctes :
- should_activate(state, action): Un prédicat déterministe qui décide si la compétence est pertinente pour l'état actuel et l'action proposée.
- intervene(state, action, teacher): Retourne une intervention structurée, qui peut être :
  - Modify_Action (Modifier l'Action) : Réécriture ou affinage de la prochaine action (par exemple, raccourcir une requête de recherche trop contraignante).
  - Inject_Context (Injecter du Contexte) : Ajout de texte correctif à l'observation de l'agent (par exemple, un avertissement sur une confusion d'entités).
  - NOOP : Abstention de tout changement tout en enregistrant une trace d'audit.
Bibliothèque de Compétences : Une collection de PF validées. De nouveaux candidats sont générés à partir de cas d'échec, subissent une validation syntaxique et d'interface, et sont examinés par un modèle enseignant avant admission.
Le Harnais (The Harness) : Une couche de contrôle externe enveloppant la politique de base de l'agent ( $\pi_\theta$ ). À chaque étape, le harnais récupère les PF pertinentes, évalue leurs prédicats d'activation, exécute les interventions valides, et réinjecte l'action révisée ou le contexte injecté dans la boucle.

Trois Modes Opérationnels

HASP est conçu pour être hautement modulaire, supportant trois paradigmes distincts :

Intervention au Moment de l'Inférence : Les PF agissent comme des garde-fous exécutables au moment de l'exécution. Elles se déclenchent de manière autonome en fonction de l'état de l'agent pour modifier les actions ou injecter du contexte, sans mettre à jour les poids du modèle. Un enseignant auxiliaire optionnel peut aider à sélectionner la PF la plus appropriée lorsque plusieurs candidats existent.
Post-Entraînement (Internalisation) : Les exécutions de PF génèrent des enregistrements structurés contenant l'action originale, la réparation par PF et le résultat. Ces enregistrements sont notés à l'aide de quatre signaux : Timing (quand), Mode (comment), Correctness (qualité) et Outcome (efficacité). Ces scores guident le post-entraînement via :
- Affinement Supervisé (SFT) : Entraînement sur les actions corrigées.
- Échantillonnage par Rejet (RS) : Sélection des trajectoires correspondant aux corrections guidées par PF et atteignant le succès de la tâche.
- Distillation On-Policy (OPD) : Entraînement de l'élève sur ses propres états où les PF ont intervenu.
Évolution Auto-Améliorante : Le système réexamine les échecs résiduels sous le point de contrôle actuel, résume les schémas récurrents d'échec-réparation en PF candidates, et met à jour la bibliothèque de compétences externe après une validation exécutable stricte et un examen par un enseignant. Cela boucle la boucle entre l'exécution, l'apprentissage et la croissance de la bibliothèque.

3. Contributions Clés

L'article expose trois contributions principales :

Compétences en tant que Fonctions État-Action Exécutables : La transformation de l'expérience d'agent réutilisable en Fonctions de Programme exécutables qui se déclenchent à la demande et interviennent explicitement, dépassant les compétences textuelles passives.
Un Cadre de Harnais d'Agent Modulaire : La proposition de HASP, qui supporte le déclenchement et l'intervention contrôlés des PF à travers les paradigmes d'inférence uniquement, de post-entraînement et d'auto-amélioration.
Performances Empiriques Solides : Démonstration de gains substantiels par rapport à des bases de comparaison compétitives sur des tâches de raisonnement par recherche web, de raisonnement mathématique et de codage.

4. Résultats Expérimentaux

Les auteurs ont évalué HASP sur HotpotQA, 2Wiki et MuSiQue (recherche web), AIME24, AMC23 et GameOf24 (mathématiques), et HumanEval, MBPP et BigCodeBench (codage). Le modèle de base était Qwen2.5-7B-Instruct.

Constats Clés

Gains au Moment de l'Inférence : Même sans mise à jour du modèle, l'intervention par PF uniquement a nettement surpassé les bases de comparaison.
- Sur le raisonnement par recherche web, l'intervention par PF uniquement a amélioré la précision moyenne à 51,0 % (contre 20,5 % pour les Compétences par Invite Seules et 31,2 % pour la base ReAct multi-boucles).
- L'ajout d'un enseignant auxiliaire pour la sélection de PF a encore augmenté la précision de recherche web à 56,2 %.
- Sur le codage, PF-only a atteint 63,4 % de pass@1, montant à 68,7 % avec la sélection par enseignant.
Internalisation par Post-Entraînement : La supervision dérivée des PF a permis au modèle d'internaliser des comportements sans apprentissage par renforcement complet.
- Sur la recherche web, la Distillation On-Policy (OPD) a atteint 62,5 %, et l'Échantillonnage par Rejet (RS) a atteint 59,3 % sous une bibliothèque fixe.
- Ces résultats étaient compétitifs ou supérieurs aux schémas standards de SFT et d'entraînement basé sur les compétences.
Évolution en Boucle Fermée : L'évolution contrôlée de la bibliothèque de compétences a encore amélioré les performances.
- HASP-Evolve + RS a atteint 60,3 % sur la recherche web et 45,4 % sur le raisonnement mathématique.
- Sur le codage, il a atteint 69,9 % de pass@1, surpassant le SFT standard de 12,4 % et restant compétitif avec les méthodes basées sur GRPO.
Analyse des Mécanismes :
- Types d'Intervention : 65,1 % des interventions étaient des modifications au niveau de l'action (par exemple, réécriture de requêtes), tandis que 34,9 % étaient des injections de contexte.
- Importance des Signaux : Les études d'ablation ont montré que les quatre signaux de supervision (Timing, Mode, Correctness, Outcome) étaient nécessaires. La suppression du "Mode" a causé la plus forte baisse (-15,5 %), indiquant que comment une intervention est appliquée est aussi critique que quand.
- Nécessité du Filtrage : Un filtrage strict (validation exécutable + examen par enseignant) était essentiel. Une évolution non filtrée a causé une chute brutale des performances (-24,0 %), confirmant que la pollution de la bibliothèque dégrade les performances de l'agent.

5. Importance et Revendications

L'article positionne HASP comme une voie complémentaire pour améliorer les agents LLM. Les auteurs affirment que :

Stabilisation plutôt que Découverte : Les PF aident à faire émerger et stabiliser des stratégies utiles que le modèle peut souvent exécuter mais n'applique pas de manière fiable. Cela contraste avec l'exploration de type RL, mieux adaptée à la découverte de stratégies fondamentalement nouvelles.
Contrôle Explicite : En convertissant les compétences en code exécutable, HASP fournit un contrôle explicite et auditable sur le comportement de l'agent, répondant à la faiblesse "conseillère" des compétences basées sur les invites.
Modularité : Le cadre découple la définition de la compétence de l'objectif d'entraînement, permettant d'utiliser les mêmes PF pour l'intervention au moment de l'exécution, l'entraînement supervisé ou l'auto-amélioration.

Les auteurs restent modestes concernant les limites, notant que les PF aident principalement à absorber des stratégies existantes plutôt qu'à en découvrir de nouvelles, que le cadre repose sur des signaux de vérification clairs (limitant l'applicabilité aux tâches ouvertes), et que l'auto-amélioration nécessite un filtrage strict pour prévenir la dégradation de la bibliothèque. Ils concluent que si une exploration plus large de type RL peut encore être nécessaire pour la découverte de stratégies novatrices, les PF offrent un mécanisme robuste pour affiner et stabiliser le comportement de l'agent dans des tâches complexes à long horizon.