🤖 machine learning

ANNEAL: Adapting LLM Agents via Governed Symbolic Patch Learning

ANNEAL est un agent neuro-symbolique qui garantit l'élimination sûre et persistante des erreurs d'exécution récurrentes en convertissant les échecs en modifications gouvernées et validées d'un graphe de connaissances de processus symbolique, sans modifier les poids du modèle de base.

Auteurs originaux : Safayat Bin Hakim, Keyan Guo, Wenkai Tan, Alvaro Velasquez, Shouhuai Xu, Houbing Herbert Song

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Safayat Bin Hakim, Keyan Guo, Wenkai Tan, Alvaro Velasquez, Shouhuai Xu, Houbing Herbert Song

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant robot très intelligent et utile (un agent LLM) capable de réserver des hôtels, de gérer des tickets informatiques ou de traiter des commandes. Parfois, ce robot commet une erreur.

Le Problème : La boucle de la « même erreur »
La plupart des assistants robotiques actuels ressemblent à une personne qui oublie pourquoi elle a échoué. Si elles tentent de réserver un hôtel avec une carte d'entreprise pendant une « date de blackout » et se font rejeter, elles pourraient réessayer immédiatement avec une autre carte. Si cela fonctionne, elles passent à autre chose. Mais si vous leur demandez de réserver un hôtel la semaine suivante avec la même carte d'entreprise aux mêmes dates, elles commettront exactement la même erreur. Elles n'ont pas réellement appris la règle ; elles ont simplement eu de la chance cette fois-ci. Elles continuent d'échouer sur la même erreur de logique sous-jacente parce que le « manuel d'instructions » qu'elles suivent n'a pas été corrigé.

La Solution : ANNEAL (Le « Correcteur du Manuel de Règles »)
L'article présente un nouveau système appelé ANNEAL. Au lieu de tenter de réentraîner le cerveau du robot (ce qui est lent et risqué), ANNEAL agit comme un éditeur strict qui corrige le manuel d'instructions du robot (ses connaissances de processus symboliques) chaque fois qu'une erreur récurrente se produit.

Voici comment ANNEAL fonctionne, en utilisant une analogie créative :

1. La Phase « Détective » (Localisation)

Lorsque le robot échoue, ANNEAL ne se contente pas de dire : « Réessayez ». Il agit comme un détective. Il examine l'échec et demande : « Quelle règle spécifique du manuel d'instructions a causé cela ? »

Analogie : Imaginez un chef qui brûle un gâteau. Au lieu de simplement dire au chef de « faire plus d'efforts », ANNEAL pointe l'étape spécifique de la recette : « Vous avez mis le gâteau au four à 500 degrés, mais la règle indique 350. »

2. La Phase « Dessinateur » (Génération Contrainte)

Une fois la mauvaise règle identifiée, ANNEAL demande au robot d'écrire une nouvelle règle pour la corriger. Mais voici le hic : le robot n'a pas le droit d'écrire un poème ou une suggestion vague. Il doit écrire un patch de code strict et typé (comme une ligne de code spécifique) qui s'intègre au manuel existant.

Analogie : Le robot est comme un architecte junior. Il ne peut pas simplement dessiner un nouveau bâtiment ; il doit soumettre un changement spécifique et planifié aux plans de la fondation, comme « Ajouter une poutre de soutien ici ».

3. La Phase « Conseil de Sécurité » (Gouvernance)

C'est la partie la plus unique. Avant que la nouvelle règle ne soit réellement ajoutée au manuel, elle doit passer une inspection de sécurité rigoureuse. ANNEAL utilise un « Conseil de Sécurité » multicouche pour vérifier la nouvelle règle :

La Vérification Logique : Cette nouvelle règle brise-t-elle autre chose ? (Par exemple : « Si nous autorisons les cartes d'entreprise, cela ne compromet-il pas le budget ? »)
La Vérification Éthique : Cela viole-t-il des politiques morales ou d'entreprise ? (Par exemple : « Cette règle est-elle autorisée par la loi ? »)
Le Test Canari : Le système teste la nouvelle règle dans un bac à sable simulé et sécurisé (comme un simulateur de vol) pour voir si elle fonctionne sans planter.
Analogie : Pensez-y comme à une nouvelle loi proposée. Elle ne devient pas loi simplement parce que le Président la signe. Elle doit passer le Sénat (Logique), la Cour suprême (Éthique) et un essai public (Test Canari) avant d'être officiellement promulguée.

4. La « Correction Permanente » (Commit)

Si la nouvelle règle passe tous les tests, ANNEAL l'enregistre (commit). Cela signifie que le manuel d'instructions est mis à jour de manière permanente.

Le Résultat : La prochaine fois que le robot tentera de réserver cet hôtel, il n'essaiera même pas le mauvais chemin. Il verra la nouvelle règle (« Pas de cartes d'entreprise à ces dates ») et choisira automatiquement un chemin différent. L'erreur est définitivement éliminée.
Analogie : C'est comme réparer un nid-de-poule sur une route. Auparavant, les voitures continuaient de le heurter. Maintenant, la route est pavée par-dessus le nid-de-poule. Personne ne le heurte plus.

Pourquoi est-ce spécial ?

L'article compare ANNEAL à d'autres systèmes (comme ReAct et Reflexion) :

Les Autres Systèmes : Ils ressemblent à un élève qui étudie dur pour un examen, réussit, mais oublie la leçon le lendemain. Ils peuvent se rétablir pendant une tâche unique, mais si vous leur donnez la même tâche brisée plus tard, ils échouent à nouveau.
ANNEAL : Il ressemble à un élève qui, après avoir échoué à un problème de mathématiques, écrit une correction dans son manuel scolaire afin de ne plus jamais commettre cette erreur spécifique.

Les Résultats
Dans des tests menés sur quatre domaines différents (voyages, commerce électronique, informatique, etc.), ANNEAL a été le seul système à corriger définitivement les règles sous-jacentes.

Les autres systèmes présentaient un taux d'échec de 72 % à 100 % sur les pannes récurrentes (ils continuaient de commettre la même erreur encore et encore).
ANNEAL a réduit cela à 0 %. Une fois qu'il a corrigé une règle, l'erreur ne se reproduit plus jamais.

En Résumé
ANNEAL est un système qui transforme « oups, j'ai fait une erreur » en « j'ai mis à jour le manuel de règles pour que cette erreur soit impossible ». Il le fait sans modifier le cerveau du robot, mais en éditant soigneusement son manuel d'instructions avec des contrôles de sécurité stricts, garantissant que le robot devient plus intelligent et plus sûr au fil du temps.

Résumé technique : ANNEAL – Adaptation des agents LLM par apprentissage symbolique gouverné de correctifs

1. Énoncé du problème

Les agents basés sur les grands modèles de langage (LLM) possèdent la capacité de se remettre des erreurs d'exécution au sein d'un seul épisode de tâche (par exemple, réessayer une action échouée). Cependant, ils échouent fréquemment à éliminer les défauts récurrents lorsque les connaissances sous-jacentes du processus – spécifiquement les schémas d'opérateurs, les préconditions et les contraintes – restent inchangées. Les approches d'auto-évolution existantes tentent de résoudre ce problème en mettant à jour les invites, les mémoires tampons ou les poids des modèles de base. Ces méthodes souffrent de deux limitations principales :

Absence de réparation structurelle : Elles adaptent ce que l'agent se souvient ou la manière dont il formule ses invites, mais ne réparent pas directement les structures symboliques typées qui encodent la logique d'exécution de la tâche. Par conséquent, le même défaut structurel peut se reproduire sur de nouvelles tâches.
Déficits de gouvernance : Peu de systèmes offrent les garanties nécessaires (provenance, garde-fous, retour en arrière) requises pour un déploiement sûr dans des environnements ouverts où les normes et les API évoluent.

L'article postule que la conversion des pannes récurrentes en corrections structurelles durables est au cœur de l'expertise, une capacité dont les agents LLM actuels sont dépourvus.

2. Méthodologie : ANNEAL

ANNEAL est un agent neuro-symbolique conçu pour combler cette lacune en convertissant les échecs récurrents en modifications symboliques gouvernées d'un graphe de connaissances de processus (PKG), sans modifier les poids du modèle de base. Le système fonctionne sur une architecture en boucle fermée comprenant un planificateur HTN, un état symbolique typé, un exécuteur, un contrôleur méta-cognitif et un pool d'expériences.

Mécanisme central : Acquisition de connaissances pilotée par l'échec (FDKA)

La FDKA est le pipeline central qui transforme les échecs d'exécution en correctifs structurels vérifiés. Elle traite le LLM strictement comme un générateur de code contraint sous un schéma typé fermé, garantissant que toute la logique d'acceptation reste symbolique et auditable. Le pipeline se compose de six étapes :

Localisation : Étant donné une trace d'échec, le système note les opérateurs pour identifier celui qui est responsable (par exemple, un outil de réservation spécifique) en fonction des deltas symboliques, de la similarité des journaux d'outils et de la confiance du parseur.
Génération contrainte : Le LLM synthétise un correctif (par exemple, l'ajout d'une précondition) via un processus en trois étapes : sérialisation de la trace en JSON, génération d'éditions restreintes à un schéma fermé (ajouts de préconditions, affinements d'effets, mises à jour de schémas d'outils), et analyse déterministe de la sortie.
Notation multidimensionnelle : Les éditions proposées sont agrégées via une fonction de notation pondérant :
- Plausibilité : Alignement avec la distribution apprise du LLM.
- Cohérence : Intégrité logique vérifiée via des heuristiques symboliques ou des solveurs SMT Z3.
- Utilité : Prévention estimée des échecs par rejouage contrefactuel sur des traces récupérées.
- Risque : Probabilité de violation de valeurs et rayon d'explosion.
Validation des garde-fous : Deux portes de veto durables fonctionnent indépendamment de la note :
- Garde-fou des valeurs : Vérifie les règles déontiques (Obligatoire/Interdit/Autorisé) pour s'assurer que l'édition ne viole pas les contraintes éthiques ou politiques.
- Garde-fou causal : Garantit que l'édition possède une identifiabilité suffisante et ne propage pas un impact excessif.
Mise en scène et tests canaris : Les éditions passant les notations et les garde-fous subissent des tests en bac à sable (jusqu'à 8 exécutions). Si le correctif échoue à l'un des tests, il est rejeté.
Validation et retour en arrière : Les correctifs acceptés sont validés avec une provenance complète (source, entrées, justification) et un ensemble de retour en arrière déterministe. Les scores de confiance sont initialisés via des priors Beta-Bernoulli ; les correctifs avec une faible confiance sur les tâches suivantes déclenchent un retour en arrière automatique.

Contrôle méta-cognitif

Une boucle de contrôle sensible aux étapes arbitre entre trois voies en fonction de l'incertitude ( $u$ ) et de la probabilité de violation ( $p_{viol}$ ) :

S1 (Voie rapide) : Exécution standard.
S2 (Voie délibérative) : Activée en cas d'incertitude élevée pour une planification étendue.
VÉRIFIER (Vérifier avant d'agir) : Activée lorsque le risque de violation est élevé pour vérifier les préconditions avant l'exécution, déclenchant potentiellement des réparations locales ou bloquant le plan.

3. Contributions clés

L'article expose quatre contributions principales :

Acquisition de connaissances pilotée par l'échec gouvernée (FDKA) : Un pipeline qui synthétise des éditions symboliques typées sous un schéma JSON fermé et les valide par une notation multidimensionnelle, des garde-fous de valeurs/causaux et un déploiement canari. Dans les exécutions rapportées, cela a permis une acceptation de correctifs à 100 % sans aucun retour en arrière observé.
Arbitrage méta-cognitif : Une boucle de contrôle qui régule les voies d'adaptation en fonction de l'incertitude et des signaux de violation. Les études d'ablation montrent que la suppression de cet arbitrage réduit les taux de réussite de 4,7 points de pourcentage dans des environnements stochastiques où des changements de politiques composés créent des chaînes de violations multiples.
Enveloppe de gouvernance complète : Chaque édition validée inclut la provenance, la notation de confiance, les portes avec intervention humaine et le retour en arrière déterministe. Un banc d'essai de stress dédié a confirmé une précision de décision de 100 % pour les éditions de schémas sensibles à l'authentification avant validation.
Preuve empirique de réparation structurelle : À travers quatre domaines (Voyage, Commerce électronique, Gestion des services informatiques) et 27 exécutions multi-graines, ANNEAL est le seul système évalué à valider des réparations structurelles persistantes. Alors que des bases de référence comme ReAct et Reflexion atteignent une forte récupération par épisode, elles conservent des taux d'échec sur les données de test de 72 à 100 % pour les défauts récurrents. ANNEAL les réduit à 0 %.

4. Résultats

Élimination des échecs récurrents : Lors de tests de stress impliquant des dérives d'API récurrentes et des violations de politiques, les correctifs validés par ANNEAL ont réduit les taux d'échec sur les données de test à 0 %. En revanche, ReAct et Reflexion, malgré un succès élevé par épisode, ont conservé des taux d'échec sur les données de test de 72 à 100 % car ils n'ont pas réparé les définitions sous-jacentes des opérateurs.
Taux de réussite : ANNEAL a atteint un taux de réussite de tâche de 94,7 à 100 % dans tous les domaines. Dans le domaine du commerce électronique, il a validé en moyenne 2,7 correctifs par exécution couvrant trois catégories d'éditions (mises à jour de schémas, ajouts de préconditions, affinements d'effets).
Études d'ablation :
- La suppression de la FDKA a éliminé toutes les réparations structurelles et fait chuter le taux de réussite du commerce électronique de 26,7 points de pourcentage.
- La suppression de l'arbitrage méta-cognitif a fait baisser les taux de réussite de 4,7 points de pourcentage dans des scénarios de voyage stochastiques.
- La suppression de la gouvernance (dans une suite de stress spécifique) a permis la validation d'éditions de schémas non sécurisées, démontrant la nécessité des garde-fous pour les domaines critiques en matière de sécurité.
Efficacité : Le cycle complet d'adaptation (de l'échec à la replanning réussie) prend moins de 2 minutes et ne nécessite aucun réentraînement du modèle.

5. Importance et revendications

L'article affirme que la réparation symbolique gouvernée offre un paradigme complémentaire à l'adaptation au niveau des poids et au niveau des invites pour l'élimination persistante des défauts.

Contribution étroite mais concrète : Les auteurs déclarent explicitement que leur contribution est « délibérément étroite ». Ils ne revendiquent pas une supériorité générale large sur tous les agents d'auto-évolution. Au lieu de cela, ils démontrent qu'une forte récupération par épisode (par exemple, les 97,6 % de réussite de Reflexion) n'implique pas l'élimination persistante des défauts.
Adaptation auditable : En modifiant les connaissances de processus symboliques explicites en dehors du modèle de base, ANNEAL rend les modifications directement auditable, réversibles et compatibles avec les contraintes de gouvernance, répondant ainsi à la nature « boîte noire » du réglage fin basé sur les poids.
Transfert centré sur l'opérateur : Les résultats étayent l'affirmation selon laquelle ANNEAL peut réparer les défauts centrés sur l'opérateur et transférer ces réparations entre les tâches au sein de la même ontologie, mais l'article reconnaît que l'autonomie de domaine arbitraire et la généralisation plus large restent des défis ouverts.

Le travail suggère que pour un déploiement sûr dans des environnements de production où l'auditabilité est une condition préalable, la conversion des échecs récurrents en modifications symboliques gouvernées est une alternative viable et nécessaire au réentraînement du modèle.