PRECEPT: Planning Resilience via Experience, Context Engineering & Probing Trajectories A Unified Framework for Test-Time Adaptation with Compositional Rule Learning and Pareto-Guided Prompt Evolution

Le papier présente PRECEPT, un cadre unifié d'adaptation au moment du test qui améliore la fiabilité des agents LLM en combinant une récupération de règles déterministe, une mémoire conflictuelle et une évolution de prompts guidée par le Pareto, permettant ainsi de surmonter les dégradations de récupération, d'assurer une généralisation compositionnelle robuste et de récupérer efficacement face aux connaissances obsolètes ou adverses.

L'essentiel

Imaginez que vous embauchez un stagiaire très intelligent, mais un peu étourdi, pour gérer une entreprise complexe. Ce stagiaire (l'Intelligence Artificielle) a lu des millions de livres, mais il a du mal à se souvenir des règles spécifiques quand la situation devient compliquée. Il confond souvent les détails, ignore ses propres notes, et panique quand les règles changent.

Le papier que vous avez soumis présente PRECEPT, une nouvelle méthode pour transformer ce stagiaire étourdi en un expert infaillible. Voici comment cela fonctionne, expliqué simplement avec des analogies du quotidien.

1. Le Problème : Le "Stagiaire" qui perd ses notes

Actuellement, les agents intelligents stockent leurs connaissances comme des phrases dans un carnet de notes (du texte naturel).

• Le problème : Si vous lui demandez de se souvenir de 10 règles différentes en même temps, il commence à mélanger les choses. C'est comme essayer de retenir 10 recettes de cuisine en même temps : vous allez oublier les ingrédients ou mélanger le sel avec le sucre.
• La conséquence : Plus la tâche est complexe, plus il fait d'erreurs. Il ne sait pas non plus quand une règle est devenue obsolète (par exemple, si un port est fermé, il continue d'essayer d'y envoyer des bateaux).

2. La Solution : PRECEPT (Le Système de Gestion de Fichiers)

PRECEPT ne change pas le cerveau du stagiaire, il change comment il consulte ses informations. Au lieu de lire un roman, il utilise un système de classeurs ultra-organisé.

A. La Recherche Exacte (Le Code-barres)

Au lieu de chercher "une règle sur les ports fermés" en lisant des phrases, PRECEPT utilise des clés exactes.

• L'analogie : Imaginez un supermarché.
  • Méthode ancienne : Vous demandez au vendeur : "Où sont les pommes ?" et il devine en regardant autour. S'il y a des poires et des pommes, il peut se tromper.
  • Méthode PRECEPT : Vous scannez le code-barres exact du produit. C'est instantané (0,01 seconde) et il n'y a aucune erreur possible. Si le code correspond, la règle s'applique. Pas de devinette, pas d'interprétation.

B. La Hiérarchie des Règles (Le Tri des Urgences)

Parfois, deux règles entrent en conflit. Par exemple : "Livrer vite" vs "Ne pas casser le colis".

• L'analogie : Imaginez un hôpital avec un système de triage.
  • Niveau 1 (Sécurité) : Si le patient va mourir, on l'opère tout de suite (priorité absolue).
  • Niveau 2 (Règles) : Si c'est une urgence médicale, on suit le protocole.
  • Niveau 3 (Préférences) : Si tout va bien, on essaie de le rendre heureux (préférence).
    PRECEPT classe automatiquement les règles par ordre de priorité. Si une règle de sécurité est en conflit avec une préférence, la sécurité gagne toujours. Le système ne se pose pas de questions, il applique la règle la plus haute.

C. Le "Mémorandum de Conflit" (Apprendre de ses erreurs)

C'est la partie la plus intelligente. Si le système essaie une règle et échoue, il ne se contente pas de dire "Oups".

• L'analogie : Imaginez un détective qui tient un journal des suspects.
  • Si un suspect (une règle) est prouvé coupable d'une erreur, le détective le met sur une liste noire.
  • Il ne l'oubliera jamais. La prochaine fois, il ne regardera même pas ce suspect.
  • De plus, il compare les sources : "Est-ce que cette info vient d'un vieux journal (connaissances statiques) ou de mon observation directe (expérience dynamique) ?" Si le journal dit "Il pleut" mais que le détective voit le soleil, il fait confiance à ses yeux et met le journal de côté.

D. COMPASS (Le Coach qui affine la méthode)

Enfin, il y a une couche qui observe le stagiaire travailler et améliore ses instructions générales.

• L'analogie : C'est comme un entraîneur sportif qui regarde les matchs.
  • Il ne change pas les règles du jeu, mais il dit : "La prochaine fois, commence par cette stratégie plutôt que celle-là."
  • Il teste différentes façons de donner les ordres et garde celles qui fonctionnent le mieux, en éliminant les mauvaises idées.

3. Les Résultats : Pourquoi c'est révolutionnaire ?

Les tests montrent que PRECEPT est bien plus performant que les méthodes actuelles :

1. Moins d'erreurs : Il réussit du premier coup dans 90% des cas, là où les autres échouent souvent.
2. Plus rapide : Il met moins de temps à trouver la solution car il ne perd pas de temps à deviner.
3. Adaptabilité : Si le monde change (ex: une nouvelle loi), il oublie rapidement les vieilles règles et apprend les nouvelles, contrairement aux autres qui restent bloqués sur leurs anciennes idées.
4. Robustesse : Même si on lui donne de fausses informations au départ (des "fake news" dans ses manuels), il les repère et les corrige grâce à son expérience réelle.

En Résumé

PRECEPT est comme passer d'un carnet de notes rempli de brouillon à un système informatique automatisé et sécurisé.

• Il ne laisse pas l'IA "rêver" ou "interpréter" les règles.
• Il utilise des codes exacts pour les règles importantes.
• Il a un mécanisme pour effacer les vieilles erreurs et apprendre des nouvelles.
• Il s'adapte quand l'environnement change.

C'est une façon de construire des IA qui sont non seulement intelligentes, mais aussi fiables, rapides et capables de travailler dans le monde réel sans se tromper de chemin.

Résumé technique

Résumé Technique : PRECEPT – Un Cadre Unifié pour l'Adaptation au Moment du Test

1. Problématique

Les agents basés sur les grands modèles de langage (LLM) qui stockent leurs connaissances sous forme de langage naturel (mémoire verbale) souffrent de limitations critiques lors du déploiement dans des environnements réels complexes :

• Dégradation de la récupération : La précision de la récupération de connaissances diminue de manière exponentielle à mesure que le nombre de conditions d'une tâche augmente. Selon le modèle d'indépendance théorique, le taux d'erreur de correspondance partielle atteint 94,4 % pour 10 conditions ($N=10$), contre 0 % pour une récupération exacte.
• Manque de généralisation compositionnelle : Les agents peinent à combiner de manière fiable des règles atomiques apprises pour former des politiques complexes.
• Incapacité à gérer la dérive et les conflits : Les systèmes existants ne détectent pas efficacement les connaissances obsolètes (dérive environnementale) ou les conflits entre connaissances statiques (documentation) et dynamiques (expérience en temps réel), ce qui conduit à des boucles d'échec cycliques.
• Inefficacité des échantillons : Les approches par apprentissage par renforcement (RL) nécessitent un nombre prohibitif d'échantillons ($\beta > 100$) pour s'adapter, tandis que les méthodes verbales nécessitent souvent plus de 5 tentatives.

2. Méthodologie : Le Cadre PRECEPT

PRECEPT est un cadre unifié conçu pour l'adaptation au moment du test (Test-Time Adaptation). Il repose sur trois composants étroitement couplés qui transforment l'architecture de l'agent :

A. Récupération Déterministe et Empilement de Règles (Composant 1)

Au lieu de dépendre de la sémantique floue du langage naturel, PRECEPT utilise une récupération par correspondance exacte ($O(1)$) basée sur des clés de conditions structurées.

• Hiérarchie de Niveaux Sémantiques : Les règles sont organisées en niveaux de priorité (Sécurité > Conformité > Préférences). Cela permet un empilement compositionnel déterministe : si plusieurs règles s'appliquent, la règle du niveau le plus élevé l'emporte.
• Couverture Compositionnelle : À partir de $N$ règles atomiques apprises, le système peut théoriquement couvrir $2^N - 1$ scénarios composites sans réentraînement.
• Élimination de l'interprétation : Sur le chemin de récupération exact, l'LLM n'a pas besoin d'interpréter la correspondance, éliminant ainsi les erreurs d'interprétation.

B. Mémoire de Conflit et Adaptation à la Dérive (Composant 2 - Evo-Memory)

Inspéré par le principe de la "Reine Rouge" (Digital Red Queen), PRECEPT maintient une histoire croissante de contraintes échouées pour éviter les échecs cycliques.

• Résolution de Conflits de Type I (Statique vs Dynamique) : Un détecteur d'ensemble (six méthodes) identifie les contradictions entre la connaissance statique (ex: documentation) et l'expérience dynamique. Une résolution bayésienne (distributions Beta) et un échantillonnage de Thompson pondèrent la fiabilité des sources, favorisant l'expérience dynamique en cas de conflit.
• Adaptation à la Dérive de Type II : Un mécanisme d'invalidation basé sur un seuil ($\theta=2$) détecte lorsque une règle devient obsolète. La confiance d'une règle est divisée par deux à chaque échec et rétablie en cas de succès. Si le seuil d'échec est atteint, la règle est invalidée et supprimée, forçant l'agent à réapprendre.
• Garantie d'absence de boucle : Le système garantit mathématiquement que la probabilité de répéter une action échouée est nulle ($P(repeat) = 0$).

C. COMPASS : Couche d'Adaptation à Double Fréquence (Composant 3)

COMPASS optimise les "prompts" (instructions système) de l'agent via une boucle externe.

• Haute Fréquence (Monitor) : Surveillance en temps réel des actions et des erreurs à chaque étape ($O(1)$) pour le filtrage déterministe.
• Basse Fréquence (Architect) : Évolution des prompts déclenchée par des événements (échec de but, changement de phase). Elle utilise une sélection Pareto pour optimiser simultanément le taux de réussite et l'efficacité des étapes, tout en maintenant la diversité des stratégies (via MAP-Elites) pour éviter la convergence prématurée.
• Évolution Vérifiée : Les nouveaux prompts sont évalués via l'exécution réelle de l'agent dans l'environnement, et non par des heuristiques de notation, assurant une évolution basée sur des preuves empiriques.

3. Contributions Clés

1. Apprentissage de règles compositionnelles avec récupération déterministe : Élimination des erreurs d'interprétation sur le chemin de récupération exact et capacité à généraliser à $2^N-1$scénarios à partir de$N$ règles.
2. Résolution unifiée de conflits et adaptation à la dérive : Un cadre unique gérant à la fois les conflits de sources (statique/dynamique) via l'inférence bayésienne et la dérive environnementale via l'invalidation de règles.
3. COMPASS : Une couche d'adaptation qui évalue les prompts via l'exécution complète du pipeline, intégrant la sélection Pareto et la diversité topologique.
4. Validation Théorique et Empirique : Preuves formelles (bornes de regret, résilience à la dérive) et validation expérimentale sur neuf expériences distinctes.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois domaines (Intégration API, Réservation, Logistique) avec des configurations de conditions complexes et des pièges de "majorité" (où les solutions partielles sont trompeuses).

• Performance Initiale : PRECEPT surpasse les méthodes de référence (Full Reflexion, ExpeL) de +41,1 points de pourcentage (pp) sur le taux de réussite au premier essai ($P_1$).
• Généralisation Compositionnelle : Gain de +33,3 pp par rapport aux baselines. Sur les compositions logistiques à 2 voies, PRECEPT atteint 100 % de réussite au premier essai.
• Apprentissage Continu : Gains de +40 à +55 pp lors de l'apprentissage séquentiel avec un entraînement minimal ($\beta=1$).
• Robustesse aux Connaissances Adverses : PRECEPT maintient une robustesse forte même lorsque la connaissance statique est délibérément fausse (conflits de Type I), récupérant partiellement ou totalement grâce à sa résolution de conflits bayésienne.
• Récupération de Dérive : +55,0 pp de récupération de performance après un changement de mapping (dérive de Type II), là où les autres agents stagnent ou régressent.
• Efficacité : Réduction de 61 % du nombre d'étapes nécessaires pour résoudre une tâche par rapport aux méthodes de réflexion verbale.
• Significativité Statistique : La plupart des comparaisons centrales sont statistiquement significatives ($p < 0,001$) avec des tailles d'effet élevées (Cohen's $d > 1,5$).

5. Signification et Impact

PRECEPT représente un changement de paradigme dans la conception des agents LLM :

• Structure vs Échelle : L'article démontre que la fiabilité ne provient pas uniquement de modèles plus grands ou de contextes plus longs, mais d'une architecture structurelle rigide. En contournant les biais génératifs de l'LLM via une récupération déterministe et une gestion explicite des règles, PRECEPT résout le problème de l'incohérence entre la chaîne de pensée et la sortie générée.
• Adaptabilité Réelle : Contrairement au RL qui nécessite un réentraînement complet, PRECEPT s'adapte en temps réel aux changements environnementaux et aux connaissances erronées sans intervention humaine.
• Auditabilité : Le stockage explicite des règles sous forme structurée rend le processus de décision entièrement auditable et interprétable, un avantage crucial pour les domaines à haute responsabilité (logistique, santé, finance).
• Inspiration Évolutionniste : Le cadre opérationnalise les principes de la "Reine Rouge" (adaptation continue face à un adversaire) non pas par une simulation ouverte, mais par des garanties formelles sur des sous-systèmes déterministes.

En conclusion, PRECEPT propose une voie vers des agents LLM fiables, capables de raisonner de manière compositionnelle, de s'adapter aux dérives et de gérer les conflits de connaissances, en remplaçant l'incertitude probabiliste par des mécanismes structurels déterministes là où cela est critique.