Résumé technique : L'ingénierie des harnais d'agents comme architecture catégorielle

1. Énoncé du problème

L'ingénierie des « harnais d'agents » — la couche système englobant les prompts, les outils, la mémoire et la logique d'orchestration entourant les grands modèles de langage (LLM) — est devenue le déterminant principal de la fiabilité des agents. Cependant, la conception actuelle des harnais reste ad hoc, dépourvue d'une théorie formelle pour la composition, la préservation des propriétés lors de la compilation, ou la comparaison systématique entre les frameworks. Les praticiens s'appuient sur des essais et erreurs plutôt que sur des garanties structurelles, créant un fossé où les ingénieurs construisent sans vérification formelle et les théoriciens formalisent sans ancrage pratique.

2. Méthodologie

L'article propose une unification formelle de deux frameworks existants :

1. Les Piliers de l'Externalisation (Zhou et al.) : Mémoire, Compétences, Protocoles et Ingénierie du Harnais.
2. La Catégorie ArchAgents (De los Riscos et al.) : Un triple d'Architecture $(G, Know, \Phi)$ représentant le câblage syntaxique, la connaissance structurelle et les cartes de déploiement.

La méthodologie centrale consiste à mapper les quatre piliers de l'externalisation directement sur les composants du triple d'Architecture :

• Mémoire $\rightarrow$ État Coalgébrique : Modélisé comme un système dynamique avec des règles de mise à jour (par exemple, suivi de la mémoire bi-temporelle distinguant le temps valide du temps d'enregistrement).
• Compétences $\rightarrow$ Objets Composés par Opérade : Capacités procédurales composées via une opérade (opérations sérielles, parallèles, de trace) pour garantir que la composition typée préserve les propriétés.
• Protocoles $\rightarrow$ Câblage Syntaxique ($G$) : Un graphe de modules avec des ports typés et des étiquettes d'intégrité (lentilles, prismes, traversées).
• Harnais $\rightarrow$ Architecture Complète $(G, Know, \Phi)$ : Le système complet où les garanties structurelles sont encodées sous forme de certificats de niveau Know.

Mécanisme clé : Préservation des Certificats
L'article définit une garantie structurelle comme un certificat $(\tau, \sigma, evds)$ — un théorème, une mapping de paramètres et une preuve rejouable. Un compilateur (morphisme) entre frameworks n'est valide que s'il préserve ces certificats. La préservation est vérifiée non pas en contrôlant l'exactitude de la sortie du modèle, mais par rejeu structurel : s'assurer que le théorème, les paramètres et la preuve survivent à la compilation et peuvent être mécaniquement re-vérifiés dans le framework cible.

3. Contributions clés

• Correspondance Formelle : Établit que les quatre piliers de l'externalisation des agents correspondent précisément au triple d'Architecture catégorielle, fournissant une fondation mathématique pour l'ingénierie des harnais.
• Invariant de Préservation des Certificats : Introduit un mécanisme où les garanties structurelles (par exemple, portes d'intégrité, escalade basée sur la qualité) sont traitées comme des artefacts rejouables indépendants du modèle ou du framework sous-jacent.
• Implémentation de Référence (Operon) : Une implémentation concrète comprenant :
  • Cinq foncteurs compilateurs ciblant Swarms, DeerFlow, Ralph, Scion et LangGraph.
  • Un compilateur LangGraph qui crée un nœud par étape, appelant la méthode native run_single_stage() pour assurer une réimplémentation nulle de la logique du harnais tout en maintenant l'observabilité.
  • Un catalogue de compétences atomiques basé sur les cinq compétences de codage de Ma et al., mappées sur des compositions d'opérade.
• Validation Empirique :
  • Vérification du Compilateur : Démonstration que trois types de certificats nommés (gating par priorité, aucune activation fausse, aucune oscillation) sont préservés avec une identité et une vérification de 100 % sur les cinq cibles de compilateur.
  • Paramétricité du Modèle : Une expérience d'escalade a montré qu'un chemin de contrôle basé sur la qualité (escalade d'un modèle rapide vers un modèle profond basé sur un score de vérificateur) fonctionne correctement indépendamment du modèle spécifique utilisé, confirmant que le harnais est paramétrique par rapport au modèle.

4. Résultats

• Préservation Structurelle : À travers cinq frameworks d'orchestration différents, les foncteurs compilateurs ont préservé avec succès la structure du graphe et les invariants de certificats. Les garanties structurelles ont survécu à la compilation car elles reposent sur des crochets et des paramètres préservés, et non sur des topologies de graphe spécifiques.
• Contrôle d'Escalade : Dans une expérience à deux modèles et une tâche, un mécanisme d'escalade basé sur la qualité a déclenché avec succès un passage d'un modèle Phi-3 Mini (rapide) à un modèle Gemma 4 (profond) lorsque la qualité tombait en dessous d'un seuil. Cela a confirmé que la logique de contrôle réside dans la structure du harnais ($Know$), et non dans le modèle.
• Limites de SWE-bench-lite (Résultats Négatifs) :
  • Les expériences sur SWE-bench-lite utilisant des modèles de 8 milliards de paramètres (Gemma 4 et DeepSeek-R1 distillés) ont révélé un plafond de discipline de format.
  • Malgré l'ancrage (fourniture du contexte du dépôt) et une boucle de réessai de correction de format, 0/30 soumissions ont été résolues.
  • Le mode d'échec dominant était l'incapacité à produire des diffs compatibles git apply valides (par exemple, extractions vides, en-têtes de hunk malformés), et non des erreurs de sélection de fichiers.
  • L'article conclut qu'à l'échelle de 8 milliards, la capacité du modèle à émettre des formats de diff corrects est la contrainte limitante, et la décomposition en trois étapes ne relâche pas cette contrainte. La valeur du harnais dans ce contexte se limite à la préservation et à la réutilisation de primitives, et non à des gains de résolution de tâches sur ce benchmark spécifique avec ces tailles de modèles.

5. Signification et Revendications

L'article revendique que l'architecture catégorielle est la théorie formelle derrière l'ingénierie des harnais. Sa signification réside dans :

1. Le Changement d'Abstraction : Déplacer le focus d'une conception « centrée sur le modèle » vers une conception « centrée sur le harnais » avec des garanties formelles.
2. La Portabilité : Prouver que les garanties structurelles peuvent être préservées à travers différents frameworks logiciels (par exemple, d'un « Organisme » personnalisé à LangGraph) via des morphismes préservant la structure.
3. L'Indépendance du Modèle : Démontrer que les certificats structurels (Know) sont distincts des cartes de déploiement ($\Phi$), permettant à la même logique de harnais de s'exécuter sur différents modèles sans perdre ses propriétés d'intégrité.

Les auteurs déclarent explicitement de la modestie concernant les résultats : la valeur démontrée réside dans la préservation (identité des certificats à travers les compilateurs) et la réutilisation de primitives (logique d'escalade), et non dans l'atteinte d'une résolution de tâches supérieure sur SWE-bench-lite avec les modèles locaux actuels de 8 milliards de paramètres. Ce travail comble le fossé entre la théorie catégorielle théorique et l'ingénierie pratique des agents en fournissant un vocabulaire et un ensemble d'outils pour définir et vérifier les propriétés des harnais.