Résumé technique : Anchor – Atténuation de la dérive des artefacts dans la génération de benchmarks pour agents

Énoncé du problème

Les benchmarks actuels pour les agents d'entreprise souffrent d'un défaut de construction fondamental appelé dérive des artefacts. Dans la génération traditionnelle de benchmarks, les quatre composants critiques d'une tâche — l'instruction ($I$), l'environnement ($E$), la solution de référence ($x^*$) et le vérificateur ($V$) — sont souvent créés via des processus faiblement couplés. Ce découplage entraîne des incohérences où les artefacts ne s'accordent pas sur les exigences de la tâche. Par exemple, un environnement peut manquer de données supposées par l'instruction, une solution de référence peut dépendre d'un état omis par l'environnement, ou un vérificateur peut accepter des résultats non demandés par l'instruction. Ces incohérences aboutissent à des environnements insolubles, vulnérables au piratage de récompenses, ou simplement incohérents, créant un fossé entre les scores de benchmark et la performance en production réelle.

Méthodologie : Le pipeline Anchor

Pour remédier à la dérive des artefacts, les auteurs introduisent Anchor, un pipeline de génération de tâches qui compile les quatre artefacts de tâche à partir d'une spécification résolue unique. Le pipeline fonctionne comme suit :

1. Formalisation : Un expert métier et un ingénieur formalisent un flux de travail métier (par exemple, la priorisation des factures, la planification de la production) sous forme de programme de contraintes paramétrique utilisant OR-Tools CP-SAT. Cette spécification inclut des variables de décision, des contraintes de règles métier et une métrique d'objectif.
2. Résolution : Pour un ensemble donné de paramètres ($\theta$), le solveur CP-SAT rejette soit l'instance comme non réalisable, soit certifie une solution optimale ($x^*_\theta$). Ce résultat, combiné aux paramètres et aux contraintes, forme une spécification résolue ($S_\theta$).
3. Compilation déterministe : Quatre couches de traduction projettent de manière déterministe $S_\theta$ vers les artefacts de tâche :
   • Générateur d'instructions : Rend les paramètres, contraintes et objectifs en langage naturel.
   • Générateur de configuration : Écrit des enregistrements initiaux échantillonnés dans le conteneur de l'environnement.
   • Générateur de solution de référence : Écrit la solution certifiée du solveur comme état terminal de référence.
   • Générateur de vérificateur : Note les états terminaux par rapport aux contraintes et à l'objectif du programme.

Puisque tous les artefacts sont des projections déterministes de la même spécification résolue, les incohérences sont atténuées par construction. Le pipeline inclut cinq vérifications de bout en bout (notation d'agent sans opération, rejouage de la solution de référence, jugement de cohérence par LLM, canaris de piratage de récompenses et contrôles ponctuels d'experts) pour mettre en évidence les défauts résiduels.

Contributions clés

1. Le pipeline Anchor

Un cadre novateur de création de tâches unifiant la génération d'instructions, d'environnements, de solutions de référence et de vérificateurs à partir d'un seul programme de contraintes. Cette approche garantit que la difficulté est réglable via des paramètres et que les solutions optimales sont mathématiquement certifiées, permettant des curriculums d'entraînement vérifiables.

2. ERP-Bench

Un benchmark de 300 tâches à long horizon couvrant les flux de travail d'approvisionnement et de fabrication au sein d'Odoo 19, un système ERP open-source de niveau production.

• Portée : Couvre 29 modèles de flux de travail, y compris le réapprovisionnement routinier, la récupération après perturbation et les scénarios de production et d'achèvement.
• Complexité : Les tâches impliquent des données structurées (bons de commande de vente, bons de commande d'achat, ordres de fabrication, nomenclatures) et exigent des agents qu'ils naviguent dans des règles métier complexes (délais de livraison, quantités minimales de commande, contraintes de capacité).
• Vérification : Le vérificateur utilise un système de notation pondérée (25 % de satisfaction des contraintes, 60 % d'optimalité, 15 % de traçabilité) avec des portes nulles strictes pour les échecs critiques.

3. Évaluation complète

Les auteurs ont évalué cinq modèles de pointe (GPT-5.5, Claude Opus 4.7, GLM-5.1, GLM-5V-Turbo, Kimi K2.5) sur trois environnements d'exécution (codage, navigateur, utilisation d'ordinateur) lors de 18 000 essais.

• Environnements d'exécution : Construits sur la boîte à outils open-source pi-mono pour refléter des structures réelles plutôt que des wrappers spécifiques aux benchmarks.
• Métriques : Évaluation de Pass@1, Pass@5, des scores moyens et de l'écart faisabilité-optimalité.

Résultats

1. Corrélation de difficulté

L'intervention de difficulté paramétrique prédit avec succès la performance réalisée. Pour tous les modèles et environnements d'exécution, les scores Pass@5 diminuent de manière monotone des niveaux faciles aux niveaux difficiles :

• Codage : 70,5 % $\to$ 22,3 %
• Navigateur : 46,5 % $\to$ 7,7 %
• Utilisation d'ordinateur : 56,0 % $\to$ 9,5 %

Les paramètres de tâche tels que le nombre de centres de travail, d'ordres de fabrication et de fournisseurs distincts montrent de fortes corrélations négatives avec Pass@1.

2. L'écart faisabilité-optimalité

Un écart significatif existe entre la satisfaction des contraintes et la réalisation de l'optimalité. Pour tous les modèles, les agents satisfont les contraintes de tâche explicites dans 26,1 % des essais mais atteignent une solution entièrement optimale dans seulement 17,4 %. Le modèle le plus performant (GPT-5.5 en codage) présente un écart de 23,4 points. La dégradation des scores est principalement due à des contraintes explicites brisées (faisabilité) plutôt qu'à des compromis sous-optimaux parmi des plans réalisables.

3. Performance des environnements d'exécution

Les modèles performent nettement mieux dans l'environnement d'exécution de codage (piloté par API) par rapport aux environnements de navigateur ou d'utilisation d'ordinateur.

• Les environnements d'exécution GUI résolvent 16 à 56 points de pourcentage de tâches en moins que l'environnement de codage.
• Les environnements d'exécution GUI coûtent 3,1 à 14,3 fois plus par tentative de tâche en raison d'un nombre plus élevé de tours (limitations du regroupement d'actions dans l'interface utilisateur par rapport à l'API).
• Aucune instance de piratage de récompenses n'a été observée lors de l'évaluation.

4. Fiabilité

Les agents de pointe actuels ne sont pas encore suffisamment fiables pour un déploiement sans surveillance. Bien que Pass@5 (au moins un succès sur cinq essais) soit mesurable, Pass5 (les cinq essais réussissant) est d'environ un ordre de grandeur inférieur (par exemple, 9,8 % en codage), indiquant une forte variance dans la performance des agents.

Importance et affirmations

L'article affirme que Anchor et ERP-Bench fournissent une recette concrète pour construire des environnements d'évaluation auditable pour le travail d'agents à valeur économique. En formalisant les flux de travail métier en programmes d'optimisation sous contraintes, les auteurs démontrent qu'il est possible de générer des benchmarks réalistes, vérifiables et évolutifs qui atténuent la dérive des artefacts qui afflige les évaluations actuelles.

Les auteurs positionnent ce travail comme une étape vers le comblement du fossé entre les scores de benchmark et la performance en production. Ils notent que, bien que le cadre privilégie des tâches faisables, reproductibles et exactement notables, il est naturellement adapté aux travaux d'entreprise visibles dans les états terminaux du système (comme les opérations ERP) mais moins adapté aux flux de travail reposant sur un jugement tacite ou la négociation. La publication du générateur de tâches et du jeu de données sur erpbench.ai vise à soutenir la recherche ultérieure sur l'entraînement et l'évaluation vérifiables des agents.