Résumé technique : Résultats et analyse rétrospective du défi CODS 2025 ASSETOPSBENCH

Énoncé du problème

L'article aborde le défi critique consistant à évaluer les systèmes d'IA multi-agents dans des contextes industriels réels, spécifiquement dans le domaine de la « Industrie 4.0 » de la gestion des actifs physiques. Alors que les récents progrès des agents basés sur les grands modèles de langage (LLM) ont démontré des capacités de raisonnement et d'utilisation d'outils, le passage de ces systèmes des benchmarks de laboratoire à leur déploiement révèle d'importantes lacunes en matière d'évaluation. Les benchmarks statiques favorisent souvent des tâches étroitement spécifiées et facilement optimisables, échouant à capturer des comportements essentiels au déploiement tels que la robustesse de l'utilisation d'outils, l'exécution respectueuse de la vie privée et l'orchestration multi-étapes. Les auteurs soutiennent que l'évaluation basée sur des compétitions offre une alternative fondée sur des principes aux benchmarks statiques en exposant des modes de défaillance (par exemple, des échecs de raisonnement progressifs) qui n'émergent que sous une évaluation itérative et aveugle. Le problème spécifique traité est la conception et l'analyse rétrospective d'une compétition combinant l'évaluation d'agents, un domaine industriel d'actifs physiques et un déploiement contraint par la confidentialité, visant à déterminer ce qu'une telle conception d'évaluation mesure réellement et où ses incitations peuvent entrer en conflit avec la véritable capacité.

Méthodologie

Les auteurs ont mené une analyse rétrospective du défi CODS 2025 ASSETOPSBENCH, hébergé sur la plateforme Codabench. La méthodologie a impliqué une analyse multidimensionnelle des artefacts de la compétition plutôt qu'un simple rapport de classement.

• Conception de la compétition : Le défi a utilisé un cadre de « scénario caché » avec deux pistes complémentaires :
  • Piste 1 (Planification) : Les participants ont optimisé l'invite de planification et la construction du graphe orienté acyclique (DAG) (track1_planning.py) tandis que l'exécuteur et les agents de domaine restaient figés.
  • Piste 2 (Exécution) : Les participants ont optimisé la logique d'exécution du flux de travail, y compris les chemins parallèles, l'agrégation de contexte et les mécanismes de repli (track2_execution.py), tandis que l'invite de planification et les agents restaient figés.
• Protocole d'évaluation : Les soumissions ont été évaluées par rapport à 11 scénarios de développement publics et 11 scénarios d'évaluation cachés (Phase 1 et Phase 2). La formule de notation combinait les scores publics ($S_{pub}$), les scores cachés ($S_{priv}$) et un signal de correspondance sémantique ($\tau$) : $C_t = 0.6 S_{pub}^t + 0.3 S_{priv}^t + 0.1 \tau_t$.
• Collecte de données : L'analyse a agrégé des données provenant de 149 équipes inscrites (349 emplacements membres), d'un journal de serveur de 300 lignes d'essais de soumission, et de 331 artefacts accessibles au niveau source.
• Dimensions analytiques : Les auteurs ont analysé le corpus selon cinq dimensions :
  1. Participation : Statistiques de l'entonnoir et composition des équipes.
  2. Comportement de soumission : Courbes d'apprentissage, progression des scores et fiabilité.
  3. Robustesse du classement : Sensibilité des classements à la composition des métriques et à l'alignement public-caché.
  4. Coût computationnel : Utilisation de tokens, appels API et empreintes de durée en temps réel.
  5. Attribution de stratégie : Regroupement des modèles d'implémentation (archétypes) et leur corrélation avec la performance.
• Validation : L'infrastructure a été croisée avec une « Liste de contrôle Agent-Eval » récemment publiée pour les benchmarks dignes de confiance afin d'identifier les lacunes de conception.

Contributions clés

1. Premier benchmark agentic industriel avec contraintes de confidentialité : L'article documente le premier benchmark de type compétition combinant conjointement des tâches multi-étapes agentic, un domaine industriel d'actifs physiques (refroidisseurs, unités de traitement d'air) et un déploiement contraint par la confidentialité (utilisant une isolation par conteneurs pour prévenir les fuites de données).
2. Cadre rétrospectif à neuf dimensions : Les auteurs proposent un modèle analytique structuré à neuf dimensions pour les futures compétitions agentic, allant au-delà des métriques agrégées de classement pour inclure des entonnoirs de participation, une analyse de saturation des scores, des empreintes computationnelles et un regroupement de stratégies.
3. Preuve empirique d'un désalignement public-caché : L'étude fournit des preuves statistiques concrètes que les classements publics ne prédisent pas la robustesse cachée, en particulier dans les tâches d'exécution.
4. Taxonomie des stratégies et analyse des archétypes : L'article introduit une taxonomie des stratégies d'agents, distinguant les archétypes de « planification » (ingénierie d'invites) et d'« exécution » (ingénierie de garde-fous), révélant que les meilleurs performeurs s'appuient souvent sur une gestion robuste des erreurs plutôt que sur des architectures novatrices.

Résultats

• Participation et attrition : Sur 149 équipes inscrites, seules 11 ont atteint un statut entièrement classé sur les deux pistes. Le taux d'attrition a été significatif, avec un taux d'échec de 17,7 % dans les tentatives de soumission dû à des problèmes de conformité de la plateforme (violations de format d'emballage/de flux de travail), établissant une surcharge d'infrastructure fixe pour l'évaluation des agents.
• Corrélation entre scores publics et cachés :
  • Piste de planification : Corrélation modérée entre les scores publics et cachés ($\rho = 0,69$), bien que les scores publics aient montré un optimisme systématique.
  • Piste d'exécution : Aucune corrélation entre les scores publics et cachés ($\rho = -0,13, p = 0,71$). Les scores d'exécution publics étaient statistiquement indiscernables du bruit aléatoire concernant la performance cachée.
• Saturation des scores et sensibilité : Le classement public de planification a saturé à 72,73 % pour quatre équipes, rendant le signal public incapable de discriminer les meilleurs performeurs. De plus, le classement final était hautement sensible à la composition de la formule de notation. Le terme « t-match », destiné à contribuer pour un poids de 10 %, était numériquement inerte en raison des différences d'échelle (0–1 vs 0–100), contribuant au maximum 0,05 point. Le redimensionnement de ce terme ou l'ajustement des poids des pistes aurait échangé les deux premières équipes.
• Inversion du coût computationnel : L'analyse des empreintes computationnelles a révélé que le domaine « le moins cher » (Prévision de séries temporelles, TSFM) était le plus sensible aux invites (variance de stratégie la plus élevée), tandis que le domaine « le plus cher » (Ordres de travail, WO) était le plus robuste. Cela suggère que le pondération des benchmarks par le coût des tokens pourrait mesurer par inadvertance la sensibilité aux invites plutôt que la capacité de l'agent.
• Modèles de stratégie :
  • Planification : Les stratégies étaient diffuses, avec un bruit élevé dans le regroupement. Les meilleures soumissions ont souvent atteint la saturation par l'élaboration des invites (par exemple, exemples plus longs, catalogues d'agents) sans changements architecturaux.
  • Exécution : Les stratégies étaient fortement concentrées en trois regroupements serrés. Les meilleurs performeurs ont été identifiés comme des « ingénieurs de garde-fous » qui ont amélioré la sélection des réponses, le nettoyage et la logique de repli plutôt que d'introduire de nouvelles architectures d'agents.
• Modes de défaillance : L'hallucination a été identifiée comme un mode de défaillance couplé fortement négativement corrélé à la qualité globale de la tâche ($r \approx -0,93$), servant d'indicateur précoce d'une défaillance plus large. Les tâches d'ordres de travail impliquant un raisonnement à long horizon sur des dossiers historiques ont constamment formé le plafond de capacité.

Signification et affirmations

L'article affirme que le défi CODS 2025 ASSETOPSBENCH démontre pourquoi les compétitions d'agents doivent être analysées comme des instruments d'évaluation plutôt que de simples mécanismes de classement. Les auteurs affirment que leur analyse révèle des défauts critiques dans la conception actuelle des benchmarks, spécifiquement :

• Saturation des classements : Les signaux publics peuvent saturer rapidement, échouant à discriminer entre les systèmes à haute performance.
• Désalignement public-caché : L'itération publique peut récompenser des stratégies qui surajustent à des ensembles de scénarios spécifiques, conduisant à un décalage entre la position publique et la robustesse cachée.
• Défauts de conception des métriques : Les fonctions de notation composites sont sensibles aux choix d'échelle numérique (par exemple, le terme t-match), ce qui peut altérer arbitrairement les classements.
• Succès centré sur les garde-fous : Dans des contextes industriels complexes, la performance de haut niveau est souvent pilotée par une gestion robuste des erreurs et un contrôle du contexte (« ingénierie de garde-fous ») plutôt que par des innovations architecturales novatrices.

Les auteurs concluent que les futures compétitions agentic devraient isoler les dimensions de capacité sur des pistes distinctes, mettre en évidence des sous-scores conscients des compétences, s'assurer que les composants de notation sont numériquement commensurables, et traiter les métadonnées des équipes et le code versionné comme des livrables essentiels. Ils positionnent leur rétrospective à neuf dimensions comme un modèle réutilisable pour les futurs benchmarks afin de s'assurer que les compétitions fonctionnent comme des instruments scientifiques rigoureux capables de publier des preuves sur ce qui a été réellement mesuré.