🤖 AI

World of Workflows: A Benchmark for Bringing World Models to Enterprise Systems

Ce papier présente **World of Workflows (WoW)**, un nouveau benchmark basé sur ServiceNow conçu pour évaluer la capacité des agents IA à comprendre et à anticiper les effets secondaires complexes et invisibles au sein des systèmes d'entreprise interconnectés.

Auteurs originaux : Lakshya Gupta, Litao Li, Yizhe Liu, Sriram Ganapathi Subramanian, Kaheer Suleman, Zichen Zhang, Haoye Lu, Sumit Pasupalak

Publié 2026-02-12

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Lakshya Gupta, Litao Li, Yizhe Liu, Sriram Ganapathi Subramanian, Kaheer Suleman, Zichen Zhang, Haoye Lu, Sumit Pasupalak

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : L'Agent Intelligent est un "Tête en l'air" dans un Bureau Géant

Imaginez que vous embauchez un assistant ultra-intelligent pour gérer votre entreprise. Cet assistant est capable de lire des milliers de documents en une seconde et de répondre à n'importe quelle question. C'est ce qu'on appelle les LLM (comme ChatGPT).

Le problème, c'est que dans une vraie entreprise, tout est lié par des "règles invisibles".

L'analogie du Domino :
Imaginez que votre assistant décide de ranger un dossier sur le bureau (une action simple). Mais, dans cette entreprise, chaque dossier est posé sur un domino. En déplaçant ce dossier, il fait tomber une rangée de dominos qui, sans qu'il le sache, finit par éteindre la lumière du bureau ou par verrouiller la porte de la salle de réunion.

L'assistant pense avoir fait du bon travail ("Le dossier est rangé !"), mais il ne se rend pas compte qu'il vient de plonger tout le monde dans le noir et de bloquer l'accès aux bureaux. C'est ce que les chercheurs appellent la "cécité face à la dynamique".

La Solution : "World of Workflows" (Le Monde des Flux de Travail)

Les chercheurs ont créé un simulateur ultra-réaliste appelé WoW. Ce n'est pas juste un petit jeu de questions-réponses ; c'est un immense labyrinthe numérique (basé sur un système pro appelé ServiceNow) rempli de milliers de règles cachées et de processus automatiques.

C'est comme si, au lieu de tester un pilote de ligne sur un simulateur de vol simple, on le mettait dans un simulateur où, si le pilote change la température de la cabine, cela peut accidentellement modifier la trajectoire de l'avion ou vider le réservoir de carburant à cause d'un système complexe et caché.

Ce qu'ils ont découvert (Le "Crash Test")

Ils ont testé les IA les plus puissantes du monde (les "Frontier Models") et les résultats sont assez frappants :

Ils sont aveugles aux conséquences : Les IA réussissent souvent la tâche immédiate, mais elles échouent lamentablement à respecter les règles de sécurité à long terme. Elles agissent comme des gens qui conduisent une voiture en regardant uniquement le capot, sans jamais regarder le rétroviseur ni les panneaux de signalisation.
Ils confondent les étiquettes et la réalité : L'IA voit le nom "Jean Dupont" et pense que c'est l'identité de la personne. Mais dans le système informatique, Jean Dupont est un code complexe (un ID). C'est comme si vous essayiez de commander un café en disant "le café de l'homme au chapeau" au lieu de donner le numéro de commande précis. L'IA se perd dans les noms au lieu de comprendre les structures.
Ils ne "simulent" pas le futur : Pour être un bon employé, une IA devrait être capable de se dire : "Si je fais l'action A, cela va déclencher la règle B, qui va changer l'état C... est-ce que c'est une bonne idée ?". Actuellement, les IA ne font pas cette simulation mentale. Elles réagissent au présent sans anticiper l'effet domino.

La Conclusion : Vers des IA "Conscientes du Système"

Le papier conclut que pour que les IA deviennent de vrais collègues de bureau fiables, on ne peut pas juste leur donner plus de texte à lire.

Il faut leur apprendre à construire un "Modèle du Monde". Elles doivent comprendre la "physique" de l'entreprise : comprendre que chaque action est une pierre jetée dans un étang et qu'il y aura forcément des ondes de choc qui se propageront partout.

En résumé : On ne veut pas seulement des assistants qui savent faire des choses, on veut des assistants qui comprennent ce qui se passe réellement dans les coulisses de l'entreprise.

Résumé Technique : World of Workflows (WoW)

1. Problématique (Le Problème)

L'article identifie une lacune majeure dans le développement des agents basés sur les grands modèles de langage (LLM) : alors que ces modèles excellent dans des tâches grand public, ils échouent de manière critique dans les systèmes d'entreprise complexes.

Les défis spécifiques identifiés sont :

L'opacité des flux de travail (Workflows) : Dans une entreprise, une action simple peut déclencher une cascade de règles métier et de processus automatisés invisibles (effets de bord).
L'observabilité limitée : Les agents ne reçoivent généralement que des réponses d'API superficielles (succès/échec), sans visibilité sur les changements d'état profonds dans les bases de données relationnelles.
L'espace d'état intractable : Les bases de données d'entreprise sont vastes, et les dépendances entre les données sont multi-étapes et complexes.
Le manque de "Modèles de Monde" (World Models) : Les LLM actuels agissent de manière réactive plutôt que prédictive ; ils ne sont pas capables de simuler mentalement les conséquences d'une action sur l'état futur du système.

2. Méthodologie

Les auteurs introduisent WoW, un environnement de simulation haute fidélité basé sur ServiceNow, et WoW-bench, un benchmark conçu pour évaluer la capacité des agents à agir et à modéliser le système.

A. L'Environnement WoW :

Utilise une instance ServiceNow réelle avec plus de 4 000 règles métier et 55 workflows actifs.
Modélise le système comme un Processus de Décision Markovien Partiellement Observable (POMDP).
Propose deux modes d'observation pour l'étude :
1. Standard ( $\Omega_{tool}$ ) : Uniquement les réponses directes des outils (API).
2. Oracle ( $\Omega_{audit}$ ) : Ajoute des journaux d'audit (audit logs) détaillant chaque changement de valeur dans la base de données (Table, Colonne, Ancienne Valeur, Nouvelle Valeur).

B. Le Benchmark WoW-bench :
Il comprend 234 tâches réparties en quatre catégories :

Compréhension des contraintes : Identifier les violations de règles causées par des workflows cachés.
Complétion de tâches agentiques : Réaliser des missions complexes sur de longs horizons.
Prédiction d'actions (Dynamique inverse) : Deviner l'action ayant causé un changement d'état donné.
Prédiction d'audits (Dynamique directe) : Prédire les changements d'état futurs suite à une action.

3. Contributions Clés

Création d'un environnement réaliste : Un simulateur d'entreprise complexe qui dépasse les benchmarks de "consommation" habituels.
Évaluation du "World Modeling" : Un cadre pour mesurer si un LLM peut fonctionner comme un simulateur interne du système.
Méthode d'échantillonnage par graphe de dépendance : Une technique pour générer des trajectoires de tâches réalistes et connectées, plutôt que des actions aléatoires et disjointes.

4. Résultats Principaux

Les tests effectués sur les modèles de pointe (GPT-5.1, Gemini-3-Pro, Claude-Sonnet-4.5) révèlent des échecs systémiques :

Aveuglement face à la dynamique : Bien que les agents réussissent certaines tâches de base, leur taux de réussite sous contrainte (TSRUC) s'effondre presque à zéro en mode standard ( $\Omega_{tool}$ ). Ils exécutent des actions qui semblent valides localement mais qui déclenchent des violations de règles invisibles.
L'importance de l'observabilité : L'utilisation des journaux d'audit (mode Oracle) augmente considérablement la fiabilité, prouvant que l'échec des agents est souvent dû à un manque d'information plutôt qu'à un manque de raisonnement.
Faiblesse de la simulation : Les modèles ont une précision très faible (<30%) pour prédire les effets de bord (audits) et les actions, montrant qu'ils ne "comprennent" pas la physique du système d'entreprise.
Lacunes de représentation : Les modèles confondent souvent les noms textuels (ex: "Utilisateur X") avec les identifiants symboliques (ex: sys_id), ce qui empêche un suivi précis de l'état.

5. Signification et Implications

L'article conclut que pour rendre les agents d'entreprise fiables, il faut changer de paradigme :

Passer de l'agent réactif à l'agent prédictif : Les agents ne doivent plus seulement réagir aux réponses des outils, mais apprendre un modèle interne des workflows (Model-Based Reinforcement Learning).
Ancrage symbolique : Les agents doivent maintenir une représentation structurée de l'état (une "carte mentale" de la base de données) plutôt que de se fier uniquement au texte dans leur fenêtre de contexte.
Stratégies épistémiques : Les agents devraient être capables de mener des "actions de sondage" pour tester les règles métier avant de prendre des décisions critiques.

En résumé : WoW démontre que la véritable frontière de l'IA agentique en entreprise n'est pas la capacité à utiliser des outils, mais la capacité à comprendre et à prédire la dynamique complexe et invisible des systèmes interconnectés.