Résumé technique : Les systèmes d'entreprise ont-ils besoin de modèles du monde appris ?

Énoncé du problème

Les systèmes d'entreprise diffèrent fondamentalement des environnements traditionnels (par exemple, la robotique ou les jeux vidéo) car leurs dynamiques de transition ne sont pas fixes, mais sont définies par des artifacts de configuration spécifiques au locataire (règles métier, flux de travail, politiques d'approbation) qui varient d'un déploiement à l'autre et évoluent au fil du temps. Dans de tels contextes, la même action $a_t$ appliquée à un état $s_t$ peut produire des résultats différents $s_{t+1}$ selon la configuration d'instance active $c$.

L'article aborde une question critique dans la littérature sur les modèles du monde : Lorsque les règles régissant l'environnement sont lisibles et accessibles au moment de l'inférence, un agent a-t-il encore besoin de les apprendre en interne ?

Les approches existantes reposent sur des modèles du monde appris qui internalisent les dynamiques à partir de données de transition historiques. Cependant, les auteurs soutiennent que les modèles entraînés uniquement sur des transitions historiques deviennent fragiles face aux changements de déploiement (modifications de configuration ou de logique du locataire). Si les règles sont explicitement disponibles dans la configuration du système, s'appuyer sur une représentation interne statique peut introduire des erreurs d'approximation inutiles et réduire la robustesse.

Méthodologie

1. Formalisation : Modèles de transition contextuels

Les auteurs formalisent les dynamiques d'entreprise comme un modèle de transition contextuel :
$$s_{t+1} \sim P(s_{t+1} | s_t, a_t, c)$$
où $c$ est la configuration explicite et lisible de l'instance spécifique. Contrairement aux modèles du monde standards où $c$ est fixe et inconnu, le $c$ de l'entreprise est mutable et inspectable. L'article distingue trois niveaux de complexité de transition :

• Niveau 1 (Déterministe par schéma) : Les effets sont déterminés par les valeurs par défaut et les contraintes du dictionnaire de données.
• Niveau 2 (Composable par règles) : Les effets sont déterminés par des chaînes de règles métier (cascades).
• Niveau 3 (Inféré par exécution) : Les effets dépendent de comportements internes au moteur (par exemple, l'ordre d'exécution, les conditions de course) non entièrement exposés dans les artifacts statiques.

2. Benchmark : CascadeBench

Pour évaluer les agents dans des conditions de changement de configuration et de déploiement contrôlés, les auteurs introduisent CascadeBench.

• Construction : Basé sur des schémas synthétiques (pour empêcher la mémorisation des structures de tables réelles) générés à partir d'un catalogue de 1 596 motifs de règles métier répartis sur 6 industries.
• Vérité terrain : Les données sont collectées en exécutant des actions sur des instances ServiceNow en direct (non simulées), en capturant les vrais journaux d'audit ($sys\_audit$) pour enregistrer les différences d'état et les chemins de cascade.
• Évaluation : Les modèles doivent prédire les changements d'état au niveau des champs ($s_{t+1}$) étant donné un état actuel ($s_t$) et une action ($a_t$). Le benchmark isole le raisonnement de la mémorisation paramétrique en fournissant le contexte (schémas, règles) ou en le retirant.

3. Approche proposée : Agents de découverte d'entreprise

L'article propose des Agents de découverte d'entreprise, qui ne tentent pas d'internaliser les dynamiques pendant l'entraînement. Au lieu de cela, ils :

1. Récupèrent : Au moment de l'inférence, interrogent la configuration d'instance en direct $c$ (par exemple, règles métier, états actuels des enregistrements, définitions de SLA) pour récupérer la logique de transition pertinente.
2. Raisonnent : Utilisent un modèle de langage figé pour raisonner sur le sous-ensemble récupéré $\tilde{c}$ afin de prédire l'état suivant.
3. Itèrent : Pour les déroulements multi-étapes, l'agent réinterroge le système à chaque étape pour ancrer les prédictions dans l'état actuel, atténuant ainsi la propagation des erreurs.

4. Lignes de base comparatives

L'étude compare trois approches :

• Ligne de base par prompt : Des LLM figés prédisant les transitions à partir d'un contexte statique (avec ou sans règles métier fournies).
• Modèle du monde d'entreprise appris : Des modèles affinés (via LoRA) sur des tuples historiques $(s_t, a_t, s_{t+1})$ pour internaliser les dynamiques.
• Agent de découverte : L'approche basée sur la récupération décrite ci-dessus.

Résultats clés

1. Internalisation vs Récupération

• Performance en distribution : Les modèles du monde affinés fonctionnent exceptionnellement bien sur des données tirées de la même distribution que leur ensemble d'entraînement (par exemple, 91,6 % d'IoU pour Gemma-4-31B en distribution).
• Dégradation hors distribution : Sous un changement de déploiement (schémas synthétiques et configurations invisibles), les modèles affinés se dégradent considérablement, tombant à des niveaux de performance comparables aux lignes de base par prompt (~40 % d'IoU).
• Robustesse de la découverte : Les agents de découverte, qui récupèrent les règles au moment de l'exécution, maintiennent une performance robuste face aux changements. Ils surpassent constamment les lignes de base par prompt et égalent la performance des modèles « Oracle » (qui reçoivent toutes les règles dans le prompt) pour les transitions de niveau 1 et 2.

2. Impact des règles métier

• Dépendance aux règles : La suppression des règles métier du prompt provoque un effondrement uniforme des performances pour toutes les classes de modèles (passant de ~40 % d'IoU à ~10 % d'IoU). Cela confirme que les dynamiques d'entreprise sont pilotées par des règles, et non par des connaissances pré-entraînées.
• Récupération vs Mémorisation : Pour les modèles de pointe, la récupération au moment de l'exécution récupère une grande fraction du signal « Oracle » (atteignant les 20-30 % d'IoU sans entraînement sur l'instance cible), alors que l'internalisation seule échoue à généraliser.

3. Prédiction multi-étapes

• Propagation des erreurs : Dans les déroulements multi-étapes (horizons $k=1$ à $5$), les performances se dégradent pour toutes les méthodes à mesure que la profondeur augmente.
• Avantage de l'ancrage : Les agents de découverte surpassent constamment les lignes de base par prompt à tous les horizons. La capacité de réinterroger l'instance en direct à chaque étape rafraîchit la vision du modèle de la configuration, réduisant l'accumulation d'erreurs par rapport à une dépendance exclusive aux états prédits précédemment.

4. Analyse stratifiée par niveau

• Niveaux 1 et 2 : Les agents de découverte atteignent des performances proches de l'Oracle, récupérant efficacement les règles et cascades cachées.
• Niveau 3 : Un écart de performance subsiste pour le niveau 3 (dynamiques inférées par exécution), où les résultats dépendent de comportements internes au moteur non entièrement exposés dans la configuration. Cela suggère une limite structurelle à ce qui peut être récupéré à partir de la configuration seule.

Signification et affirmations

L'article soutient que la modélisation du monde d'entreprise ne doit pas reposer uniquement sur des dynamiques fixes et internalisées. Au contraire, dans des environnements configurables où la logique de transition est lisible, les agents doivent intégrer des mécanismes de découverte au moment de l'exécution.

• Complémentarité : Les agents de découverte ne sont pas un remplacement pour les modèles du monde appris, mais un complément nécessaire. Les auteurs suggèrent un avenir hybride où les agents combinent des priors appris (pour l'efficacité et la reconnaissance de motifs) avec une récupération au moment de l'exécution (pour la robustesse face aux changements de configuration).
• Changement de paradigme : Ce travail remet en question l'hypothèse selon laquelle les dynamiques de l'environnement doivent être « apprises » au sens traditionnel. Dans les contextes d'entreprise, le « modèle du monde » peut être partiellement externalisé, l'agent agissant comme un raisonneur dynamique sur les configurations de systèmes en direct plutôt que comme un simulateur statique.
• Limites : Les auteurs notent que la découverte dépend de l'inspectabilité des règles (les contrôles d'accès peuvent dégrader les performances jusqu'au niveau de la ligne de base par prompt) et des capacités d'utilisation d'outils du modèle sous-jacent. De plus, les dynamiques de niveau 3 restent un défi, indiquant que certains aspects du comportement d'entreprise ne sont pas entièrement récupérables à partir d'artifacts de configuration statiques.

En conclusion, l'article démontre que pour les systèmes d'entreprise, ancrer les prédictions dans l'instance système active via une découverte au moment de l'exécution est plus robuste face aux changements de déploiement que de s'appuyer sur des modèles du monde internalisés entraînés hors ligne.