Résumé technique : « Comment les modèles de monde devraient-ils être évalués ? Une position centrée sur la prise de décision »

1. Énoncé du problème

Le terme « modèle de monde » s'est multiplié dans l'IA moderne, se référant désormais à un ensemble hétérogène d'objets incluant des modèles d'environnement conditionnés par l'action, des modèles d'imagination latente, des prédicteurs de vidéos futures, des simulateurs neuraux interactifs, des représentations prédictives latentes et des moteurs de données synthétiques. Bien que cette diversité soit scientifiquement productive, elle a conduit à une ambiguïté significative dans l'évaluation.

Le problème central identifié est un décalage récurrent entre l'affirmation et la preuve (claim/evidence mismatch). Les articles avancent fréquemment des affirmations fortes sur l'utilité d'un modèle pour la prise de décision incarnée (ex. : planification, optimisation de politique, tests de sécurité) tout en fournissant des preuves principalement axées sur des artefacts génératifs de bas niveau (ex. : réalisme vidéo, similitude perceptuelle, respect des instructions). Les auteurs soutiennent que les métriques adaptées à l'évaluation d'un générateur de vidéo (plausibilité visuelle) sont souvent insuffisantes ou trompeuses lorsqu' l'objectif déclaré est un outil d'aide à la décision (raisonnement contrefactuel fiable). Un modèle peut générer des futurs visuellement convaincants qui échouent à soutenir une évaluation ou une optimisation de politique fiable sous intervention et changement de distribution.

2. Méthodologie et cadre de travail

Le papier s'appuie sur une enquête exhaustive de la littérature et propose un cadre d'évaluation structuré centré sur l'usage prévu du modèle.

2.1 L'échelle d'évaluation L0–L7

Les auteurs organisent la littérature et les cibles d'évaluation selon une échelle hiérarchique allant de la plausibilité visuelle à l'utilité d'optimisation de la politique. Cette échelle sert d'outil de diagnostic pour distinguer différents types de modèles de monde et la force des preuves qu'ils fournissent pour les affirmations de prise de décision.

• L0 (Plausibilité visuelle) : Le résultat est-il réaliste ? (Métriques : FID, FVD, esthétique).
• L1 (Prédiction de futur enregistré) : La prédiction correspond-elle aux trajectoires non vues de la distribution de comportement ? (Métriques : MSE, PSNR, SSIM, LPIPS).
• L2 (Alignement sémantique) : Le déroulement correspond-il aux instructions et à la sémantique de la scène ? (Métriques : CLIPScore, juges VLM).
• L3 (Plausibilité physique) : Le déroulement respecte-t-il l'intuition physique et les contraintes géométriques ? (Métriques : QA physique, cohérence de la profondeur).
• L4 (Contrôlabilité par l'action / Fidélité contrefactuelle) : Est-ce que changer l'action produit les changements corrects pertinents pour la tâche ? Ceci est identifié comme le premier test interventionnel véritable, distinguant un modèle de monde décisionnel d'un simple a priori de génération de vidéo future.
• L5 (Fidélité de la récompense, de la valeur et du résultat) : Le modèle prédit-il le succès, la récompense ou la valeur avec suffisamment de précision pour la prise de décision ?
• L6 (Évaluation et classement de politique) : L'évaluation basée sur le modèle concorde-t-elle avec la performance de la politique réelle/du simulateur ? (Métriques : Corrélation, précision du classement).
• L7 (Utilité d'optimisation de politique / Planification) : L'utilisation du modèle améliore-t-elle réellement les décisions dans l'environnement réel ou le simulateur de confiance ?

Les auteurs postulent que L0–L3 sont mieux interprétés comme des diagnostics d'artefacts générés, que L4 marque le seuil du véritable test interventionnel, et que L5–L7 fournissent les preuves les plus directes de l'utilité décisionnelle.

2.2 Cadre d'évaluation centré sur la prise de décision

Le papier propose un cadre où l'évaluation est conditionnée par un « contrat de décision » déclaré (Famille de tâches, Classe de politique, Interface d'action, Horizon, Usage décisionnel). Les composantes clés de ce cadre incluent :

• Fidélité de l'action contrefactuelle : Évaluer la capacité du modèle à distinguer $P(o_{t+1:H} | h_t)$ de $P(o_{t+1:H} | h_t, do(a_{t:t+H-1}))$. Cela implique de mesurer l'erreur de prédiction interventionnelle (IPE) et l'accord action-effet.
• Décalage de distribution induit par la politique : Tester le modèle sous des politiques cibles qui diffèrent de la politique de comportement utilisée pour les données d'entraînement, plutôt que de s'appuyer uniquement sur des déroulements en boucle ouverte de la politique de comportement.
• Fidélité de l'issue sur l'horizon complet : Prioriser les résultats pertinents pour la tâche (récompenses, prédicats de succès) plutôt que la reconstruction de pixels à court horizon, car de petites erreurs locales peuvent se cumuler ou être non pertinentes pour l'objectif final.
• Validité du déroulement en boucle fermée : Évaluer le modèle lorsque la politique agit sur des historiques générés par le modèle, plutôt que sur des préfixes de vérité terrain forcés par l'enseignant (teacher-forced).
• Exploitabilité et incertitude : Tester si un optimiseur peut trouver des trajectoires qui semblent bonnes pour le modèle mais échouent dans la réalité (écart d'exploitabilité) et si les estimations d'incertitude du modèle sont calibrées.

2.3 Protocole de benchmark

Les auteurs proposent un protocole de benchmark opérationnel (Étapes 0–8) qui comprend :

1. Déclarer le contrat de décision.
2. Construire des séparations de politiques (comportement, ancrage, décalage, optimisation).
3. Rapporter L0–L3 comme diagnostics auxiliaires.
4. Évaluer la fidélité de l'action interventionnelle (L4).
5. Évaluer les déroulements en boucle fermée avec politique fixe (L5–L6).
6. Évaluer l'optimisation de politique sous budgets fixes (L7).
7. Tester l'exploitabilité adversaire et la calibration de l'incertitude.
8. Rapporter un « profil d'utilité décisionnelle » (un vecteur de scores à travers les niveaux) plutôt qu'un scalaire unique, en utilisant potentiellement des portes (ex. : exiger que L4–L6 réussissent/échouent) pour empêcher les métriques de bas niveau de compenser les échecs de haut niveau.

3. Contributions clés

1. Enquête de la littérature et diagnostic : Un inventaire article par article de la littérature récente sur les modèles de monde, organisé par ce qui est réellement évalué, identifiant le problème persistant de décalage entre l'affirmation et la preuve, où des preuves de bas niveau sont utilisées pour soutenir des affirmations de prise de décision plus fortes.
2. L'échelle L0–L7 : Un cadre conceptuel organisant les cibles d'évaluation de la plausibilité visuelle à l'utilité d'optimisation de la politique, arguant que pour les affirmations de prise de décision, L4 est l'exigence interventionnelle minimale et que L5–L7 fournissent les preuves les plus solides.
3. Cadre centré sur la prise de décision : Une proposition pour un nouveau paradigme d'évaluation qui met au premier plan la fidélité de l'action contrefactuelle, la validité du déroulement en boucle fermée, la prédiction de récompense/valeur, l'accord de classement de politique, l'amélioration par optimisation, l'exploitabilité du modèle et la calibration de l'incertitude.
4. Protocole de benchmark : Un protocole modulaire et opérationnel pour évaluer les modèles de monde destinés à la prise de décision incarnée, incluant des recommandations spécifiques pour les séparations de politiques, les tests d'intervention et les normes de rapport (ex. : la « Fiche d'évaluation du modèle de monde »).

4. Résultats et conclusions

Le papier ne présente pas de nouveaux résultats expérimentaux ni un nouveau modèle. À la place, ses « résultats » sont des conclusions analytiques dérivées de l'enquête de la littérature existante :

• Divergence des cultures d'évaluation : La littérature contient plusieurs cultures d'évaluation (benchmark/diagnostic, modèle d'environnement/optimisation de politique, évaluation de politique/exécutabilité, latent/fondation) qui sont souvent confondues sous le terme unique d'« évaluation de modèle de monde ».
• Prévalence du décalage : De nombreux articles évaluent des propriétés d'artefacts de bas niveau (L0–L3) mais en discutent comme s'ils établissaient des affirmations de prise de décision plus fortes (L6–L7). Inversement, certains modèles latents (ex. : V-JEPA) sont utiles pour la planification sans produire des pixels photoréalistes, remettant en question la nécessité de métriques visuelles de haut niveau.
• Insuffisance des métriques actuelles : Des métriques telles que FVD, PSNR et la QA physique basée sur les VLM sont utiles pour le débogage et les interfaces, mais sont souvent de mauvais indicateurs de l'utilité de la politique, du classement ou de l'amélioration par optimisation. Un modèle peut paraître fort visuellement tout en étant un mauvais modèle d'environnement pour le contrôle.
• Nécessité de l'intervention : Pour la prise de décision incarnée, les métriques observationnelles (L1–L3) sont insuffisantes ; des métriques interventionnelles (L4+) sont nécessaires pour vérifier que le modèle modélise correctement les conséquences des actions.

5. Signification et affirmations

La signification du papier réside dans son appel à un changement dans la manière dont les modèles de monde sont évalués, spécifiquement pour ceux qui prétendent supporter la prise de décision incarnée.

• Affirmation conditionnelle : Les auteurs ne prétendent pas que chaque système appelé « modèle de monde » doit être jugé par l'optimisation de politique. Si l'usage prévu est la génération de vidéo future, la qualité visuelle est la cible primaire. Cependant, lorsqu'un modèle est présenté comme un outil de prise de décision incarnée (planification, optimisation de politique, sécurité), les preuves requises changent fondamentalement.
• Argument principal : Pour les affirmations de prise de décision, les évaluations au niveau de l'action, du résultat et de la politique (L4–L7) fournissent des preuves plus fortes que la seule qualité de l'artefact. Les métriques de bas niveau ne doivent pas être autorisées à compenser les échecs de haut niveau.
• Impact pratique : Le cadre proposé vise à empêcher l'optimisation de modèles « magnifiques mais stratégiquement peu fiables ». Il encourage la communauté à déclarer des contrats de décision clairs et à donner la priorité aux preuves de raisonnement contrefactuel, de classement de politique et d'amélioration par optimisation plutôt qu'à la fidélité visuelle.
• Modestie : Les auteurs reconnaissent qu'une évaluation interventionnelle complète (ex. : des branches exactes correspondant au reset) est difficile sur de vrais robots et que les métriques de bas niveau peuvent corréler avec l'utilité de haut niveau dans certains domaines. Leur proposition est présentée comme un protocole modulaire et aspirationnel pour clarifier les preuves plutôt que comme un ensemble rigide d'axiomes universels.

En conclusion, le papier soutient que le domaine évalue plusieurs objets différents sous un seul nom. L'échelle L0–L7 et le cadre centré sur la prise de décision proposé servent à séparer ces objets et à définir les preuves spécifiques requises pour valider l'utilité décisionnelle d'un modèle.