Résumé Technique : WorldRoamBench

Énoncé du Problème

Malgré les avancées rapides des Modèles de Monde Interactifs (IWM) capables de générer des environnements photoréalistes en réponse aux entrées de l'utilisateur (par exemple, les touches WASD), les benchmarks existants ne parviennent pas à évaluer de manière adéquate la stabilité sur le long terme. Les méthodes d'évaluation actuelles souffrent de quatre limitations critiques :

1. Évaluation de l'Action : La plupart des benchmarks s'appuient sur des métriques de trajectoire (par exemple, l'erreur de pose relative, l'erreur de trajectoire absolue) dérivées de trajectoires de caméra 3D reconstruites. Ces métriques souffrent de disparités d'échelle sémantique entre les modèles (où différents modèles interprètent une même action avec des magnitudes très différentes) et peuvent masquer des échecs par image (par exemple, un modèle ignorant une touche pressée puis surcompensant).
2. Stabilité Visuelle : Les métriques existantes mesurent souvent la qualité visuelle moyenne, ignorant la dégradation temporelle. Les modèles autorégressifs présentent fréquemment un effondrement de la qualité non monotone (dérive, flou, rupture structurelle) au milieu de la séquence, que les comparaisons entre le début et la fin ne parviennent pas à détecter.
3. Physique de l'Interaction : Les benchmarks actuels manquent d'une évaluation systématique de la plausibilité physique sous contrôle actif, telle que la réponse aux collisions, le clipping (traversée d'objets), la gravité et la cohérence optique (reflets/ombres).
4. Cohérence de la Mémoire : La mémoire est souvent évaluée via des comparaisons de paires de frames symétriques supposant une exécution parfaite des actions. En réalité, la dérive cumulative fait que la frame de "revisite" se décale spatialement par rapport à la vérité terrain, confondant les erreurs de suivi d'action avec la dégradation de la mémoire.

Méthodologie

Les auteurs introduisent WorldRoamBench, un benchmark en monde ouvert conçu pour évaluer les IWM sur 10 à 60 secondes d'interaction continue dans divers scénarios (Nature, Urbain, Intérieur) et perspectives (Vue à la Première Personne - FPV, Vue à la Troisième Personne - TPV). Le benchmark comprend plus de 600 cas de test et évalue plus de 10 modèles de pointe (tant open-source que propriétaires).

Le cadre d'évaluation repose sur quatre dimensions complémentaires :

1. Suivi de l'Action (Action Following)

• Précision des Actions Discrètes par Image : Au lieu de reconstruire des trajectoires, le benchmark discrétise la pose de la caméra estimée (via ViPE) en actions atomiques (W, A, S, D, I, J, K, L) en utilisant un mécanisme de pas latent (regroupant les images en fenêtres de $K=4$ pour correspondre à la cadence de génération du modèle). Il rapporte à la fois la Précision Stricte (correspondance exacte de toutes les sous-actions) et la Précision Partielle (correspondance d'au moins une sous-action).
• Score de Trajectoire (TrajScore) : Une métrique géométrique qui compare le chemin généré à une vérité terrain adaptative. La vérité terrain adaptative préserve la magnitude de déplacement du propre modèle mais impose la direction et la forme idéales (par exemple, une ligne droite pour "en avant"). Cela découple la distance parcourue par le modèle de la question de savoir s'il a bougé correctement. Les erreurs sont normalisées par la longueur du chemin et la rotation pour assurer la comparabilité entre les modèles.

2. Qualité Visuelle

• Qualité Absolue : Mesurée via la Qualité d'Imagerie (MUSIQ) et la Qualité Esthétique (prédicteur basé sur CLIP).
• Dérive Temporelle : Une métrique basée sur des segments qui divise le déroulement en $N=10$ fenêtres pour identifier la plus grande chute de qualité ($D = \frac{\bar{s}_{best} - \bar{s}_{worst}}{|\bar{s}_{best}|}$). Cela capture les effondrements de qualité en milieu de séquence que les scores moyens ne détectent pas.

3. Physique de l'Interaction

Une évaluation sous condition de contrôlabilité garantit que le modèle répond aux actions avant d'évaluer la physique. Elle couvre trois domaines en utilisant le jugement d'un VLM (Qwen3-VL-PLUS) :

• Mécanique : Collisions, clipping (passage à travers des solides), déformation (empreintes/rides), suivi du terrain et gravité.
• Optique : Plausibilité des reflets et cohérence des ombres.
• Cohérence 3D : Préservation de la structure spatiale rigide et de l'ordre de profondeur lors du mouvement de la caméra.

4. Mémoire

La mémoire est évaluée sous un contrôle imparfait via deux pistes :

• Mémoire de Scène : Au lieu d'une comparaison de paires de frames, le benchmark localise la transition observation-revisite, reconstruit les nuages de points pour les deux segments et les aligne. Il calcule un score F1 basé sur la Rétention (géométrie observée récupérée) et l'Hallucination (géométrie de la revisite non supportée par l'observation).
• Mémoire du Sujet (TPV uniquement) : Utilise le tracking (SAM2) et le raisonnement VLM pour évaluer la préservation de l'identité, de la structure et de l'apparence du protagoniste au fil du temps.

Résultats Clés

Le benchmark a évalué plus de 10 modèles, incluant des leaders propriétaires (Genie 3, Happy Oyster) et des modèles open-source (Matrix-Game 2.0/3.0, HY-World 1.5, Lyra 2.0, SANA-WM, etc.).

• Aucun Modèle Dominant : Aucun modèle ne satisfait toutes les dimensions. Les modèles propriétaires excellent généralement dans la physique et la mémoire, tandis que les modèles ouverts mènent souvent dans le suivi d'action et la qualité visuelle.
• Trajectoire $\neq$ Correction par Image : Des modèles avec des scores de trajectoire élevés (>85) peuvent présenter une faible précision d'action stricte (<65%), révélant des échecs cachés où les modèles dérivent le long du bon chemin mais manquent des touches individuelles.
• Qualité Visuelle $\neq$ Contrôlabilité : Des scores esthétiques élevés ne garantissent pas un suivi d'action précis ; la fidélité visuelle et la contrôlabilité semblent être des capacités largement indépendantes.
• Compromis Physique vs Action : Les modèles qui adhèrent strictement à la physique (par exemple, s'arrêter devant les murs) dévient souvent des trajectoires prédéfinies, entraînant des scores de suivi d'action plus faibles malgré un comportement physiquement plausible.
• Contrôlabilité en Troisième Personne : Il existe un écart significatif dans les taux de contrôle TPV. Happy Oyster a atteint un taux de contrôle de 84,43 %, tandis que HY-World 1.5 a peiné à 21,23 %, indiquant que la stabilité en troisième personne n'est pas encore un problème résolu pour de nombreux modèles ouverts.

Signification et Revendications

L'article affirme que WorldRoamBench fournit une base de diagnostic pour mesurer les progrès vers des simulations de mondes véritablement interactives et stables. En exposant les modes d'échec cachés par les clips courts et les métriques de trajectoire uniquement, le benchmark souligne que les IWM actuels ne sont pas encore fiables pour un déploiement dans le monde réel.

Les auteurs insistent sur le fait que les futurs modèles de monde doivent intégrer simultanément la réactivité à l'action, l'ancrage physique et la mémoire persistante de la scène et du sujet. Le benchmark sert d'outil standardisé pour stimuler la recherche dans ces domaines spécifiques, souvent découplés, faisant passer le domaine de la simple "génération de vidéo photoréaliste" vers des "environnements interactifs stables et physiquement ancrés".