Résumé Technique : PAN – Un modèle de monde pour une simulation de monde générale, actionnable et à long terme

1. Énoncé du problème

Le développement de systèmes d'intelligence artificielle (IA) capables d'intelligence physique et incarnée nécessite d'aller au-delà des grands modèles de langage (LLM) pour construire des modèles de monde : des simulateurs cognitifs qui permettent aux agents de raisonner sur l'évolution de l'environnement, qu'elle soit spontanée ou dictée par des actions. Bien que les avancées récentes dans la génération de vidéos, l'évolution de scènes 3D et la simulation de jeux aient produit une fidélité visuelle impressionnante, des limitations significatives persistent en matière de prédiction générale, en domaine ouvert et pilotée par l'action, de cohérence à long terme et de raisonnement abstrait.

Les approches existantes font face à des compromis architecturaux spécifiques :

• Modèles de monde par apprentissage par renforcement (RL) : (ex. Dreamer, JEPA) opèrent souvent dans des domaines étroits et spécifiques à une tâche avec des espaces d'actions restreints. Les objectifs purement basés sur l'espace latent (comme JEPA) risquent un effondrement de la représentation et une perte d'information, écartant les détails fins nécessaires à une simulation fidèle.
• Grands modèles de langage (LLM) : Bien que capables de raisonner, les LLM ne sont pas nativement configurés pour apprendre à partir de données non linguistiques, limitant leur connaissance du monde à ce qui est exprimable par le langage.
• Modèles de génération de vidéo : Ces modèles excellent dans la génération de médias en boucle ouverte à partir de prompts fixes, mais manquent d'états internes persistants, d'interfaces d'action contrôlables et de dynamiques causales au niveau des objets. Ils sont optimisés pour le réalisme visuel plutôt que pour le raisonnement simulatif ou l'imagination contrefactuelle.

Le défi central demeure : comment combiner une couverture visuelle en domaine ouvert avec une cohérence temporelle conditionnée par l'action tout en maintenant un déroulement ancré sur l'observation.

2. Méthodologie : L'architecture PAN

Le document présente PAN, un modèle de monde général construit sur l'architecture Generative Latent Prediction (GLP). La GLP résout la tension entre l'abstraction latente (nécessaire pour une évolution évolutive et à long terme) et l'ancrage observationnel (nécessaire pour garantir que les prédictions correspondent à des changements sensoriels réalisables).

2.1 Architecture centrale

PAN implémente la GLP via trois composants couplés :

1. Encodeur de vision ($h$) : Mappe les observations (blocs vidéo) en états latents structurés du monde. Il utilise la branche de vision de Qwen2.5-VL-7B-Instruct, partitionnant les images en patchs spatiaux et regroupant les images consécutives pour la cohérence temporelle.
2. Backbone prédictif ($f$) : Fait évoluer les états latents vers l'avant sous l'influence des actions. PAN adopte le modèle de langage de Qwen2.5-VL-7B-Instruct comme backbone autoregressif. Cela permet de tirer parti de la connaissance multimodale pré-entraînée et de la modélisation de séquences conditionnées par le langage pour soutenir le raisonnement symbolique, la généralisation compositionnelle et la cohérence à long terme. Le backbone prédit le prochain état latent conditionné par l'historique complet des états latents et les actions linguistiques.
3. Décodeur de diffusion vidéo ($g$) : Reconstruit les résultats observables à partir des états latents prédits. Adapté de Wan2.1-T2V-14B, le décodeur n'est pas seulement un module de visualisation, mais le principal signal d'entraînement. Il utilise un objectif de flow-matching pour superviser les prédictions dans l'espace d'observation, empêchant l'effondrement de la représentation associé aux objectifs purement latents.

2.2 Innovations techniques clés

• Causal Swin-DPM (Modèle de processus de débruitage par fenêtre glissante) : Pour traiter l'intraitabilité de la reconstruction de tous les détails au niveau du pixel et prévenir l'accumulation d'erreurs lors des déroulements longs, PAN emploie un mécanisme de débruitage causal par blocs.
  • Il opère au sein d'une fenêtre temporelle glissante contenant deux blocs à différents niveaux de bruit (par exemple, le bloc précédent à un niveau de bruit $K/2$, le bloc suivant à un niveau de bruit $K$).
  • En conditionnant chaque bloc sur des représentations partiellement débruitées (plutôt que totalement débruitées) des blocs précédents, le mécanisme atténue les détails de pixels incidents et concentre la supervision sur la structure sémantiquement persistante (disposition de la scène, présence d'objets, direction du mouvement).
  • Un masque d'attention causal empêche la fuite d'informations provenant des actions futures, garantissant que le modèle respecte la causalité temporelle de la simulation.
• Interface d'action : Les actions sont spécifiées sous forme d'instructions en langage naturel au niveau du bloc vidéo (ex. "conduire à travers une forêt enneigée"), permettant des déroulements visuels conditionnés par le langage.
• Stratégie d'entraînement : PAN est entraîné sur 8 millions de paires vidéo-texte (environ 4 500 heures) provenant de sources publiques, avec des légendes denses mettant l'accent sur la dynamique temporelle. L'entraînement se déroule en deux étapes :
  1. Entraînement par module : Adaptation du décodeur vidéo à l'architecture Causal Swin-DPM tout en figeant l'encodeur et le backbone.
  2. Entraînement conjoint : Entraînement de bout en bout sous l'objectif de supervision générative GLP, couplant la prédiction latente avec la reconstruction dans l'espace d'observation.

3. Évaluation et résultats

PAN a été évalué sur le benchmark World Reasoning Arena (WR-Arena), qui mesure la compétence à travers trois dimensions : la Fidélité de la simulation d'action, la Prévision à long terme et le Raisonnement et la Planification simulatifs.

3.1 Métriques de performance

• Fidélité de la simulation d'action : PAN a obtenu un score global de 58,7, le plus élevé parmi les modèles open-source et compétitif avec les systèmes commerciaux de pointe (ex. KLING, Gen-3). Il a démontré de fortes performances tant dans la Simulation d'Agent (animation d'entités contrôlables, score : 70,3) que dans la Simulation d'Environnement (interventions au niveau de la scène, score : 47,1).
• Prévision à long terme : PAN a obtenu les scores les plus élevés en Fluidité de transition (53,6 %) et en Cohérence de simulation (64,1 %), surpassant les systèmes commerciaux et les bases de référence open-source. Contrairement aux générateurs de vidéo autonomes qui se dégradent rapidement après 5 à 8 étapes, la cohérence de PAN se dégrade progressivement sur plus de 9 étapes.
• Raisonnement et planification simulatifs : Lorsqu'il est intégré à un agent de planification basé sur un VLM, PAN améliore les taux de réussite des tâches de 26,7 % (Planification ouverte) et de 23,4 % (Planification structurée) par rapport à l'agent agissant sans modèle de monde. Cela confirme que les simulations de PAN sont causalement informatives, et non simplement visuellement plausibles.

3.2 Études d'ablation

Les études d'ablation progressives ont confirmé la nécessité de chaque composant :

• Le retrait du backbone VLM (en conservant le décodeur) préservait la fidélité à court terme mais dégradait la cohérence à long terme et la dynamique de l'agent.
• Le retrait du mécanisme Causal Swin-DPM entraînait une chute significative de la fluidité de transition et de la cohérence de la simulation, soulignant son rôle dans la prévention de l'accumulation d'erreurs.
• Le système GLP complet maintenait une simulation cohérente là où les générateurs autonomes (comme Wan-2.1) se détérioraient rapidement.

4. Signification et affirmations

L'article soutient que le but premier d'un modèle de monde est de permettre la pensée hypothétique — permettant aux agents de simuler les conséquences d'actions alternatives et de sélectionner des plans optimaux. La signification de PAN réside dans sa conception architecturale, qui sépare strictement le modèle de monde (prédire les transitions d'état) du modèle d'agent (décider des actions), une factorisation qui évite le biais consistant à entraîner un seul modèle sur la prédiction et les signaux de récompense.

Les affirmations clés concernant la contribution de PAN incluent :

1. La supervision générative comme ancrage : En décodant les transitions latentes vers le domaine sensoriel, la GLP garantit que la représentation reste ancrée dans la réalité, évitant les dégénérescences associées aux objectifs purement latents.
2. Raisonnement à long terme scalable : La combinaison d'un backbone LLM pour la dynamique symbolique et d'un décodeur de diffusion pour la réalisation perceptuelle permet des déroulements cohérents sur plusieurs étapes qui maintrent la structure causale sur des horizons étendus.
3. Praticité de la reconstruction : Contrairement à l'idée que la reconstruction complète est intraitable, PAN démontre que la supervision générative est un objectif d'entraînement stable et efficace lorsque des choix architecturaux (comme le Causal Swin-DPM) sont utilisés pour moduler le compromis entre fidélité et saillance sémantique.

Les auteurs positionnent PAN non pas comme un simple générateur de médias, mais comme un simulateur pour le raisonnement, fournissant une base pour les travaux futurs sur la modélisation de monde en domaine ouvert, interactive et causalement ancrée. Le document reconnaît des limites, notamment la dépendance actuelle aux interfaces d'action par le langage (qui peut ne pas supporter un contrôle continu fin) et la persistance de la dérive à long terme, suggérant ces points comme des directions pour la recherche future.