Goal Force: Teaching Video Models To Accomplish Physics-Conditioned Goals

1. Problématique et Contexte

Les récents progrès dans la génération vidéo ont permis le développement de « modèles du monde » capables de simuler des futurs potentiels pour la robotique et la planification. Cependant, une limitation majeure persiste : la spécification précise d'objectifs pour ces modèles.

• Limites des approches actuelles :
  • Les instructions textuelles sont souvent trop abstraites pour capturer les nuances physiques (ex: « tirer au but » ne précise pas la force ni la trajectoire exacte).
  • Les images cibles sont souvent irréalistes ou trop coûteuses à spécifier pour des tâches dynamiques complexes (ex: générer l'éclairage exact d'une balle entrant dans le filet).
  • Les méthodes de contrôle existantes (trajectoires, forces directes) se concentrent sur l'application immédiate d'une force ou d'un mouvement, sans permettre au modèle de planifier la cause nécessaire pour atteindre un effet désiré.

L'objectif de ce travail est de permettre aux utilisateurs de définir des objectifs via des vecteurs de force explicites et des dynamiques intermédiaires, imitant la façon dont les humains conceptualisent les tâches physiques (en visant une « force but » plutôt qu'un état statique final).

2. Méthodologie : Goal Force

Les auteurs proposent un cadre nommé Goal Force, qui conditionne la génération vidéo sur une « force but » (Goal Force) plutôt que sur une force directe. Le modèle doit alors inférer et générer la chaîne causale antérieure (l'action déclencheuse) nécessaire pour réaliser cet objectif.

A. Signal de Contrôle Physique Multi-Canal

Le cœur de la méthode repose sur un tenseur de contrôle physique à 3 canaux ($\tilde{\pi} \in \mathbb{R}^{f \times 3 \times h \times w}$) :

1. Canal 0 (Force Directe) : Encode une force immédiate appliquée (la « cause »). Représenté par un « blob gaussien » en mouvement.
2. Canal 1 (Force But) : Encode l'effet désiré sur un objet cible (l'« effet »). C'est l'objectif que le modèle doit atteindre.
3. Canal 2 (Masse) : Encode des informations physiques privilégiées, comme la masse relative des objets (représentée par un blob gaussien statique dont le rayon est proportionnel à la masse). Ce canal est optionnel.

B. Stratégie d'Entraînement et Données

Le modèle est entraîné sur un jeu de données synthétiques curaté, généré avec Blender et PhysDreamer, contenant des primitives causales simples :

• Dominos (3k vidéos) : Chaînes de réactions où une force initiale provoque la chute d'une série.
• Billes en mouvement (6k vidéos) : Collisions entre billes (projectile vs cible) et scénarios sans collision.
• Plantes (PhysDreamer) (3k vidéos) : Dynamiques non rigides (fleurs qui oscillent).

Stratégie d'apprentissage par masquage (Curriculum Learning) :
Pour forcer le modèle à apprendre le raisonnement physique, les auteurs masquent aléatoirement les canaux d'entrée lors de l'entraînement :

• Si seul le Force But est fourni, le modèle doit apprendre à planifier la force directe antérieure (raisonnement causal : But $\to$ Plan).
• Si seule la Force Directe est fournie, le modèle doit simuler l'effet résultant (Action $\to$ Résultat).
• Le canal de masse est également masqué aléatoirement, obligeant le modèle à utiliser ses priors internes pour estimer la masse si l'information n'est pas fournie.

C. Architecture

Le modèle est basé sur Wan2.2 (un modèle de diffusion Mixture-of-Experts). Un module ControlNet est ajouté pour conditionner le modèle sur le signal physique $\tilde{\pi}$. Seuls les experts à haut bruit (responsables de la structure globale et des dynamiques basse fréquence) et les premières couches du DiT sont affinés (fine-tuning).

3. Contributions Clés

1. Nouveau Paradigme de Planification : Introduction de la tâche « Goal Force », qui transforme le modèle vidéo en un planificateur de chaîne causale. Contrairement aux méthodes précédentes qui appliquent directement une force, Goal Force demande au modèle de trouver l'action antérieure (ex: utiliser un club de golf pour frapper une balle) afin d'atteindre un effet spécifique.
2. Simulateur Physique Neural Implicite : Le modèle apprend à propager les forces dans le temps et l'espace sans utiliser de moteur physique externe lors de l'inférence. Il agit comme un simulateur physique appris.
3. Généralisation Zero-Shot : Malgré un entraînement uniquement sur des données synthétiques simples (billes, dominos), le modèle généralise remarquablement à des scénarios complexes et hors domaine, incluant l'interaction humain-objet, l'utilisation d'outils et des chaînes de collisions multi-objets.

4. Résultats Expérimentaux

Les auteurs évaluent le modèle sur plusieurs benchmarks et comparaisons :

• Comparaison avec des baselines textuelles :
  • Dans une étude humaine (2AFC), Goal Force surpasse significativement les modèles conditionnés uniquement par le texte (Zero-shot et Fine-tuned) en termes d'adhésion à l'objectif physique, tout en maintenant une qualité visuelle et un réalisme des mouvements élevés.
• Comparaison avec des méthodes de force directe (PhysGen, PhysDreamer, Force Prompting) :
  • Les méthodes existantes échouent à interpréter une « force but » comme un objectif à atteindre ; elles appliquent la force directement sur la cible (effet non causal). Goal Force génère correctement la cause (ex: un pendule qui frappe un bloc) pour obtenir l'effet désiré.
• Planification Visuelle et Précision :
  • Précité Physique : Sur un ensemble de scènes avec des obstacles (« natural blockers »), le modèle choisit correctement l'initiateur de la force (ex: choisir la bille blanche plutôt que l'orange si le chemin est bloqué) avec un taux de réussite allant jusqu'à 98%.
  • Diversité : Le modèle explore une distribution multimodale de solutions valides (diversité $\delta(p) = 0.6577$) plutôt que de tomber dans un effondrement de mode (solution unique).
  • Compréhension de la Masse : Le modèle ajuste la vitesse du projectile en fonction de la masse de la cible et du projectile, respectant les principes physiques même dans des scénarios hors distribution (changement de fond, éclairage, taille).

5. Signification et Impact

Ce travail représente une avancée majeure vers des modèles du monde interactifs physiquement conscients.

• Passage de la Simulation à la Planification : Au lieu de simplement simuler « ce qui se passe si je pousse ceci », le modèle apprend à répondre à « comment dois-je agir pour que cela se produise ? ».
• Indépendance des Simulateurs : La méthode élimine le besoin de moteurs physiques 3D complexes lors de l'inférence, rendant la planification plus accessible et intégrée directement dans le modèle génératif.
• Applications Potentielles : Cela ouvre la voie à des applications en robotique (planification de tâches complexes, manipulation d'outils) et en conception de jeux vidéo, où l'IA peut générer des actions réalistes pour atteindre des objectifs physiques spécifiques sans intervention humaine détaillée.

En résumé, Goal Force démontre qu'en ancrant la génération vidéo dans des interactions physiques fondamentales, les modèles peuvent émerger comme des simulateurs neuronaux capables de raisonner sur la causalité et de planifier des actions complexes.