SPATIALALIGN: Aligning Dynamic Spatial Relationships in Video Generation

Ce travail présente SPATIALALIGN, un cadre d'auto-amélioration qui optimise les modèles de génération vidéo texte-à-vidéo pour mieux respecter les relations spatiales dynamiques décrites dans les prompts, en utilisant une nouvelle métrique géométrique et une méthode d'optimisation directe des préférences.

L'essentiel

🎬 SPATIALALIGN : Apprendre aux IA à ne pas se tromper de place

Imaginez que vous demandez à un ami de dessiner une scène : "Un renard est d'abord à droite d'un arbre, puis il court vers la gauche."
Si votre ami dessine le renard qui reste bloqué au milieu, ou qui court dans la mauvaise direction, il n'a pas bien compris la consigne.

C'est exactement le problème que rencontrent les IA génératrices de vidéos (Text-to-Video) aujourd'hui. Elles sont très douées pour faire de belles images, mais elles ont du mal à comprendre les mouvements dans l'espace. Si vous leur demandez "Un chat qui saute de la table vers le sol", elles peuvent faire un beau chat, mais il restera coincé dans les airs ou atterrira n'importe où.

Les chercheurs de ce papier (SPATIALALIGN) ont trouvé une solution pour apprendre à ces IA à respecter la géométrie du mouvement. Voici comment ils ont fait, avec quelques analogies.

1. Le Problème : L'IA est comme un acteur qui oublie ses répliques

Les modèles actuels sont comme des acteurs très talentueux qui savent faire de beaux gestes, mais qui oublient souvent le scénario.

• La demande : "Le chien est sur la chaise, puis il saute à gauche."
• Le résultat de l'IA (avant) : Le chien reste sur la chaise, ou saute à droite, ou disparaît.
• Pourquoi ? L'IA ne "comprend" pas vraiment les relations spatiales (gauche, droite, dessus). Elle devine juste ce qui a l'air joli.

2. La Solution : Un arbitre géométrique (DSR-SCORE)

Pour entraîner l'IA, il faut un juge. Jusqu'à présent, on utilisait d'autres IA (des "Vision-Language Models") pour juger si la vidéo était bonne. C'est un peu comme demander à un autre robot de dire si le premier robot a bien joué. Le problème ? Ces robots-juges sont souvent confus et se trompent.

Les auteurs ont créé un nouvel arbitre, qu'ils appellent DSR-SCORE.

• L'analogie : Imaginez que vous avez un jeu de "Tic-Tac-Toe" géant. Au lieu de demander à quelqu'un de dire "c'est bien", vous posez une règle mathématique simple : "Si le point rouge (l'animal) commence à droite de la ligne et finit à gauche, c'est un point gagné."
• Comment ça marche ? Le système utilise des outils pour détecter où sont les objets dans chaque image (comme des boîtes autour du renard et de l'arbre). Il calcule ensuite la distance et la direction. C'est une règle de mathématiques pures, pas une opinion. C'est fiable, précis et impossible à tromper.

3. L'Entraînement : Le jeu du "Gagnant / Perdant" (DPO)

Une fois qu'on a un bon juge (le DSR-SCORE), comment on entraîne l'IA ?
On ne lui montre pas juste des vidéos parfaites (ce qui la rendrait paresseuse). On lui fait jouer un jeu de comparaison :

1. On demande à l'IA de générer 10 vidéos avec la même consigne.
2. Le juge (DSR-SCORE) regarde les 10 vidéos.
3. Il dit : "La vidéo A est un Gagnant (le renard a bien bougé à gauche). La vidéo B est un Perdant (le renard est resté immobile)."
4. On dit à l'IA : "Regarde la différence entre le Gagnant et le Perdant. Essaie de faire plus comme le Gagnant."

C'est ce qu'on appelle l'Optimisation par Préférence Directe (DPO). C'est comme un coach sportif qui ne vous donne pas un cours de théorie, mais qui vous dit : "Ce mouvement était nul, celui-ci était bon. Refais celui-ci."

4. Le Secret : Le "Frein de sécurité" (Régularisation)

Il y a un piège : si on force trop l'IA à gagner, elle peut tricher. Elle pourrait apprendre à faire des vidéos bizarres qui trompent le juge (par exemple, en changeant les couleurs pour que le juge se trompe), mais qui sont moches. C'est ce qu'on appelle le "hacking de récompense".

Pour éviter ça, les auteurs ont ajouté une régularisation d'ordre zéro.

• L'analogie : Imaginez que vous entraînez un chien. Si vous le récompensez trop pour rapporter une balle, il pourrait commencer à mordre les voisins pour avoir des friandises.
• La solution : On ajoute une règle : "Tu peux rapporter la balle, mais tu dois rester un bon chien (garder la qualité de l'image, les couleurs, le réalisme)."
• Cela empêche l'IA de tricher et assure que la vidéo reste belle et naturelle tout en respectant le mouvement.

🏆 Le Résultat : Une IA qui comprend enfin l'espace

Grâce à cette méthode, l'IA entraînée (SPATIALALIGN) devient beaucoup plus intelligente :

• Avant : "Le renard est à droite, puis va à gauche" → Le renard reste au milieu ou va à droite. ❌
• Après : "Le renard est à droite, puis va à gauche" → Le renard traverse l'écran correctement de la droite vers la gauche. ✅

En résumé :
Les chercheurs ont créé un juge mathématique (au lieu d'un juge IA confus) et un système d'entraînement par comparaison (Gagnant/Perdant) pour apprendre aux IA à respecter les règles de la physique et de l'espace, sans sacrifier la beauté de l'image. C'est une étape cruciale pour que les IA puissent un jour créer des vidéos pour la robotique, les jeux vidéo ou le cinéma, où le mouvement doit être précis et logique.

Résumé technique

Résumé Technique : SPATIALALIGN

1. Problématique

Les générateurs de vidéo à partir de texte (Text-to-Video ou T2V) actuels excellent dans la qualité esthétique, mais échouent souvent à respecter les contraintes spatiales dynamiques spécifiées dans les prompts.

• Le défi : Comprendre et générer des vidéos où la relation spatiale entre un objet (souvent un animal) et un environnement statique évolue de manière cohérente au cours du temps (ex: "Un renard est à droite d'une souche, puis il se déplace à gauche").
• Limites des modèles actuels : Les modèles de pointe (comme Wan2.1, CogVideoX) ont tendance à ignorer ces instructions de mouvement relatif, générant des vidéos où l'animal reste immobile, se déplace dans la mauvaise direction, ou où la relation spatiale initiale/finales est incorrecte.
• Limites des évaluations existantes : Les méthodes d'évaluation basées sur les modèles de langage-vision (VLM) sont jugées peu fiables pour ce type de tâche en raison de leurs capacités limitées de raisonnement spatial dynamique.

2. Méthodologie

L'approche proposée, SPATIALALIGN, est un cadre d'auto-amélioration qui aligne les modèles T2V pré-entraînés sur les instructions de relations spatiales dynamiques (DSR) via une optimisation préférentielle. Le processus se décompose en trois étapes clés :

A. Définition et Mesure : DSR-SCORE
Au lieu de s'appuyer sur des VLM, les auteurs proposent une métrique géométrique rigoureuse, DSR-SCORE, pour évaluer la conformité d'une vidéo à une instruction DSR.

• Détection : Utilisation de GroundedSAM pour extraire les boîtes englobantes (bboxes) de l'animal et de l'objet statique dans chaque image.
• Score Statique (SSR) : Pour chaque frame, un score $r(x_i, p^*) \in [-1, 1]$ est calculé en fonction de la distance normalisée et de l'alignement vectoriel entre les centres des bboxes par rapport à la relation demandée (Gauche, Droite, Haut).
• Score Dynamique (DSR) : Le score global d'une vidéo est dérivé de la séquence des scores SSR. Il mesure la transition : le score de la relation initiale doit diminuer tandis que celui de la relation finale doit augmenter. La formule combine les scores moyens des extrémités de la vidéo et la magnitude du changement (le "gap").

B. Curation des Données

• Génération de multiples échantillons vidéo à partir d'un modèle de référence ($p_{ref}$) pour un même prompt.
• Filtrage des échantillons invalides (détection échouée, objets multiples).
• Calcul du DSR-SCORE pour chaque vidéo valide.
• Création de paires "Gagnant/Perdant" : Les vidéos avec un score supérieur à un seuil $\tau_{train}$ sont étiquetées comme "Gagnantes" (préférées), les autres comme "Perdantes".

C. Entraînement : DPO avec Régularisation d'Ordre Zéro
Les auteurs utilisent l'optimisation préférentielle directe (DPO) pour affiner le modèle, mais avec une innovation cruciale :

• Problème du DPO pur : Appliquer le DPO seul sur des concepts de haut niveau (comme l'espace) peut entraîner une "déplacement de vraisemblance" (likelihood displacement), où le modèle apprend des raccourcis pour satisfaire la marge de préférence au détriment de la qualité visuelle (saturation des couleurs, dégradation).
• Solution (Zeroth-Order Regularization - LZO) : Les auteurs ajoutent un terme de régularisation qui pénalise la déviation du modèle affiné par rapport au modèle de référence ($\epsilon_{ref}$) sur les échantillons gagnants et perdants.
  • Formule de perte : $L = L_{DPO} + \lambda_{ZO} L_{ZO}$.
  • Cela agit comme un ancrage, empêchant le modèle de "hacker" la récompense en dégradant la qualité générale de l'image, tout en apprenant la relation spatiale.

3. Contributions Clés

1. DSR-SCORE : Une métrique d'évaluation basée sur la géométrie (et non sur le VLM) qui quantifie de manière fiable et fine l'alignement des relations spatiales dynamiques. Elle s'avère plus robuste que les évaluations basées sur les LLM.
2. SPATIALALIGN : Une stratégie d'entraînement novatrice combinant le DPO et une régularisation d'ordre zéro. Elle permet d'améliorer la capacité de raisonnement spatial des modèles T2V sans nécessiter de vidéos réelles étiquetées, uniquement par auto-amélioration sur des données générées.
3. DSR-DATASET : Un nouveau jeu de données de référence (benchmark) contenant des paires texte-vidéo contrôlées avec des motifs de mouvement et des relations spatiales variés, conçu spécifiquement pour évaluer ce type de tâche.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs modèles T2V de pointe (Wan2.1, CogVideoX, OpenSora, HunyuanVideo, LTX-Video).

• Performance Quantitative : Le modèle affiné (basé sur Wan2.1-1.3B) atteint un taux de Correctness@0.7 de 0.585, surpassant largement le modèle de base (0.125) et les autres modèles SOTA (qui tournent autour de 0.05 - 0.49).
• Qualité Visuelle : Contrairement aux méthodes d'ajustement supervisé (SFT) qui causent une saturation des couleurs, SPATIALALIGN maintient une qualité d'image et une consistance d'identité (ID Consistency) comparables au modèle de base.
• Ablations :
  • L'utilisation de récompenses basées sur des VLM (Qwen3-VL, VBench-2.0) conduit à une performance inférieure, confirmant leur fiabilité limitée pour ce problème.
  • L'ajout de la régularisation $L_{ZO}$ est essentiel pour la stabilité de l'entraînement et la préservation de la qualité visuelle.
  • Le modèle montre une bonne généralisation à différentes structures de prompts (paraphrasage par ChatGPT, Qwen2.5, ou structure "from...to"), prouvant qu'il a appris une sémantique spatiale profonde et non un simple sur-ajustement syntaxique.

5. Signification et Impact

Ce travail représente une avancée significative pour la génération vidéo physique et réaliste.

• Au-delà de l'esthétique : Il déplace le focus de la simple qualité visuelle vers la compréhension et l'exécution de contraintes logiques et spatiales complexes.
• Méthodologie Générale : La formulation géométrique de DSR-SCORE offre un modèle réutilisable pour convertir des exigences relationnelles complexes en signaux de récompense calculables automatiquement, applicable à d'autres attributs physiques (gravité, collisions, etc.).
• Efficacité : L'approche DPO avec régularisation offre une voie scalable et efficace pour aligner les modèles de diffusion vidéo sans le coût computationnel prohibitif des méthodes RL en ligne (comme PPO).

En conclusion, SPATIALALIGN démontre qu'il est possible d'enseigner aux modèles de génération vidéo des concepts de mouvement et d'espace dynamiques précis, comblant ainsi un fossé majeur entre la génération d'images statiques et la simulation de mondes physiques cohérents.