TTOM: Test-Time Optimization and Memorization for Compositional Video Generation

Ce papier présente TTOM, un cadre sans entraînement qui améliore la génération vidéo compositionnelle en alignant les modèles de fondation vidéo sur des layouts spatio-temporels via une optimisation et une mémorisation paramétriques en temps d'exécution.

L'essentiel

🎬 Le Problème : Le Cinéaste qui a la tête dans le nuage

Imaginez que vous demandez à un génie du cinéma (une Intelligence Artificielle appelée "Modèle de Fondation Vidéo") de réaliser un court-métrage.
Vous lui donnez une instruction précise : "Un robot et un sorcier se rapprochent furtivement l'un de l'autre dans un parc ensoleillé."

Le problème ? Ce génie est très doué pour créer de belles images, mais il est souvent maladroit avec la logique.

• Il peut faire apparaître deux robots au lieu d'un.
• Il peut faire avancer le robot vers la gauche alors que vous avez dit "vers la droite".
• Il peut oublier que le sorcier doit être derrière l'arbre.

C'est ce qu'on appelle le problème de l'alignement. Le film est beau, mais il ne raconte pas exactement l'histoire que vous avez demandée.

💡 La Solution : TTOM (Le Chef de Chantier et sa Mémoire)

Les auteurs de cet article ont créé une méthode appelée TTOM (Optimisation et Mémoire au Moment du Test). Pour comprendre comment ça marche, imaginons que nous ne modifions pas le génie lui-même, mais que nous lui donnons un assistant et un cahier de notes.

1. L'Assistant Architecte (La Planification)

Avant même de commencer à filmer, TTOM utilise un autre IA (un grand modèle de langage) pour agir comme un architecte.

• Au lieu de dire juste "robot et sorcier", l'architecte dessine un plan détaillé : "Au début, le robot est à gauche (coordonnées X, Y). Au milieu, il avance de 10 cm. À la fin, il est à droite."
• C'est comme si on donnait au réalisateur un storyboard précis avant de tourner la scène.

2. Le Chef de Chantier (L'Optimisation)

Pendant que le film est en train d'être généré (comme si on tournait la scène en direct), le "Chef de Chantier" (l'optimisation) surveille le tournage.

• Il compare ce qui est filmé avec le plan de l'architecte.
• Si le robot commence à dériver, le Chef de Chantier fait de micro-ajustements immédiats pour le remettre sur la bonne trajectoire.
• L'astuce géniale : Au lieu de toucher aux fondations du bâtiment (ce qui pourrait tout faire s'effondrer), il ajuste juste quelques petits boulons temporaires. Cela permet de corriger le tir sans abîmer la qualité de l'image.

3. Le Cahier de Notes Magique (La Mémoire Paramétrique)

C'est ici que TTOM devient vraiment intelligent.

• Le problème habituel : Si vous demandez à un réalisateur de tourner une scène avec "un chat qui court", il doit réapprendre à chaque fois comment faire courir un chat. C'est lent et inefficace.
• La solution TTOM : Une fois que le Chef de Chantier a réussi à faire courir le chat parfaitement, il écrit la recette dans un cahier de notes spécial (la mémoire).
• La prochaine fois : Si vous demandez "Un chien qui court", le système ouvre le cahier, trouve la recette du "chat qui court", et l'adapte instantanément. Il n'a plus besoin de réapprendre depuis zéro !
• Ce cahier peut aussi oublier les vieilles recettes si la page est pleine, pour garder place aux nouvelles idées.

🌟 Pourquoi c'est révolutionnaire ?

Imaginez que vous apprenez à jouer du piano.

• Les anciennes méthodes : À chaque fois que vous jouez une nouvelle chanson, vous devez réapprendre les accords de base, même si vous les connaissez déjà. C'est lent.
• La méthode TTOM : C'est comme avoir un professeur qui se souvient de tout. Si vous jouez une chanson similaire à celle d'hier, le professeur vous dit : "Tiens, tu as déjà fait ce mouvement hier, utilise-le !".
  • Résultat : Le film est généré plus vite, il respecte mieux vos consignes (les objets sont au bon endroit, bougent dans le bon sens), et le système devient de plus en plus intelligent avec le temps sans avoir besoin d'être réentraîné de fond en comble.

En résumé

TTOM est comme un assistant de tournage ultra-intelligent qui :

1. Dessine un plan précis avant de tourner.
2. Corrige en direct les erreurs pendant le tournage.
3. Note les bonnes solutions dans un carnet pour les réutiliser la prochaine fois.

Grâce à cela, les vidéos générées par IA deviennent beaucoup plus fidèles à ce que l'on demande, même pour des scènes complexes avec plusieurs personnages et des mouvements précis. C'est une étape de plus vers des IA qui comprennent vraiment l'histoire qu'on leur raconte.

Résumé technique

1. Problématique

Les modèles de fondation vidéo (VFMs) actuels, bien que performants pour la génération visuelle générale, éprouvent de grandes difficultés dans les scénarios compositionnels. Ces scénarios impliquent la combinaison complexe de plusieurs objets, attributs, relations spatiales, nombres (numératie) et mouvements dynamiques dans une seule scène.

Les approches existantes pour améliorer l'alignement texte-vidéo souffrent de trois limitations majeures :

1. Intervention directe sur les représentations latentes : Modifier directement les latents ou les cartes d'attention par échantillon peut perturber la distribution des caractéristiques, entraînant une dégradation de la qualité vidéo (artefacts, scintillement, incohérence).
2. Paradigme par échantillon (per-sample) : Les méthodes traitent chaque cas de test de manière isolée, ignorant le contexte historique et les connaissances acquises lors de la génération de vidéos précédentes.
3. Manque de généralisation : Les interventions optimisées pour un échantillon spécifique ne se généralisent pas aux autres, limitant la capacité intrinsèque du modèle à apprendre des motifs compositionnels.

2. Méthodologie : TTOM

Les auteurs proposent TTOM (Test-Time Optimization and Memorization), un cadre agnostique au modèle qui aligne les sorties des VFMs avec des dispositions spatio-temporelles pendant l'inférence, sans nécessiter de réentraînement. Le processus se déroule en trois étapes principales :

A. Planification de la disposition spatio-temporelle (LLM-Driven STL)

Avant la génération, un Grand Modèle de Langage (LLM) analyse le prompt utilisateur pour générer une disposition spatio-temporelle (STL).

• Le LLM extrait les objets, leurs phrases descriptives et génère des séquences de boîtes englobantes (bounding boxes) pour chaque cadre de la vidéo.
• Une étape de vérification assure la cohérence spatiale et temporelle (ex: nombre d'objets, trajectoires).

B. Optimisation au moment du test (Test-Time Optimization - TTO)

Au lieu de modifier les latents, TTOM introduit et optimise de nouveaux paramètres légers (via l'adaptation à faible rang, LoRA) au sein du modèle de fondation (DiT).

• Objectif : Aligner les cartes d'attention croisée (cross-attention maps) du modèle avec la disposition STL générée par le LLM.
• Fonction de perte : Une divergence Jensen-Shannon (JSD) est calculée entre les cartes d'attention (après moyennage sur la dimension textuelle) et des masques souples dérivés des boîtes englobantes.
• Avantage : L'optimisation des paramètres $\phi$ évite l'effondrement de distribution lié à la modification directe des latents et capture les motifs compositionnels (mouvement, interaction) dans ces nouveaux paramètres.

C. Mécanisme de Mémoire Paramétrique

Pour surmonter l'isolement des échantillons, TTOM intègre une mémoire paramétrique qui stocke les résultats d'optimisation historiques.

• Structure : Une collection de paires clé-valeur $\mathcal{M} = \{g(C) : \phi^*_C\}$, où la clé $g(C)$ est une abstraction sémantique du prompt (ex: "objet A se déplace vers la gauche au-dessus de l'objet B") et la valeur est le paramètre optimisé $\phi^*$.
• Opérations :
  • Insertion : Si un nouveau prompt n'a pas de correspondance, on optimise les paramètres et on les stocke.
  • Lecture : Si une correspondance est trouvée, les paramètres sont chargés dans le modèle. On peut soit générer directement, soit continuer l'optimisation (TTO continu) pour affiner l'adaptation.
  • Mise à jour et Suppression : Les paramètres sont mis à jour après optimisation. Si la mémoire est pleine, les éléments les moins utilisés sont supprimés.
• Bénéfice : Cela permet un apprentissage continu (lifelong learning), une personnalisation par utilisateur et une efficacité accrue en réutilisant des connaissances déjà acquises.

3. Contributions Clés

1. Cadre d'optimisation sans supervision : Une méthode agnostique qui utilise la disposition spatio-temporelle comme guide pour optimiser des paramètres légers (LoRA) spécifiquement pour chaque échantillon, sans réentraînement du modèle de base.
2. Mécanisme de mémoire paramétrique : Une innovation majeure qui maintient le contexte historique des optimisations, supportant des opérations flexibles (insertion, lecture, mise à jour, suppression) et permettant une réutilisation efficace des connaissances compositionnelles.
3. Désentanglement des connaissances : La méthode démontre sa capacité à séparer et transférer les connaissances du monde réel (mouvement, numératie, relations spatiales) d'un prompt à l'autre, améliorant la généralisation.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux benchmarks majeurs : T2V-CompBench et VBench, en utilisant des modèles de base comme CogVideoX-5B et Wan2.1-14B.

• Performance sur T2V-CompBench :
  • TTOM améliore significativement les performances par rapport aux modèles de base et aux méthodes existantes (comme LVD).
  • Par rapport à CogVideoX-5B, amélioration relative de +34,45% en moyenne globale.
  • Par rapport à Wan2.1-14B, amélioration relative de +15,83%.
  • Les gains les plus marqués concernent les catégories difficiles : Mouvement (+63,69% sur CogVideoX, +82,57% sur Wan) et Numératie (+37,10% sur CogVideoX, +15,02% sur Wan).
• Cohérence Sémantique (VBench) :
  • Améliorations notables dans la classification des objets, la gestion d'objets multiples, et la fidélité des relations spatiales et des couleurs.
  • Le modèle maintient une haute fidélité visuelle tout en respectant strictement les contraintes textuelles complexes.
• Analyse Ablative :
  • L'ajout de la mémoire seule (sans TTO continu) apporte déjà des gains significatifs (+13,91% sur la qualité du mouvement).
  • L'optimisation continue (TTO) sur les paramètres chargés de la mémoire offre les meilleurs résultats, bien qu'au prix d'un temps de calcul légèrement supérieur.
  • La fonction de perte JSD s'avère supérieure aux pertes BCE ou Center-of-Mass pour l'alignement attention-disposition.

5. Signification et Impact

TTOM représente une avancée significative pour la génération vidéo compositionnelle en résolvant le compromis entre la qualité visuelle et l'alignement textuel.

• Efficacité et Évolutivité : En évitant le réentraînement complet et en réutilisant les paramètres optimisés via une mémoire, le cadre est scalable et adapté aux flux de données en temps réel (streaming).
• Apprentissage Continu : La capacité à mémoriser et réutiliser les contextes d'optimisation historiques ouvre la voie à des systèmes de génération vidéo qui s'améliorent continuellement avec l'usage, personnalisant la génération selon les habitudes des utilisateurs.
• Praticité : Le cadre est "training-free" (sans réentraînement du modèle de base), ce qui le rend facilement applicable à divers modèles de fondation existants pour améliorer leurs capacités compositionnelles à la volée.

En conclusion, TTOM établit un nouveau standard pour l'alignement cross-modal dans la génération vidéo, démontrant qu'une optimisation ciblée couplée à une mémoire paramétrique peut surmonter les limitations fondamentales des modèles de diffusion actuels dans des scénarios complexes.