Lumos-1: On Autoregressive Video Generation with Discrete Diffusion from a Unified Model Perspective

Lumos-1 est un modèle unifié basé sur les grands modèles de langage qui améliore la génération vidéo autoregressive en introduisant le MM-RoPE pour une modélisation spatiotemporelle efficace et une diffusion discrète parallèle avec forçage pour surmonter les limites de latence et d'équilibre des pertes.

L'essentiel

Imaginez que vous voulez enseigner à un robot comment dessiner des films à partir de simples mots. C'est ce que fait Lumos-1. Mais avant de pouvoir le faire, les chercheurs ont dû résoudre deux gros problèmes, un peu comme un chef d'orchestre qui doit apprendre à diriger à la fois des violons (le texte) et des tambours (les images).

1. Le Problème : Le Chef d'Orchestre Perdu

Jusqu'à présent, les intelligences artificielles qui écrivent du texte (les "LLM") et celles qui créent des vidéos fonctionnaient souvent comme deux équipes séparées.

• Le problème du texte : Les modèles de texte sont excellents pour lire une phrase mot par mot, de gauche à droite.
• Le problème de la vidéo : Une vidéo, ce n'est pas juste une ligne. C'est un cube ! Il y a la hauteur, la largeur et le temps (les images qui défilent).

Si on donne à un modèle de texte les règles pour lire une vidéo, il se perd. C'est comme si on demandait à quelqu'un de lire une partition de musique en ne regardant que les notes de gauche à droite, en ignorant la hauteur du son et le rythme. Le résultat serait chaotique.

2. La Solution 1 : Les "Lunettes 3D" (MM-RoPE)

Pour aider le modèle à comprendre la vidéo, les chercheurs ont créé une nouvelle paire de "lunettes" appelée MM-RoPE.

• L'analogie : Imaginez que le modèle de base porte des lunettes qui ne voient que des lignes plates (1D). Pour voir une vidéo, il faut des lunettes 3D.
• Le problème des anciennes lunettes 3D : Les lunettes 3D existantes étaient mal faites. Elles voyaient très bien le temps (le mouvement), mais elles étaient floues pour la hauteur et la largeur. C'est comme si vous aviez une vision très nette de l'horizon, mais que tout ce qui est haut ou bas était brouillé.
• L'innovation de Lumos-1 : Les chercheurs ont conçu MM-RoPE. C'est une paire de lunettes "intelligente" qui distribue la vision de manière égale. Elle permet au modèle de voir le temps, la hauteur et la largeur avec la même clarté, tout en gardant sa capacité à lire le texte parfaitement. C'est comme donner au chef d'orchestre une partition où les violons et les tambours sont parfaitement synchronisés.

3. La Solution 2 : Le Jeu de "Cache-Cache" (Diffusion Discrete)

La deuxième astuce concerne la façon dont le modèle "dessine" la vidéo.

• L'ancienne méthode (trop lente) : Imaginez un artiste qui dessine une vidéo image par image, de gauche à droite, comme on écrit un livre. Pour faire une vidéo de 25 images, il doit attendre que la première soit finie avant de commencer la deuxième. C'est très lent, comme essayer de remplir un seau avec une cuillère.
• La méthode Lumos-1 (le jeu de cache-cache) : Au lieu de dessiner image par image, Lumos-1 utilise une technique inspirée du jeu de cache-cache.
  • L'entraînement : Le modèle regarde une vidéo où des morceaux sont cachés (masqués). Il doit deviner ce qui se cache derrière. Mais attention ! Pour éviter qu'il ne triche en regardant simplement l'image précédente, les chercheurs cachent les mêmes endroits dans toutes les images de la vidéo (comme un tube qui traverse la vidéo). Cela force le modèle à comprendre le mouvement réel, pas juste à copier.
  • La génération : Pour créer la vidéo, le modèle commence avec un écran noir (tout caché). Il devine quelques pixels, puis cache à nouveau certains de ses propres dessins pour se remettre au travail. Il répète ce jeu de "devine-moi / cache-moi" plusieurs fois jusqu'à ce que l'image soit parfaite. C'est beaucoup plus rapide et permet de dessiner toute la vidéo en parallèle, comme si plusieurs artistes travaillaient sur la même toile en même temps.

4. Le Résultat : Un Magicien Économe

Le résultat final, Lumos-1, est impressionnant pour plusieurs raisons :

• Polyvalence : Il peut transformer du texte en image, une image en vidéo, ou du texte en vidéo. C'est un couteau suisse.
• Efficacité : Alors que d'autres modèles ont besoin de milliers de super-ordinateurs et de milliards de données, Lumos-1 a été entraîné avec seulement 48 cartes graphiques (ce qui est peu pour ce domaine) et un nombre de données plus modeste.
• Qualité : Malgré cette économie, il produit des vidéos aussi belles, voire meilleures, que les géants du secteur (comme OpenSora ou Show-o) sur des tests de qualité.

En Résumé

Lumos-1, c'est comme avoir un nouveau chef d'orchestre (le modèle de langage) qui a enfin reçu les bonnes lunettes (MM-RoPE) pour voir la musique en 3D, et qui joue avec une technique de jeu de cache-cache (Diffusion) qui lui permet de composer un symphonie visuelle entière en quelques secondes plutôt qu'en heures.

C'est une étape majeure vers une intelligence artificielle unique capable de comprendre et de créer le monde visuel, sans avoir besoin de construire des usines entières pour chaque nouvelle tâche.

Résumé technique

1. Problématique et Contexte

Les modèles de langage larges (LLM) ont unifié une vaste gamme de tâches linguistiques grâce à l'approche autoregressive (AR). Cette réussite a inspiré des tentatives d'application de l'AR à la génération vidéo. Cependant, les solutions existantes souffrent de limitations majeures lorsqu'elles tentent de s'intégrer dans une architecture de modèle unifié (capable à la fois de comprendre et de générer) :

• Incompatibilité architecturale : De nombreux générateurs vidéo AR s'écartent des architectures standard des LLM ou dépendent d'encodeurs de texte externes lourds.
• Inefficacité du décodage : La prédiction de "prochain token" (next-token prediction) standard, efficace pour le texte, est prohibitivement lente pour les données visuelles et ne modélise pas correctement les propriétés uniques de la vidéo (bidirectionnalité spatiale au sein d'une image, causalité temporelle entre les images).
• Limites des encodages de position : Les encodages de position standard des LLM (comme le RoPE 1D) sont inadaptés à la modélisation des corrélations spatio-temporelles complexes des vidéos. Les tentatives d'extension naïve vers le 3D (3D RoPE) montrent des spectres de fréquences déséquilibrés.

2. Méthodologie : Lumos-1

Lumos-1 est un modèle unifié basé sur LLM (dérivé de Llama) qui utilise une diffusion discrète pour la génération vidéo autoregressive. L'approche repose sur deux innovations techniques principales :

A. MM-RoPE (Multi-Modal Rotary Position Embedding)

Pour adapter les LLM aux données vidéo, les auteurs identifient que le RoPE 1D est insuffisant et que le RoPE 3D standard présente des défauts (spectres de fréquences déséquilibrés entre les dimensions temporelles et spatiales).

• Solution : Ils proposent MM-RoPE, une nouvelle famille de RoPE qui préserve le RoPE textuel original tout en intégrant les données vidéo.
• Mécanisme :
  • Allocation de fréquences distribuée : Contrairement aux méthodes précédentes, MM-RoPE répartit les canaux sur un spectre de fréquences plus complet pour modéliser les dimensions temporelles, de hauteur et de largeur de manière équilibrée.
  • Mise à l'échelle stratégique : Les positions 3D latentes sont mises à l'échelle (multipliées par le taux de compression) pour équilibrer l'apprentissage entre les modalités textuelles (souvent longues) et visuelles (résolution latente plus faible).
  • Compatibilité : Le RoPE pour les tokens textuels reste inchangé, préservant les capacités d'apprentissage linguistique du modèle.

B. Autoregressive Discrete Diffusion Forcing (AR-DF)

Pour surmonter l'inefficacité de la prédiction séquentielle de tokens et les problèmes de déséquilibre de perte (loss imbalance) lors de l'entraînement par masquage :

• Paradigme : Le modèle utilise une diffusion discrète parallèle avec des masques, combinée à une attention bidirectionnelle intra-image et causale inter-image.
• Problème résolu (Imbalance de perte) : Lors de l'entraînement, les tokens des images futures ont tendance à avoir une perte plus faible car le modèle peut "tricher" en copiant l'information spatiale des images précédentes (redondance spatiale).
• Solution (AR-DF) :
  • Entraînement : Utilisation d'un masquage en tube temporel (temporal tube masking). Un motif de masquage aléatoire est généré pour la première image et répliqué sur toutes les images suivantes. Cela force le modèle à apprendre la dynamique temporelle réelle plutôt que de copier les images précédentes.
  • Inférence : Une stratégie de masquage compatible est appliquée lors de la génération. Après la génération d'une image, une partie de ses tokens est masquée avant d'être utilisée comme contexte pour l'image suivante, évitant ainsi la dégradation de la qualité et du mouvement.

3. Contributions Clés

1. Architecture Unifiée Pure LLM : Lumos-1 est le premier modèle à utiliser une architecture LLM pure (sans encodeur externe) pour la génération vidéo AR, utilisant la diffusion discrète.
2. MM-RoPE : Identification des limites du RoPE 3D naïf et proposition d'une méthode distribuée et mise à l'échelle pour un meilleur équilibre modal et une modélisation spatio-temporelle fine.
3. AR-DF : Introduction d'une technique d'entraînement et d'inférence (masquage en tube et masquage partiel à l'inférence) pour résoudre le déséquilibre de perte et garantir la cohérence temporelle.
4. Efficacité des Ressources : Le modèle est pré-entraîné et affiné avec seulement 48 GPU, sur 60 millions d'images et 10 millions de vidéos, utilisant un tokenizer discret.

4. Résultats Expérimentaux

Malgré des ressources de calcul limitées par rapport aux modèles de diffusion massifs, Lumos-1 obtient des performances compétitives, voire supérieures, sur plusieurs benchmarks :

• Génération Texte-Image (T2I) : Surpasse des modèles comme Show-o2 et EMU3 sur le benchmark GenEval, notamment sur les tâches de liaison d'attributs et de positionnement.
• Génération Image-Vidéo (I2V) : Surpasse COSMOS-Video2World sur VBench-I2V, malgré l'utilisation de 10x moins de données d'entraînement (10M vs 100M).
• Génération Texte-Vidéo (T2V) : Surpasse OpenSoraPlan sur VBench-T2V.
• Efficacité : L'analyse montre que l'utilisation de la prédiction de masques avec cache KV est nettement plus rapide que la prédiction de prochain token séquentielle pour la vidéo.

5. Signification et Impact

Ce travail représente une étape significative vers la création de modèles unifiés fondamentaux capables de comprendre et de générer du contenu multimodal (texte, image, vidéo) au sein d'une seule architecture.

• Unification : Il démontre qu'il est possible d'adapter les LLM à la génération vidéo sans sacrifier leur capacité linguistique ni recourir à des architectures hybrides complexes.
• Efficacité : En prouvant qu'une génération vidéo de haute qualité est possible avec moins de données et de puissance de calcul grâce à des designs architecturaux soignés (MM-RoPE, AR-DF), il ouvre la voie à des modèles plus accessibles et écologiques.
• Futur : Lumos-1 pose les bases pour des modèles futurs qui pourraient intégrer l'apprentissage par renforcement et l'inférence en temps réel pour des applications multimodales avancées.

En résumé, Lumos-1 propose une refonte élégante de la génération vidéo autoregressive en résolvant les problèmes fondamentaux de l'encodage de position et de l'entraînement par masquage, tout en restant fidèle à l'architecture des LLM modernes.