Mirai: Autoregressive Visual Generation Needs Foresight

Le papier présente Mirai, un cadre général qui améliore la génération visuelle autoregressive en injectant des informations futures dans l'entraînement pour accélérer la convergence et renforcer la cohérence globale sans modifier l'architecture ni alourdir l'inférence.

L'essentiel

Le Problème : Le Puzzle sans voir l'image finale

Imaginez que vous devez assembler un puzzle géant de 10 000 pièces, mais avec une règle très stricte : vous ne pouvez jamais regarder la boîte (l'image finale) et vous devez placer les pièces une par une, de gauche à droite, comme si vous lisiez un livre.

C'est exactement comment fonctionnent les modèles de génération d'images actuels (appelés générateurs autoregressifs). Ils construisent une image pixel par pixel (ou "token" par "token").

• Le problème : Comme ils ne regardent que la pièce précédente pour décider de la suivante, ils sont souvent très bons pour dessiner un détail local (comme une plume d'oiseau), mais ils perdent le fil global. Résultat ? On obtient parfois un oiseau avec une tête déconnectée du corps, ou un feu d'artifice qui ne correspond pas au lanceur. C'est comme si le puzzle était bien assemblé localement, mais que l'image globale était déformée.

La Solution : "Mirai" (Le Futur)

Les chercheurs ont une idée brillante : et si, pendant l'entraînement, on donnait au modèle un aperçu du futur ?

Ils appellent leur méthode Mirai, ce qui signifie "Futur" en japonais. L'idée est d'entraîner le modèle non seulement à regarder ce qui vient juste avant, mais aussi à anticiper ce qui va arriver plus loin dans l'image.

Pour faire une analogie simple :

• Sans Mirai : C'est comme conduire une voiture de nuit avec des phares très courts. Vous voyez juste devant vous, vous tournez le volant pour éviter un trou, mais vous ne voyez pas le virage dangereux qui arrive dans 100 mètres. Vous finissez par faire une sortie de route.
• Avec Mirai : C'est comme si vous aviez un GPS ou un passager qui vous dit : "Attention, dans 50 mètres, il y a un virage à gauche". Le conducteur (le modèle) peut alors commencer à tourner le volant doucement bien avant d'arriver au virage. Le trajet est plus fluide et plus sûr.

Comment ça marche ? (Les deux versions de Mirai)

Les chercheurs ont testé deux façons d'apporter cette "clairvoyance" au modèle :

1. Mirai-E (Explicite) : Le "Miroir du Futur"
   Imaginez que le modèle a un jumeau qui travaille un peu plus vite que lui. Ce jumeau regarde un peu plus loin dans l'image et dit au modèle principal : "Hé, dans 3 pièces, il y aura du rouge". Le modèle principal utilise cette information pour ajuster sa pièce actuelle. C'est comme avoir un coach qui vous donne des indices précis sur ce qui va suivre.

2. Mirai-I (Implicite) : Le "Sage qui voit tout"
   Ici, on utilise un autre modèle, très puissant et entraîné à voir l'image entière d'un coup (comme un expert qui a déjà vu le puzzle fini). Ce modèle ne donne pas de consignes précises ("mets du rouge ici"), mais il transmet une "vibe" globale. Il dit au modèle principal : "Assure-toi que ta pièce actuelle s'intègre bien dans le grand ensemble". C'est comme si un architecte regardait votre brique et vous disait : "Ça a l'air bien, mais assure-toi que ça s'aligne avec le toit qui va arriver plus haut".

Pourquoi c'est génial ?

Les résultats sont impressionnants et rapides :

• Vitesse fulgurante : Grâce à cette aide, le modèle apprend beaucoup plus vite. Dans l'article, ils montrent que Mirai peut atteindre la même qualité qu'un modèle classique en 10 fois moins de temps d'entraînement. C'est comme passer de 10 heures de travail à 1 heure pour le même résultat.
• Qualité supérieure : Les images sont plus cohérentes. Les structures sont respectées (le corps de l'animal est bien attaché à la tête, le paysage est logique).
• Pas de changement à la fin : Le plus beau, c'est que cette "aide" n'est utilisée que pendant l'entraînement. Une fois le modèle prêt, on retire le GPS et le coach. Le modèle génère l'image tout seul, aussi vite qu'avant, mais avec la sagesse acquise grâce à la clairvoyance.

En résumé

Cette recherche nous dit que pour créer de belles images, les intelligences artificielles ne doivent pas seulement regarder le passé (ce qu'elles ont déjà dessiné), mais elles doivent aussi apprendre à anticiper le futur.

En donnant aux modèles un "coup d'œil" vers l'avenir pendant leur apprentissage, on les rend plus intelligents, plus rapides et plus cohérents, sans alourdir leur travail final. C'est une victoire majeure pour l'avenir de la génération d'images par IA.

Résumé technique

1. Problématique : Les limites de la génération visuelle autoregressive (AR)

Les modèles de génération visuelle autoregressive (AR) traitent les images comme des séquences de tokens discrets, apprenant à prédire le token suivant ($x_n$) uniquement en fonction des tokens précédents ($x_{<n}$). Bien que ce paradigme soit très efficace en traitement du langage naturel (NLP), il présente des défauts majeurs lorsqu'il est appliqué à la vision par ordinateur :

• Manque de cohérence globale : La supervision strictement causale (un token à la fois) force le modèle à se concentrer sur des détails locaux immédiats. Les informations globales ne se propagent qu'après de nombreuses étapes AR, ce qui conduit souvent à des incohérences structurelles (ex: une tête de perroquet déconnectée du corps, comme illustré dans la Figure 1 du papier).
• Convergence lente : L'absence de signal de planification globale ralentit considérablement l'apprentissage, nécessitant un grand nombre d'époques pour atteindre des performances optimales.
• Inadéquation du contexte : Contrairement au langage qui est linéaire, les images possèdent une structure bidimensionnelle (2D) et dépendent de contextes à longue portée dans toutes les directions, ce que l'approche AR standard (scan raster 1D) peine à capturer efficacement.

L'hypothèse centrale des auteurs est que l'ajout d'une « prévoyance » (foresight) — c'est-à-dire des signaux d'entraînement dérivés de tokens futurs — pourrait améliorer la modélisation causale sans briser la causalité lors de l'inférence.

2. Méthodologie : Le cadre Mirai

Les auteurs proposent Mirai (signifiant « futur » en japonais), un cadre d'entraînement général qui injecte des informations futures dans le processus d'apprentissage AR sans modifier l'architecture du modèle ni le coût d'inférence.

A. Principes fondamentaux

Le cadre Mirai repose sur trois axes d'investigation critiques, déterminés par des expériences diagnostiques :

1. Niveau d'injection : Il est crucial d'aligner les représentations internes du modèle (couches intermédiaires) avec la prévoyance, plutôt que de prédire directement les tokens futurs en sortie. La prédiction de tokens futurs en sortie crée une compétition de gradients nuisible.
2. Disposition spatiale (Layout) : La prévoyance doit être positionnée selon une grille 2D (voisins spatiaux sur l'image) et non selon un scan 1D (ordre raster). Cela respecte la géométrie visuelle et améliore la cohérence spatiale.
3. Source de la prévoyance : La prévoyance peut provenir de deux sources :
   • Explicite : Un encodeur unidirectionnel (EMA du modèle lui-même) fournissant des tokens futurs indexés par position.
   • Implicite : Un encodeur bidirectionnel pré-entraîné (comme DINOv2) fournissant des caractéristiques contextuelles globales.

B. Les deux variantes de Mirai

La fonction de perte totale est définie comme : $L_{Mirai} = L_{NTP} + \lambda L_{Foresight}$, où $L_{NTP}$ est la perte de prédiction du token suivant et $L_{Foresight}$ est une perte d'alignement (similarité cosinus).

1. Mirai-E (Explicit Foresight) :

   • Utilise l'Exponential Moving Average (EMA) du modèle AR lui-même comme encodeur de prévoyance.
   • Aligné sur un petit ensemble de positions futures spécifiques (ex: 3 tokens voisins sur la grille 2D).
   • Chaque projection est gérée par une tête de projection distincte pour chaque position future, rendant le signal explicite et positionnel.

2. Mirai-I (Implicit Foresight) :

   • Utilise un encodeur bidirectionnel pré-entraîné (ex: DINOv2) figé.
   • Aligné sur les caractéristiques du même emplacement spatial que le token AR actuel.
   • Puisque l'encodeur bidirectionnel voit l'image entière, chaque token contient implicitement des informations sur le futur et le contexte global.

Inférence : À l'inférence, les têtes de projection et les encodeurs de prévoyance sont supprimés. Le modèle génère token par token de manière strictement causale, avec le même coût computationnel que le modèle de base.

3. Contributions Clés

1. Investigation systématique de la prévoyance : Les auteurs démontrent que l'alignement des représentations internes en 2D est supérieur à la prédiction de tokens multiples en sortie (contrairement aux méthodes MTP en NLP qui peuvent nuire à la génération visuelle).
2. Proposition de Mirai : Un cadre simple et efficace qui améliore la cohérence structurelle et accélère l'entraînement sans surcoût d'inférence.
3. Validation empirique : Démonstration que la « prévoyance » n'est pas une violation de la causalité, mais un catalyseur pour apprendre des dépendances causales plus robustes.

4. Résultats Expérimentaux

Les expériences ont été menées sur ImageNet (256x256) avec des modèles de la famille LlamaGen (B, L, XL).

• Accélération de la convergence :
  • Mirai-I accélère la convergence de LlamaGen-B jusqu'à 10 fois. Un modèle entraîné 40 epochs avec Mirai-I atteint une qualité comparable à un modèle de base entraîné 400 epochs.
  • Mirai-E offre une accélération d'environ 5 fois.
• Amélioration de la qualité (FID) :
  • Sur LlamaGen-B, le FID-50K passe de 5.34 (baseline) à 4.34 (Mirai-I) et 4.49 (Mirai-E).
  • Sur LlamaGen-XL, Mirai-I atteint un FID de 2.59, surpassant toutes les méthodes AR existantes et rivalisant avec les modèles de diffusion.
• Cohérence Visuelle :
  • Les visualisations t-SNE des représentations internes montrent que Mirai produit des champs de couleurs lisses et cohérents sur la grille 2D, contrairement au modèle de base qui présente des ruptures structurelles.
  • Les images générées sont globalement plus cohérentes (ex: structures de fusées, poses d'animaux correctes).
• Efficacité Computationnelle :
  • Bien que Mirai-E ajoute un coût d'entraînement par image (+38% de FLOPs), la réduction drastique du nombre d'époques nécessaires conduit à une réduction globale du coût d'entraînement de 3.6x (Mirai-E) et 9.4x (Mirai-I) pour atteindre le même niveau de performance.

5. Signification et Impact

Ce travail remet en question le dogme selon lequel les modèles AR visuels doivent être strictement limités à la prédiction du token suivant sans aucune information future. Il démontre que :

• La prévoyance est un ingrédient manquant essentiel pour les modèles AR visuels.
• L'intégration de signaux futurs (via l'alignement de représentations 2D) permet au modèle de « planifier » sa structure interne tout en conservant une inférence causale stricte.
• Cette approche offre une voie prometteuse pour combler l'écart de performance entre les modèles AR et les modèles de diffusion, tout en conservant les avantages de l'AR (comme la scalabilité et la flexibilité).

En résumé, Mirai prouve que pour générer des images de haute qualité de manière autoregressive, le modèle a besoin de « voir l'avenir » pendant l'entraînement, même s'il ne le fait pas pendant la génération.