💻 computer science

Trajectory Forcing: Structure-First Generation with Controllable Semantic Trajectories

Le papier propose le Trajectory Forcing (TF), un cadre génératif fondé sur la structure qui transforme la synthèse d'images en une séquence explicite et éditable d'étapes sémantiquement structurées, allant de la disposition globale aux détails fins, permettant un contrôle localisé et une inspection des états intermédiaires tout en maintenant une qualité d'échantillonnage compétitive.

Auteurs originaux : Merve Kocabas, Gege Gao, Bernhard Schölkopf, Andreas Geiger

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Merve Kocabas, Gege Gao, Bernhard Schölkopf, Andreas Geiger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un magicien sortir un lapin d'un chapeau. Dans la plupart des générateurs d'images par IA modernes, la magie se produit dans une « boîte noire ». Vous donnez à l'IA un prompt (comme « un chat »), et elle produit instantanément l'image finale. Vous n'avez aucune idée de la manière dont elle y est parvenue, et vous ne pouvez pas interrompre le processus à mi-chemin pour dire : « Attendez, agrandissez les oreilles avant de finir la fourrure. » Les étapes intermédiaires ne sont que des calculs mathématiques invisibles qui sont jetés une fois que l'image finale apparaît.

Le Trajectory Forcing (TF) est une nouvelle méthode qui ouvre les rideaux sur cette boîte noire. Au lieu d'un tour de magie, elle transforme la génération d'images en un processus de peinture étape par étape, un peu comme le travail d'un artiste humain.

Voici comment cela fonctionne, décomposé en concepts simples :

1. L'analogie de la « Peinture Rapide »

Pensez à la façon dont un artiste peint une scène. Il ne commence pas par peindre chaque poil de la tête d'un chien.

D'abord, il esquisse les formes globales et l'emplacement des objets principaux (le « Global Layout » ou disposition globale).
Ensuite, il définit les parties majeures (la tête, le corps et les pattes du chien).
Puis, il affine les sous-parties (le museau, les oreilles).
Enfin, il ajoute les petits détails (la texture de la fourrure, le brillant dans les yeux).

L'IA actuelle saute directement à l'étape 4. Le Trajectory Forcing force l'IA à s'arrêter à chaque étape. Elle génère un « brouillon » de la disposition, puis une « esquisse » des parties, puis un « dessin détaillé », et enfin une « photo finie ».

2. Le « Plan Éditable »

La partie la plus intéressante de ce papier est que chaque étape est une image réelle et visible.

Dans l'IA normale, les étapes intermédiaires ne sont que des chiffres.
Avec le Trajectory Forcing, les étapes intermédiaires sont décodées en véritables images.

Cela signifie que vous pouvez regarder l'étape du « brouillon » et dire : « Je n'aime pas l'endroit où se tient le chien. » Vous pouvez déplacer le chien dans ce brouillon, et l'IA repeindra automatiquement le reste de l'image (les parties, les détails) en fonction de votre nouvelle position. Vous éditez le chemin que prend l'IA, et pas seulement la destination finale.

3. Comment ils ont construit le « Professeur »

Pour apprendre à l'IA à faire cela, les chercheurs ne se sont pas contentés de deviner à quoi ressemblent les « parties » ou les « sous-parties ». Ils ont utilisé un système de « professeur » intelligent basé sur un cerveau visuel pré-entraîné (appelé DINOv2).

Imaginez que vous avez un tas de briques Lego.

Les anciennes méthodes tentaient de les trier par taille ou par couleur, ce qui entraînait souvent des tas désordonnés.
Le Trajectory Forcing utilise un professeur intelligent qui regarde les briques et les regroupe naturellement par sens : « Ces briques forment une roue », « Celles-ci forment une porte », « Celles-ci forment la voiture entière ».

L'IA apprend à construire l'image en suivant cette hiérarchie logique : d'abord la « voiture » (l'objet), puis les « roues et les portes » (les parties), puis les « pneus et les poignées » (les sous-parties).

4. L'astuce de vitesse du « One-Step »

Habituellement, créer une image en plusieurs étapes est lent car l'ordinateur doit effectuer beaucoup de travail à chaque étape.

Le Problème : Si vous avez 4 étapes et que chacune prend 10 étapes, cela fait 40 étapes au total.
La Solution : Les chercheurs ont utilisé une astuce mathématique ingénieuse (appelée One-Step Flow Matching) qui permet à l'IA de passer d'une étape à l'autre en un seul bond.
Le Résultat : Il faut le même temps pour générer une image à 4 étapes que pour générer une image normale à une seule étape. Vous obtenez le contrôle d'un processus lent avec la vitesse d'un processus rapide.

5. Pourquoi cela compte (selon le papier)

Le papier affirme que cette méthode nous donne du contrôle sans sacrifier la qualité.

Contrôle : Vous pouvez corriger les erreurs tôt. Si l'étape de l'« objet » est incorrecte, vous la corrigez à ce stade, et l'IA ne perd pas de temps à générer des détails pour un objet erroné.
Cohérence : Le papier montre que si vous modifiez une petite partie (comme une sous-partie), le reste de l'image reste stable. Si vous modifiez une grande partie (comme l'objet entier), toute l'image change naturellement.
Vitesse : Il atteint des images de haute qualité sur le jeu de données ImageNet (un test standard pour l'IA) en seulement 4 « bonds » (étapes), ce qui est très rapide par rapport aux anciennes méthodes multi-étapes.

Résumé

Le Trajectory Forcing transforme la génération d'images, passant d'un tour de magie en « boîte noire » à une chaîne de montage transparente et éditable. Il force l'IA à construire les images de la « vue d'ensemble » jusqu'aux « détails infimes », permettant aux humains d'inspecter et de corriger le travail à chaque étape, tout en maintenant le processus rapide.

Résumé Technique : Trajectory Forcing (TF)

1. Énoncé du Problème

Les modèles génératifs actuels, basés sur la diffusion ou les flux, excellent dans la production d'images de haute qualité mais fonctionnent comme des systèmes « centrés sur l'extrémité » (endpoint-centric). Les utilisateurs spécifient des conditions (par exemple, des étiquettes de classe) et reçoivent un résultat final, tandis que la dynamique générative intermédiaire reste cachée, non structurée et computationnellement opaque. Bien que des méthodes récentes aient utilisé l'ordre de génération pour améliorer la qualité des échantillons, elles traitent les états intermédiaires uniquement comme des sous-produits computationnels internes (par exemple, des composantes de fréquence ou des complétions de tokens) plutôt que comme des objets sémantiques disponibles pour l'inspection ou l'intervention humaine.

Cela contraste avec la création visuelle humaine, qui suit un flux de travail du grossier vers le fin : établir une composition globale avant d'affiner les détails locaux, chaque étape intermédiaire étant inspectable et révisable. L'article postule que les trajectoires génératives elles-mêmes peuvent être rendues interprétables, sémantiquement structurées et éditables, déplaçant ainsi l'attention de l'image finale vers le chemin de génération.

2. Méthodologie : Trajectory Forcing (TF)

Le Trajectory Forcing est un cadre centré sur la trajectoire qui organise la synthèse d'image comme une séquence d'étapes sémantiquement structurées, progressant de la disposition globale vers des représentations de niveau objet, partie et détail.

2.1 Espace de Représentation et Construction Hiérarchique

Au lieu d'opérer dans l'espace des pixels bruts ou dans des espaces latents standards (comme VQ-VAE) où la géométrie peut ne pas s'aligner avec la structure sémantique, le TF opère dans l'espace de caractéristiques de DINOv2, un encodeur visuel pré-entraîné.

Hiérarchie de l'Enseignant (Teacher Hierarchy) : Le cadre dérive une hiérarchie du grossier au fin en regroupant les tokens latents de DINOv2 via des méthodes non supervisées.
- Objet/Arrière-plan : Le K-means ( $K=2$ ) sépare l'image en objet et arrière-plan sur la base d'un a priori central.
- Parties et Sous-parties : Un partitionnement agglomératif utilisant une métrique de distance sémantique-spatiale combinée ( $\mathcal{D} = \cos \langle \mathbf{z}_i, \mathbf{z}_j \rangle + \alpha \|\mathbf{p}_i - \mathbf{p}_j\|_2$ ) décompose l'objet en parties et sous-parties.
Canevas de Niveau (Level Canvases) : Ces clusters définissent des « canevas de niveau » ( $z^{(l)}$ ). Les niveaux plus grossiers ( $l=0$ ) représentent des caractéristiques moyennes par morceaux constantes des régions, tandis que les niveaux plus fins ( $l=L-1$ ) représentent les caractéristiques latentes à pleine résolution.

2.2 Flow Matching Hiérarchique Conditionné en Une Étape

Pour éviter le coût d'inférence élevé de la diffusion progressive multi-étapes ( $L \times T$ ), le TF emploie un modèle de flow-matching en une étape conditionné par la hiérarchie.

Architecture : Un réseau unique partagé (DiT) est entraîné sur tous les niveaux hiérarchiques.
Conditionnement : À chaque étape d'entraînement, un niveau $l$ $l$ est échantillonné. Le réseau reçoit :
1. Le canevas bruité du niveau actuel $z^{(l)}(t)$ .
2. Le canevas du niveau précédent $z^{(l-1)}$ comme condition spatiale (fusionnée via concaténation de canaux et projection).
3. Des conditions globales standards (étiquette de classe, intervalle de temps, échelle de guidage).
Objectif d'Entraînement : Le modèle minimise une perte combinée :
- Perte de Flux (Flow Loss) : Utilise la prédiction de $x$ (prédiction des latents débruités) avec un objectif de perte $v$ basé sur MeanFlow (iMF) pour permettre une génération en une étape.
- Perte Structurelle (Structural Loss) : Une pénalité de distance cosinus garantissant que les tokens au sein d'une région prédite s'alignent avec la caractéristique moyenne réelle de cette région, imposant une cohérence structurelle.

2.3 Échantillonnage et Édition Hiérarchique

Inférence : La génération procède séquentiellement de $l=0$ à $L-1$ . Chaque niveau ne nécessite qu'une seule évaluation de la fonction réseau (NFE), ce qui donne un coût total de $L$ -NFE (par exemple, 4 NFEs pour $L=4$ ). Chaque sortie intermédiaire est décodable en une image visuelle via un décodeur d'Autoencodeur de Représentation (RAE) partagé.
Édition Interactive : Les utilisateurs peuvent inspecter les images décodées à n'importe quel niveau $l^*$ , modifier le canevas (via l'échange de caractéristiques ou la réassignation de forme/région), et régénérer les niveaux suivants. En raison de la nature markovienne du processus, les modifications au niveau $l^*$ se propagent aux niveaux plus fins mais laissent les niveaux plus grossiers inchangés, permettant un contrôle de la portée de la modification.

3. Contributions Clés

Cadre Centré sur la Trajectoire : Propose le TF, qui modélise la synthèse comme une trajectoire structurée, interprétable et du grossier au fin, permettant l'inspection et l'édition à chaque niveau sémantique.
Flow Matching Hiérarchique en Une Étape : Étend la génération en une étape aux trajectoires multi-niveaux via un conditionnement par niveau et une supervision de cohérence structurelle, atteignant une qualité compétitive avec $L$ -NFE.
Métriques de Trajectoire : Introduit des métriques au-delà du FID pour mesurer l'Invariance Locale (comment les éditions affectent les régions non éditées) et la Cohérence Structurelle (cohérence entre les régions parentes et enfants).
Validation Empirique : Démontre sur ImageNet que le TF atteint une qualité d'échantillon compétitive (FID) tout en exposant des états intermédiaires cohérents et en supportant des éditions localisées.

4. Résultats Expérimentaux

Les expériences ont été menées sur ImageNet à une résolution de $256 \times 256$ en utilisant les caractéristiques DINOv2 et un décodeur ViT-XL.

Qualité des Échantillons : Le TF atteint des scores FID compétitifs. Par exemple, la variante TF-L/16+FD-loss atteint un FID de 2,02 et un IS de 259,3 avec seulement 80 époques d'entraînement et 4 NFEs, comparable aux bases multi-étapes nécessitant des centaines d'époques et de NFEs.
Efficacité : Contrairement aux bases hiérarchiques comme NVG (qui nécessite environ 184 NFEs), le TF ne nécessite que $L=4$ NFEs.
Métriques de Trajectoire :
- Score d'Invariance Locale (LIS) : Montre que les éditions aux niveaux plus grossiers (objet/arrière-plan) se propagent plus fortement à l'image finale, tandis que les éditions plus fines (sous-parties) restent localisées.
- Taux de Mauvais Routage Parent (PMR) : Les PMR spatiaux et de caractéristiques restent faibles, indiquant que les régions enfants sont spatialement contenues dans les régions parentes et maintiennent une cohérence sémantique.

5. Signification et Revendications

L'article affirme qu'en déplaçant l'attention de l'image finale vers le chemin de génération, le TF ouvre une voie vers une synthèse d'image contrôlable et consciente de la trajectoire.

Interprétabilité : Contrairement à la diffusion standard où les états intermédiaires sont jetés, le TF rend chaque état intermédiaire visuellement décodable et sémantiquement significatif.
Éditabilité : Il permet aux utilisateurs d'intervenir à des granularités sémantiques spécifiques (disposition globale vs détails locaux) avec des effets prévisibles sur le résultat final.
Efficacité : Il démontre qu'une génération structurée de haute qualité ne nécessite pas de débruitage itératif coûteux à plusieurs étapes à chaque niveau, en exploitant plutôt le flow matching en une étape.

Les auteurs reconnaissent les limites, notant que la hiérarchie repose sur un partitionnement non supervisé avec un a priori central (qui peut avoir des difficultés avec les objets non centrés) et que les résultats actuels sont basés sur les premières époques d'entraînement (40–80), l'analyse de la mise à l'échelle ultérieure étant reportée. Cependant, la contribution principale reste l'établissement d'un cadre où la trajectoire générative elle-même sert d'interface utilisateur pour le contrôle.