Résumé technique : CoFi (Coarse-to-Fine Compositional Diffusion) pour la planification à long horizon

Énoncé du problème

Les modèles de diffusion excellent dans la génération de données structurées, mais ils sont généralement entraînés sur des échelles à court horizon. De nombreuses tâches du monde réel, telles que la navigation robotique sur de longues distances, la synthèse d'images panoramiques ou la génération de vidéos longues, nécessitent des sorties qui dépassent l'échelle d'entraînement de ces modèles. L'entraînement direct de modèles pour de telles sorties à long horizon est souvent impraticique en raison de la rareté des données et de la croissance rapide des coûts de modélisation avec la longueur de la séquence ou l'étendue spatiale.

La génération compositionnelle offre une solution en assemblant des plans locaux chevauchants à partir d'un a priori à court horizon pré-entraîné en un seul résultat à long horizon. Cependant, les approches compositionnelles standards imposent principalement une cohérence locale (l'accord entre les plans locaux voisins à leurs points de chevauchement) sans spécifier explicitement la structure globale. Par conséquent, des plans localement compatibles peuvent échouer à former une route globale, une séquence de tâches ou une évolution temporelle plausible. Les méthodes existantes tentent d'améliorer la cohérence globale en propageant de manière répétée des signaux de cohérence locale ou en ajoutant une optimisation au moment de l'inférence (par exemple, la recherche itérative ou l'élagage basé sur la population). Bien qu'efficaces, ces procédures deviennent coûteuses en termes de calcul à mesure que le nombre de plans locaux ou leur dimensionnalité augmente.

Méthodologie : Coarse-to-Fine Compositional Diffusion (CoFi)

Les auteurs proposent CoFi, un échantillonneur au moment de l'inférence qui découple la formation de la structure globale du raffinement des détails locaux. Contraquirement aux méthodes qui reposent sur un passage de messages répété ou une optimisation en boucle interne coûteuse, CoFi opère en deux étapes distinctes :

1. Construction d'un échafaudage global grossier (Coarse Global Scaffold Construction)

La première étape vise à aligner les estimations locales débruitées autour d'une structure grossière partagée pour établir une cohérence globale.

• Alignement de l'échafaudage : Pour chaque étape de débruitage $t$, la méthode calcule une « estimation de Tweedie » $\hat{X}^i_{0|t}$ pour chaque plan local. Pour imposer un alignement global, elle résout un objectif d'optimisation simplifié qui équilibre la fidélité locale avec une composante globale partagée. Cela produit une solution en forme fermée où chaque estimation locale est contractée vers une moyenne d'échafaudage partagée $\bar{X}_{0|t}$ :
  $$\bar{X}^i_{0|t} = (1 - \lambda_t) \bar{X}_{0|t} + \lambda_t \hat{X}^i_{0|t}$$
  Ici, $\lambda_t$ est un coefficient dépendant du calendrier qui contrôle le compromis. Au début du processus de diffusion, $\lambda_t$ est petit, forçant les plans locaux à s'aligner fortement avec l'échafaudage global. À mesure que $t$ diminue, $\lambda_t$ augmente, permettant l'émergence des détails locaux.
• Mise à jour guidée : L'étape de diffusion inverse est mise à jour en utilisant cette estimation alignée, biaisée vers un échafaudage globalement cohérent mais localement grossier :
  $$X^i_{t-1} = \text{DDIM}_\theta(\bar{X}^i_{0|t}, t) + \sigma_t \nabla \hat{r}_t(X^i_t, X^{i+1}_t)$$
  Le premier terme impose l'alignement global, tandis que le second terme (guidage local) assure la cohérence des frontières entre les segments adjacents.

2. Raffinement préservant la structure (Structure-Preserving Refinement)

La seconde étape restaure les détails locaux fins supprimés lors de l'étape grossière tout en préservant la structure globale établie.

• Re-bruitage (Re-noising) : Le plan global grossier $Y^c_0$ est diffusé vers l'avant jusqu'à un niveau de bruit intermédiaire $t^*$ en utilisant une réalisation de bruit partagé. Ceci est crucial ; l'application d'un bruit indépendant aux plans locaux briserait l'alignement obtenu lors de la première étape.
  $$Y^r_{t^*} = \sqrt{\bar{\alpha}_{t^*}} Y^c_0 + \sqrt{1 - \bar{\alpha}_{t^*}} \epsilon$$
• Raffinement : À partir de $t^*$, l'échantillonneur effectue un second passage de diffusion inverse en utilisant le même a priori local pré-entraîné et le guidage local. Cette étape permet de récupérer les détails locaux de haute fréquence et la texture, tandis que l'échafaudage global ancre la structure globale.

Contributions clés

1. Conception découplée : CoFi sépare la formation de la structure globale du raffinement des détails locaux, évitant ainsi le recours à des passages de messages itératifs coûteux ou à une optimisation par recherche.
2. Mécanisme d'échafaudage partagé : En introduisant une étape d'alignement grossier qui projette les estimations locales sur un échafaudage partagé, la méthode garantit une cohérence à longue portée sans nécessendre de fonctions de récompense complexes, difficiles à concevoir pour des espaces de haute dimension.
3. Raffinement préservant la structure : L'utilisation d'une réalisation de bruit partagé lors de l'étape de re-bruitage garantit que les plans locaux raffinés restent des vues compatibles d'un même objet global, empêchant la « dérive » souvent observée dans la génération à long horizon.
4. Efficacité : La méthode nécessite nettement moins d'évaluations du débruiteur (NFE) que les modèles de base qui reposent sur des itérations internes ou la recherche de population.

Résultats expérimentaux

Les auteurs ont évalué CoFi sur trois domaines : la planification robotique à long horizon, la génération d'images panoramiques et la génération de vidéos longues.

• Planification Robotique (OGBench) : Sur les tâches exigeantes « Giant » et « Scene-Play », CoFi a atteint des taux de réussite de 96 % (PointMaze-Giant) et 63 % (Scene-Play), surpassant l'état de l'art précédent CDGS (82 % et 51 %, respectivement). L'étape d'échafaudage s'est avérée cruciale pour résoudre les incohérences à longue portée dans les trajectoires de type labyrinthe.
• Génération d'images panoramiques : CoFi a obtenu les meilleurs scores sur tous les indicateurs (Intra-LPIPS, perte Intra-Style et score CLIP) par rapport aux modèles de référence comme Multi-Diffusion, SyncDiffusion et CDGS. Il a produit des panoramas avec des styles globaux plus stables et moins de transitions abruptes entre les limites de patches.
• Génération de vidéos longues : En générant des vidéos de 273 images à partir d'a priori de 50 images, CoFi a amélioré la cohérence du sujet (94,11 contre 91,67 pour CDGS) et la qualité esthétique, se rapprochant de la qualité d'une génération native à court horizon. Il a efficacement empêché la dérive du sujet sur de longs horizons temporels.
• Efficacité de calcul : CoFi a démontré une réduction de 2 à 8 fois du nombre d'évaluations de fonction (NFE) par rapport à CDGS, tout en maintenant ou en améliorant la qualité de l'échantillon. Cela est dû au remplacement de la recherche itérative par un passage unique de grossier à fin.

Signification et affirmations

L'article affirme que CoFi est un échantillonneur au moment de l'inférence simple et efficace qui satisfait à la fois la cohérence locale et la cohérence globale sans la surcharge de calcul des méthodes existantes. En séparant la construction de l'échafaudage global du raffinement des détails locaux, CoFi répond à la limitation selon laquelle la cohérence locale seule ne suffit pas à garantir une structure globale plausible. Les auteurs positionnent cela comme une alternative pratique pour passer des a priori à court horizon à des tâches à long horizon en robotique, en vision et en génération de vidéo, offrant un compromis favorable entre performance et coût de calcul.

Les auteurs notent modestement des limitations : la qualité de la sortie est limitée par l'expressivité de l'a priori local pré-entraîné, et les hyperparamètres (calendrier de l'échafaudage $\lambda_t$ et profondeur de raffinement $t^*$) nécessitent une sélection par domaine. De plus, le mécanisme de consensus actuel applique une pondération uniforme à tous les plans locaux, ce qui peut être sous-optimal si les segments varient en importance structurelle.