Résumé Technique : Contrôle Spatial Universel à Faible Nombre d'Exemples pour les Modèles de Diffusion

Énoncé du Problème

Les modèles de diffusion de texte-en-image (T2I) préentraînés ont atteint un succès remarquable dans la génération d'images de haute qualité à partir de prompts en langage naturel. Cependant, le contrôle basé sur le langage manque souvent de la précision requise pour une manipulation visuelle fine, telle que l'imposition de positions, de formes ou de configurations de scènes spécifiques. Pour y remédier, les méthodes existantes utilisent des adaptateurs de contrôle spatial (par exemple, ControlNet, Uni-ControlNet) qui injectent des signaux spatiaux explicites (cartes de contours, profondeur, pose) dans des modèles de diffusion gelés.

Malgré leur efficacité, ces adaptateurs existants font face à deux limitations critiques :

1. Coûts d'entraînement élevés : Ils sont généralement entraînés indépendamment pour chaque tâche de contrôle spatial spécifique, nécessitant des ressources de calcul substantielles et des milliers d'exemples étiquetés (par exemple, 150 000 images par tâche).
2. Faible adaptabilité : La réutilisation d'adaptateurs multi-tâches préentraînés ou de méthodes sans entraînement (training-free) échoue souvent à se généraliser à de nouvelles conditions spatiales qui diffèrent significativement de la distribution d'entraînement. Les méthodes sans entraînement, bien qu'elles évitent les coûts de données, reposent souvent sur des processus d'optimisation latente longs qui augmentent le temps de génération et offrent un contrôle limité.

L'article pose la nécessité d'un cadre polyvalent capable de contrôler les modèles de diffusion avec de nouvelles conditions spatiales en utilisant seulement un petit nombre d'exemples annotés (apprentissage à faible nombre d'exemples ou few-shot learning) au moment du test, sans engendrer de surcoût significatif lors du temps de génération.

Méthodologie : Contrôle Universel à Faible Nombre d'Exemples (UFC)

Les auteurs proposent l'Universal Few-Shot Control (UFC), un adaptateur de contrôle universel conçu pour guider les modèles de diffusion T2I gelés avec des conditions spatiales nouvelles et arbitraires en utilisant un ensemble de support composé de paires image-condition.

Mécanisme Central

UFC aborde le défi des formats d'entrée hétérogènes (par exemple, points clés épars versus cartes de profondeur denses) et de la grave pénurie de données grâce à deux composants principaux :

1. Interpolation de Caractéristiques Agnostique à la Tâche via l'Appariement par Patchs :
   Au lieu d'encoder directement les conditions spécifiques à la tâche dans une représentation fixe, UFC exploite l'analogie entre une condition de requête ($y^q_\tau$) et un ensemble de support ($S_\tau = \{(x_i, y^i_\tau)\}$).

   • Encodeurs : La méthode utilise un encodeur d'image gelé $f$ (extrayant les caractéristiques visuelles des images de support) et un encodeur de condition apprenable $g_\tau$ (encodant à la fois la requête et le support).
   • Appariement : Les caractéristiques de contrôle pour un patch de requête sont construites en interpolant les caractéristiques visuelles des patches de support, pondérées par la similitude entre la condition de la requête et les conditions de support.
   • Formule : La caractéristique de contrôle $I(y^{q,k}_\tau; S_\tau)$ pour le $k$-ième patch de requête est calculée comme suit :
     $$I(y^{q,k}_\tau; S_\tau) = \sum_{i=1}^N \sum_{j=1}^M \sigma(g_\tau(y^{q,k}_\tau), g_\tau(y^{i,j}_\tau)) \cdot f(x^{i,j})$$
     où $\sigma$ est une fonction de similitude par patch. Cela garantit que les caractéristiques de contrôle résultantes résident dans un espace de caractéristiques visuelles unifié, quel que soit le cas spécifique $\tau$, facilitant ainsi une généralisation robuste.

2. Adaptation Efficace en Paramètres :
   Pour s'adapter rapidement à de nouvelles tâches sans surapprentissage du petit ensemble de support, UFC emploie une stratégie de méta-apprentissage combinée à un ajustement fin (fine-tuning) efficace en paramètres :

   • Méta-entraînement : Le modèle est entraîné sur un ensemble de données de méta-entraînement épisodique contenant plusieurs tâches. Dans chaque épisode, le modèle apprend à mapper une condition de requête et un ensemble de support vers des caractures de contrôle.
   • Ajustement Fin (Fine-Tuning) : Pour une nouvelle tâche, seul un petit ensemble de paramètres spécifiques à la tâche ($\theta_\tau$) dans l'encodeur de condition (par exemple, les termes de biais ou les paramètres LoRA) et les couches d'appariement/projection sont ajustés à l'aide de l'ensemble de support. Les paramètres du squelette partagé restent gelés.

Instanciation de l'Architecture

Les auteurs instaurent UFC au sein du cadre ControlNet en utilisant Stable Diffusion (avec des backbones UNet et DiT).

• L'encodeur de condition $g_\tau$ et l'encodeur d'image $f$ sont initialisés comme des copies de l'encodeur UNet préentraîné.
• L'appariement par patch est effectué à plusieurs niveaux de l'encodeur en utilisant des blocs d'attention croisée multi-têtes.
• Les caractéristiques de contrôle résultantes sont projetées et ajoutées aux caractéristiques du modèle de diffusion via des couches linéaires initialisées à zéro, de manière similaire à l'injection standard de ControlNet.

Contributions Clés

1. Premier Cadre de Contrôle Spatial à Faible Nombre d'Exemples : L'article propose la première méthode spécifiquement conçue pour le contrôle spatial à faible nombre d'exemples dans les modèles de diffusion texte-en-image, permettant la génération d'images avec de nouvelles conditions en utilisant un minimum de données annotées (par exemple, 30 exemples).
2. Conception d'Adaptateur Universel : En utilisant l'appariement par patch pour interpoler des caractéristiques visuelles agnostiques à la tâche, UFC unifie diverses modalités spatiales (contours, profondeur, pose, segmentation) en un seul mécanisme de contrôle, surmontant les problèmes de disparité de domaine des méthodes précédentes.
3. Efficacité des Données et du Calcul : UFC atteint des performances compétitives avec les bases de référence entièrement supervisées en utilisant seulement 0,1 % des données d'entraînement complètes (150 exemples) et nettement moins de paramètres pour l'adaptation.
4. Agnosticisme de l'Architecture : La méthode est démontrée comme étant efficace sur les backbones UNet et DiT (Diffusion Transformer), garantissant l'applicabilité aux architectures de diffusion modernes.

Résultats Expérimentaux

Les auteurs ont évalué UFC sur six nouvelles tâches de contrôle spatial : contours Canny, contours HED, Profondeur, Normale de Surface, Pose Humaine et Densepose. L'évaluation impliquait un méta-entraînement sur des sous-ensembles de ces tâches et un test sur des tâches non vues avec un ajustement fin à faible nombre d'exemples (30 shots).

• Contrôlabilité : UFC a systématiquement surpassé les bases de référence existantes à faible nombre d'exemples et sans entraînement (par exemple, Prompt Diffusion, Ctrl-X, Uni-ControlNet) sur toutes les tâches. Par exemple, sur la tâche Canny, UFC a atteint un SSIM de 0,3239 contre 0,2120 pour Prompt Diffusion (few-shot) et 0,2901 pour Ctrl-X (sans entraînement).
• Qualité d'Image : UFC a maintenu une haute qualité d'image (scores FID comparables aux bases de référence entièrement supervisées) tout en atteignant un contrôle spatial précis.
• Performance à Faible Nombre d'Exemples : Avec seulement 30 exemples de support, UFC a obtenu un contrôle fin cohérent avec les conditions spatiales. Lorsqu'il est ajusté avec 150 exemples (0,1 % des données complètes), la performance de UFC sur les tâches Normal, Depth et Canny est comparable à celle des bases de référence entièrement supervisées.
• Études d'Ablation : Le retrait du mécanisme d'appariement ou de l'étape d'ajustement fin a entraîné des baisses de performance significatives, confirmant la nécessité de l'interpolation par analogie et de l'adaptation des paramètres pour la généralisation.
• Généralisation à la 3D : La méthode a également été testée sur de nouvelles conditions 3D (maillages, wireframes, nuages de points), démontrant sa capacité à se généraliser à des modalités spatiales non vues au-delà de l'ensemble de méta-entraînement.

Signification et Revendications

L'article affirme que UFC représente une étape significative vers la praticité et la flexibilité du contrôle spatial dans l'IA générative. En permettant l'utilisation de modèles de diffusion préentraînés avec de nouvelles conditions spatiales en utilisant seulement une poignée d'exemples, UFC élimine le besoin de pipelines d'entraînement coûteux et spécifiques à chaque tâche.

Les auteurs soulignent que leur approche comble le fossé entre la rigidité des adaptateurs de contrôle entièrement supervisés et l'adaptabilité limitée des méthodes sans entraînement. Ils positionnent UFC comme une solution permettant un contrôle "polyvalent et efficace en données", rendant possible le déploiement du contrôle spatial pour des tâches émergentes ou de niche sans nécessiter de jeux de données massifs.

L'article conclut par une reconnaissance modeste de ses limites : le cadre est actuellement conçu pour la génération de contrôle spatial plutôt que pour les tâches de préservation de l'apparence (comme le transfert de style ou l'inpainting), et nécessite toujours un petit nombre d'ajustements par nouvelle tâche, contrairement aux grands modèles de langage qui s'adaptent uniquement via l'apprentissage en contexte (in-context learning). Cependant, les auteurs considèrent le développement de capacités similaires d'apprentissage en contexte pour le contrôle spatial comme une direction prometteuse pour la recherche future.