Résumé technique : HyperTransport : Conditionnement amorti des modèles génératifs T2I

Énoncé du problème

À mesure que les modèles génératifs de base augmentent en échelle, la capacité à contrôler leur comportement de manière efficace et fiable devient critique. Les méthodes de contrôle traditionnelles présentent des limitations significatives :

• Affinage (Fine-tuning) : Nécessite des ressources de calcul substantielles et est coûteux pour chaque nouveau concept.
• Prompting : Bien que pratique, il est fragile et très sensible à la formulation exacte et à la structure.
• Pilotage des activations (Activation Steering) : Les méthodes existantes (par exemple, CAA, ITI, Linear-AcT, LinEAS) offrent un contrôle stable en modifiant les activations internes sans changer les poids. Cependant, elles nécessitent une optimisation par concept, où une nouvelle intervention doit être ajustée au modèle cible pour chaque concept spécifique. Ce processus entraîne plusieurs minutes de passes avant/arrière par concept, le rendant inadapté aux interfaces interactives, aux ensembles de concepts évolutifs, ou aux scénarios où les concepts sont spécifiés uniquement au moment de la demande.

Méthodologie : HyperTransport

Les auteurs proposent HyperTransport (HT), un cadre de réseau hyper (hypernetwork) conçu pour amortir le coût de l'optimisation par concept. Au lieu d'ajuster une nouvelle intervention pour chaque concept, HT apprend une cartographie des représentations de concepts directement vers les paramètres d'intervention.

Architecture de base

1. Réseau hyper ($H_\psi$) : Un Perceptron Multicouche (MLP) léger qui est significativement plus petit (environ 1000$\times$) que le modèle génératif cible ($G$).
2. Encodeur ($E$) : Un encodeur pré-entraîné et figé (CLIP dans l'instanciation de l'article) qui mappe les données d'entrée (texte ou images) vers des embeddings.
3. Prédiction d'intervention : Le réseau hyper prend l'encodage du concept $e_c = E(x_c)$ et prédit les paramètres d'intervention $\theta_c$ en une seule passe avant.
   • L'intervention suit une forme affine élément par élément : $I_{\theta_c}(a) = (1-\lambda)a + \lambda(w \odot a + b)$, où $\theta_c = [w, b]^\top$.
   • Cette paramétrisation convient aux propriétés globales et basse fréquence (styles, palettes) plutôt qu'aux modifications spatialement localisées.

Objectif d'entraînement

Le cadre est entraîné de bout en bout à travers le modèle génératif cible en utilisant une perte de Transport Optimal (OT), spécifiquement la distance de Wasserstein 1D ($p=1$).

• Fonction de perte : L'objectif minimise l'alignement entre la distribution des activations pilotées (générées en appliquant $H_\psi(E(x'_c))$ aux prompts sources) et la distribution des activations cibles (générées par les prompts cibles $x_c$).
• Données non appariées : L'entraînement nécessite uniquement des données non appariées (phrases sources et phrases de concepts cibles), ce qui est moins cher et plus évolutif à rassembler que les alternatives appariées.
• Contrôle de l'intensité : La méthode hérite du paramètre d'intensité borné $\lambda \in [0, 1]$ du pilotage par transport optimal, offrant un contrôle interprétable sur l'ampleur de l'intervention.

Inférence et flexibilité

• Inférence amortie : Une fois entraîné, HT produit des interventions pour de nouveaux concepts (y compris ceux non vus pendant l'entraînement) en une seule passe avant (0,08 s sur Nitro-1-PixArt, 0,26 s sur DMD2).
• Conditionnement cross-modal : Comme le réseau hyper opère sur les sorties de l'encodeur, il prend en charge un conditionnement cross-modal zero-shot. Puisque CLIP accepte à la fois le texte et les images, une image de référence peut piloter directement la génération texte-vers-image sans réentraînement.

Contributions clés

1. Cadre HyperTransport : Un réseau hyper qui mappe les représentations de concepts vers des interventions de pilotage, entraîné de bout en bout avec une perte de transport optimal. Il élimine l'optimisation par concept de quelques secondes à quelques minutes requise par les méthodes standard, réduisant le coût d'inférence à une fraction de seconde.
2. Conditionnement cross-modal Zero-Shot : HT est la première méthode de pilotage des activations à accepter des images comme signaux de conditionnement, permettant aux images de référence de piloter la génération texte-vers-image sans réentraînement.
3. Évaluation complète : Validé sur 167 concepts retenus (held-out) à travers DMD2 et Nitro-1-PixArt. HT égale la meilleure base par concept (LinEAS) pour induire les concepts cibles tout en préservant la qualité de génération originale, à une fraction du coût.

Résultats expérimentaux

L'article évalue HT par rapport à quatre bases par concept (CAA, ITI, Linear-AcT, LinEAS) et au prompting.

• Vitesse : HT est 3 600 à 7 000 fois plus rapide que l'ajustement par concept.
  • Temps d'entraînement LinEAS : ~936 s (DMD2) et ~543 s (Nitro-1-PixArt) par concept.
  • Temps d'inférence HT : ~0,258 s (DMD2) et ~0,078 s (Nitro-1-PixArt) par concept.
• Performance (Fidélité du concept) : Sur 167 concepts de test non vus, HT égale LinEAS pour induire le concept cible (par exemple, 0,280 contre 0,278 sur DMD2).
• Performance (Fidélité de l'entrée) : HT maintient une haute fidélité au prompt original, avec une légère diminution par rapport à LinEAS (dans les 0,02).
• Évaluation par utilisateurs et VLM : Dans des comparaisons par paires, tant les juges humains que les VLM (InternVL2.5-26B) préfèrent HyperTransport au prompting environ 2 fois plus souvent (par exemple, taux de préférence de 70,4 % pour HT contre 29,7 % pour le prompting sur DMD2).
• Généralisation : HT se généralise efficacement aux concepts non vus pendant l'entraînement, à condition qu'ils soient bien représentés dans l'espace d'embedding CLIP.

Importance et revendications

L'article revendique que HyperTransport combine avec succès trois capacités qu'aucune approche existante n'offre en tant qu'ensemble :

1. Pilotage amorti : Permet des ensembles de concepts ouverts où de nouveaux concepts peuvent être servis instantanément sans réentraînement.
2. Contrôle continu et interprétable de l'intensité : Fournit un paramètre d'intensité borné et interprétable ($\lambda \in [0, 1]$) dérivé du transport optimal.
3. Conditionnement cross-modal : Permet aux images de référence de piloter directement la génération basée sur le texte.

Les auteurs positionnent HT comme le plus utile lorsque l'ensemble de concepts est vaste, évolutif, ou spécifié au moment de la demande. Ils reconnaissent que les méthodes par concept restent compétitives pour des ensembles petits et fixes, et que le prompting suffit lorsque le texte seul suscite la cible. Ce travail met en lumière un changement du prompting fragile et de l'affinage coûteux vers un pilotage des activations amorti et efficace pour un contrôle évolutif des modèles génératifs.