💻 computer science

Test-Time Conditioning with Representation-Aligned Visual Features

Cet article introduit la Représentation-Alignée par Guidage (REPA-G), un cadre d'inférence qui oriente la génération des modèles de diffusion vers des caractéristiques visuelles spécifiques extraites de modèles auto-supervisés pré-entraînés, permettant un contrôle polyvalent et précis de la texture, de la sémantique et de la composition multi-concepts sans nécessiter de réentraînement.

Auteurs originaux : Nicolas Sereyjol-Garros, Ellington Kirby, Victor Letzelter, Victor Besnier, Nermin Samet

Publié 2026-02-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nicolas Sereyjol-Garros, Ellington Kirby, Victor Letzelter, Victor Besnier, Nermin Samet

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot artiste à peindre le portrait d'un « lapin ».

L'ancienne méthode (Prompts textuels) :
Vous pourriez écrire une description longue et détaillée : « Un lapin blanc duveteux assis sur un volcan avec de la terre noire craquelée et de la lave rougeoyante. » Mais le robot pourrait s'embrouiller. Le lapin est-il blanc ou gris ? La lave est-elle rouge ou orange ? Le texte est comme une carte floue ; il donne des directions, mais le robot doit deviner les détails.

La nouvelle méthode (REPA-G) :
Au lieu d'écrire une description, vous montrez simplement au robot une photo d'un vrai lapin et une photo d'un vrai volcan. Le robot ne se contente pas de regarder les images ; il regarde l'« ADN secret » qui se trouve à l'intérieur.

Cette publication présente une nouvelle méthode appelée REPA-G (Guidage par Alignement de Représentation). Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le « langage secret » des images

La plupart des modèles d'IA apprennent à générer des images en devinant et en corrigeant des erreurs (comme un sculpteur qui dégrossit la pierre). Récemment, des chercheurs ont trouvé un moyen d'enseigner à ces modèles un « langage secret » en leur montrant des images et en leur demandant de correspondre aux caractéristiques internes d'un enseignant pré-entraîné et intelligent (comme DINOv2).

Considérez ce « langage secret » comme un traducteur universel. Quand l'IA voit un lapin, elle ne voit pas seulement des pixels ; elle comprend le concept de la « lapinité » dans un code mathématique. La publication démontre que si l'on apprend à l'IA à parler ce code, elle comprend bien mieux le monde que si elle apprenait simplement à peindre.

2. Diriger le navire à la dernière minute

Habituellement, une fois qu'un modèle d'IA est entraîné, on ne peut pas facilement changer d'avis sans le réentraîner de zéro. C'est comme construire une voiture et réaliser ensuite que l'on voulait un bateau ; il faudrait en construire un nouveau.

REPA-G est différent. Cela fonctionne au tout dernier moment (lors de l'« inférence » ou de la génération).

L'analogie : Imaginez que l'IA est un navire naviguant dans un océan brumeux (le processus de création d'une image à partir de bruit).
L'ancienne méthode : Vous fixez la destination avant que le navire ne quitte le port (l'entraînement).
La méthode REPA-G : Vous pouvez diriger le navire pendant qu'il navigue. Si vous voulez un lapin, vous brandissez un « signal lapin » (une caractéristique issue d'une photo de vrai lapin). Le navire ressent une attraction magnétique vers ce signal et se dirige pour correspondre à celui-ci.

3. Trois niveaux de contrôle

La publication montre que vous pouvez contrôler l'IA avec différents niveaux de précision, comme en zoomant sur une carte :

Le « Signal Moyen » (Contrôle large) : Vous montrez à l'IA une image entière d'un lapin et lui dites : « Crée-moi quelque chose qui ressemble à ceci ». L'IA capture l'ambiance générale (un lapin) mais peut modifier la pose ou l'arrière-plan. C'est comme dire : « Dessine un chien », et obtenir un Golden Retriever, un Caniche ou un Beagle.
Le « Signal Masqué » (Contrôle de la forme) : Vous prenez la photo d'un lapin, vous couvrez l'arrière-plan avec un masque noir et vous ne montrez à l'IA que la forme du lapin. L'IA dessine alors un lapin avec cette forme exacte, mais peut le placer n'importe où (sur une plage, dans l'espace, sur un volcan). C'est comme utiliser un emporte-pièce ; la forme est fixe, mais la pâte peut être n'importe quoi.
Le « Signal Complet » (Copie exacte) : Vous montrez à l'IA l'image entière, et elle tente de recréer les textures et les détails spécifiques de cette image exacte.

4. Mélanger et assortir (Composition)

La partie la plus fascinante est que vous pouvez mélanger ces signaux.

L'analogie : Imaginez que vous vouliez un « Tigre sur une planche de surf ».
Vous montrez à l'IA une photo de Tigre (pour obtenir les caractéristiques du tigre).
Vous montrez à l'IA une photo de Planche de surf ou de vague (pour obtenir les caractéristiques de l'arrière-plan).
L'IA fusionne ces deux « codes secrets » ensemble. Elle ne se contente pas de coller le tigre sur la vague ; elle comprend que le tigre appartient à cet environnement, créant ainsi une image naturelle.

Pourquoi est-ce important (selon la publication)

Pas de réentraînement nécessaire : Vous n'avez pas besoin de reconstruire le modèle d'IA. Vous utilisez simplement cette astuce de pilotage à la fin.
Meilleur que le texte : La publication soutient que montrer une image (ou son « code secret ») est beaucoup plus précis que d'écrire un long paragraphe. Le texte est vague ; une carte de caractéristiques est une instruction directe.
Haute qualité : Lors des tests sur des ensembles de données d'images célèbres (ImageNet et COCO), les résultats étaient plus nets, plus diversifiés et suivaient mieux les instructions que les méthodes précédentes.

En résumé :
REPA-G est comme donner à un robot artiste des volants magnétiques fabriqués à partir de vraies photos. Au lieu de deviner ce que vous voulez à partir d'une description vague, vous donnez au robot un « aimant » (une caractéristique d'une photo), et la boussole interne du robot tire l'image finale vers cet aimant, créant exactement ce que vous avez imaginé sans avoir besoin de reconstruire le robot.

Résumé Technique : Conditionnement au Moment du Test avec des Caractéristiques Visuelles Alignées sur la Représentation (REPA-G)

Énoncé du Problème

Bien qu'il ait été démontré que l'alignement de la représentation avec des modèles auto-supervisés permet d'accélérer l'entraînement des modèles de diffusion et d'améliorer la qualité des échantillons, son potentiel pour améliorer le conditionnement au moment de l'inférence reste largement inexploré. Les stratégies de conditionnement actuelles dans la synthèse d'images reposent généralement sur des étiquettes de classe ou des descriptions textuelles. Le conditionnement basé sur les classes offre un contrôle grossier limité à des catégories prédéfinies, tandis que les invites textuelles (prompts), bien que flexibles, sont souvent imprécises et ambiguës. De plus, les méthodes de conditionnement post-entraînement existantes nécessitent souvent des paramètres supplémentaires, un entraînement spécifique à la tâche ou des modifications architecturales qui restent fixes lors de l'inférence. Il existe un besoin pour une méthode permettant un contrôle précis, flexible et fin de la génération sans réentraîner le modèle ou dépendre d'invites ambiguës.

Méthodologie : REPA-G

Les auteurs introduisent REPA-G (Representation-Aligned Guidance), un cadre qui exploite les représentations internes des modèles de diffusion entraînés avec un alignement de représentation pour permettre un conditionnement visuel au moment du test.

Mécanisme Central

REPA-G opère en optimisant un objectif de similitude (un « potentiel ») pendant le processus d'inférence. La méthode guide le processus de débruitage vers une représentation cible extraite d'un extracteur de caractéristiques auto-supervisé pré-entraîné (par exemple, DINOv2).

Extraction de Caractéristiques : Des jetons (tokens) visuels sont extraits d'une image de référence (ancre) en utilisant le même réseau auto-supervisé utilisé lors de la phase d'alignement de l'entraînement du modèle.
Guidage par Gradient : La procédure d'échantillonnage est modifiée en calculant le gradient d'une fonction de potentiel $\mathscr{V}$ qui quantifie l'alignement entre les caractéristiques internes de l'échantillon généré et les caractéristiques de conditionnement.
Distribution Titrée : Théoriquement, ce guidage oriente le processus d'échantillonnage pour tirer d'une « distribution titrée » $\tilde{p}_0(x; x_c) \propto p_0(x) e^{\lambda \mathscr{V}(\phi(x), \phi(x_c))}$ , où $p_0$ est la distribution de données originale et $\lambda$ contrôle l'intensité du guidage.

Choix de Conception pour le Potentiel

Le cadre prend en charge plusieurs granularités de contrôle en adaptant la fonction de potentiel $\mathscr{V}$ :

Alignement de Patch Indépendant (IPA) : Permet une flexibilité spatiale.
- Carte de Caractéristiques Complète : Impose des contraintes spatiales denses pour une reconstruction stochastique.
- Carte de Caractéristiques Masquée : Préserve l'information au sein de régions spécifiques (par exemple, la forme d'un objet) tout en permettant de la variation ailleurs.
- Concept Moyen : Aligne la moyenne sémantique globale, supprimant les contraintes spatiales pour guider la catégorie générale (par exemple, « lapin »).
- Concept Unique : Se concentre sur le guidage d'un patch local spécifique.
Alignement de Patch Sélectif (SPA) : Utilise un mécanisme de soft-max avec un paramètre de température $T$ pour pondérer dynamiquement les patchs en fonction de leur similitude avec un concept cible. Cela permet au modèle de localiser les concepts de manière adaptative, contournant les contraintes spatiales rigides.

Prérequis

La méthode nécessite que le modèle de diffusion soit entraîné avec un alignement de représentation (par exemple, en utilisant des objectifs REPA ou REPA-E). Cela garantit que l'espace de caractéristiques interne est sémantiquement significatif et bien conditionné, signifiant que les distances dans l'espace de caractéristiques sont corrélées aux distances dans l'espace de densité conditionnelle. Sans cet alignement, l'espace de caractéristiques manque de la structure sémantique nécessaire à un conditionnement efficace.

Contributions Clés

Cadre REPA-G : Le premier cadre de conditionnement visuel au moment du test pour les modèles de diffusion entraînés avec un alignement de représentation. Il aligne les caractéristiques de diffusion internes avec des cibles provenant d'un encodeur auto-supervisé sans nécessiter de réglage fin (fine-tuning) ou de réentraînement.
Justification Théorique : Les auteurs fournissent une analyse théorique montrant que ce guidage permet l'échantillonnage à partir d'une distribution titrée induite par un potentiel. Ils justifient également que les caractéristiques auto-supervisées sont bien adaptées à cette tâche en raison de la cohérence sémantique et des propriétés de cartographie lisse de l'espace de représentation aligné.
Contrôle Polyvalent : La méthode permet le contrôle de concepts visuels concrets et abstraits à plusieurs échelles, allant de la correspondance de texture fine via des patchs uniques à un guidage sémantique large via des jetons globaux. Elle supporte également la composition de multi-concepts (par exemple, combiner un objet d'une image avec l'arrière-plan d'une autre).

Résultats Expérimentaux

Les auteurs ont évalué REPA-G sur les jeux de données ImageNet et COCO en utilisant des modèles de flow matching (SiT) entraînés avec un alignement de représentation.

Performance au Niveau de la Distribution : Sur ImageNet, REPA-G surpasse significativement les baselines non conditionnées et les modèles SiT standards lorsqu'il est conditionné. Par exemple, en utilisant REPA-E avec les caractéristiques DINOv2 (FDINO), la méthode a atteint une distance de Fréchet Inception (FID) de 1,45 (Full Feature Map) et 2,30 (Masked), contre 15,07 pour la baseline non conditionnée. La méthode a également démontré des scores d'Inception (IS) et des métriques Précision/Rappel élevés.
Alignement au Niveau de l'Instance : Les images générées présentaient une haute similitude cosinus avec les images ancres à travers les espaces de caractéristiques DINOv2, JEPA et CLIP, avec des valeurs PSNR indiquant une forte fidélité au niveau des pixels dans les reconstructions masquées.
Comparaison avec le Text-to-Image : Comparée à une baseline de texte-vers-image (CAD-I) sur COCO, REPA-G utilisant des caractéristiques visuelles a obtenu des performances supérieures (FID de 2,11 contre 37,98 pour le texte), suggérant que les caractéristiques visuelles fournissent un signal plus dense et plus informatif que les légendes textuelles.
Composition de Multi-Concepts : Dans les tâches de génération compositionnelle (combinant des objets ancres avec des arrière-plans cibles), les variantes de REPA-G (IPA et SPA) ont nettement surpassé les baselines conditionnées par classe et par interpolation en termes de scores CLIP et de métriques de similitude par patch.

Signification et Revendications

L'article affirme que REPA-G offre une alternative flexible et précise aux invites textuelles souvent ambiguës ou aux étiquettes de classe grossières. En opérant entièrement au moment de l'inférence, il évite le coût computationnel et la complexité de l'entraînement de nouveaux mécanismes de conditionnement ou du réglage fin de modèles. Les auteurs soulignent que l'efficacité de la méthode est contingente sur le fait que le modèle soit entraîné avec un alignement de représentation, ce qui garantit que l'espace de caractéristiques interne possède la structure sémantique nécessaire. Bien que l'approche nécessite actuellement le réglage de l'échelle de guidage $\lambda$ pour les tâches de composition et soit confrontée à des défis concernant la variation des points de vue de scène, elle représente une étape significative vers une modélisation générative pilotée par les caractéristiques et contrôlable.