Résumé Technique : Liaison Vision-Langage dans la Génération d'Images en Contexte

Problématique

Les modèles modernes de génération d'images en contexte, tels que FLUX.2, utilisent une architecture multimodale unifiée où les prompts textuels, les images de référence et les jetons de bruit sont concaténés en un flux d'attention unique. Contrairement aux modèles de diffusion antérieurs qui employaient des canaux de conditionnement distincts (par exemple, l'attention croisée pour le texte, le conditionnement fixe pour les images), ces modèles traitent toutes les modalités via des blocs de Transformer de Diffusion (DiT) partagés, sans couches d'attention croisée dédiées pour le conditionnement de référence.

Cette unification architecturale soulève une question fondamentale concernant le flux d'information : Quel est le rôle des jetons textuels lorsqu'une image de référence est présente ? Restent-ils des supports passifs pour l'instruction d'édition, ou absorbent-ils et transportent-ils activement l'information visuelle de l'image de référence vers l'image générée ? L'article étudie comment l'information de référence est acheminée entre les jetons de texte, les jetons d'image de référence et les jetons d'image générée au sein d'un flux d'attention unique.

Méthodologie

Les auteurs emploient trois techniques d'intervention causale sur le flux d'attention multimodal de FLUX.2 pour tracer le flux d'information. Ces méthodes opèrent sur les activations intermédiaires des couches du modèle.

1. T2I Lens (Lentille T2I) : Cette méthode décode les activations intermédiaires des jetons textuels issues d'une édition Image-to-Image (I2I) conditionnée par une référence. Les activations sont patchées dans les embeddings textuels bruts d'une génération Text-to-Image (T2I) inconditionnelle séparée (utilisant un prompt vide). Si l'image T2I résultante présente les propriétés de la référence originale, cela indique que les jetons textuels avaient absorbé cette information visuelle lors de la passe avant.
2. Attention Knockout (Élimination de l'attention) : Cette technique sectionne des arêtes d'attention spécifiques pour isoler les voies causales. Les auteurs bloquent l'attention des jetons de référence vers les jetons de texte ($KO_{ref \to text}$) ou des jetons de référence vers les jetons d'image ($KO_{ref \to img}$). En observant quels attributs de la référence (par exemple, la couleur, le style, l'identité) ne parviennent pas à apparaître dans la sortie lorsqu'un chemin spécifique est bloqué, les auteurs déterminent le routage nécessaire pour chaque propriété.
3. I2I-to-I2I Patching (Patching de I2I à I2I) : Cette méthode teste le transfert causal en copiant les activations des jetons textuels d'une édition I2I "source" (avec une référence spécifique) vers une édition I2I "cible" (avec une référence différente mais la même instruction). Si la sortie cible adopte les propriétés de la référence source, les jetons textuels sont causalement responsables du transport de ces propriétés.

L'évaluation utilise un Modèle de Langage et de Vision (VLM), spécifiquement Claude-Opus-4.7, comme juge pour vérifier la présence ou l'absence de propriétés spécifiques (couleur, style, identité, cadre de la scène) dans les images générées à travers 2 875 tâches d'édition.

Principales Conclusions et Résultats

1. Liaison Émergente Vision-Langage

L'étude révèle une liaison implicite entre les jetons textuels et les images de référence. Les jetons textuels ne sont pas de simples porteurs d'instructions ; ils absorbent le contenu visuel de la référence pendant la passe avant et influencent causalement la sortie finale. Cependant, cette liaison n'est pas uniforme pour toutes les propriétés visuelles.

2. Division du Travail : Propriétés Descriptives vs Propriétés de Précision de Pixel

Les auteurs identient une division claire dans la manière dont les différentes propriétés de référence sont acheminées :

• Propriétés Descriptives (Couleur, Style, Cadre de la Scène) : Ces propriétés sont d'abord inscrites dans les jetons textuels.
  • Preuve : Bloquer l'attention de la référence vers le texte ($KO_{ref \to text}$) détruit le transfert de couleur et de style, tandis que bloquer la référence vers l'image ($KO_{ref \to img}$) a un effet minimal.
  • Preuve : Le patching des jetons textuels d'une source vers une cible transfère avec succès la couleur et le style.
  • Preuve : Les sorties de la T2I Lens générées à partir des jetons textuels patchés rendent clairement la couleur et le style de la référence.
• Propriétés de Précision de Pixel (Identité, Instance Spécifique) : Ces propriétés contournent entièrement les jetons textuels et circulent directement de l'image de référence vers l'image générée via l'attention image-à-image.
  • Preuve : Bloquer l'attention de la référence vers le texte a peu d'effet sur la préservation de l'identité, alors que bloquer l'attention de la référence vers l'image la détruit.
  • Preuve : Le patching des jetons textuels ne transfère pas l'identité humaine ; la sortie cible conserve l'identité de sa propre image de référence.

3. Localisation aux Jetons de Remplissage (Padding Tokens)

La liaison du contenu de référence aux jetons textuels est localisée spécifiquement dans les jetons de remplissage de la séquence textuelle, plutôt que dans les jetons de contenu qui encodent l'instruction d'édition.

• Le patching uniquement des jetons de remplissage transfère la couleur et le style à des taux presque identiques au patching de tous les jetons textuels.
• Le patching uniquement des jetons de contenu (l'instruction) échoue à transférer les propriétés de la référence.
• La T2I Lens appliquée uniquement aux jetons de remplissage reconstruit avec succès le cadre de la scène de la référence, tandis que la lentille sur le contenu seul produit des résultats vides ou uniquement liés à l'instruction.

4. Liaison Spécifique aux Couches

L'absorption du contenu de référence dans les jetons textuels se produit à des profondeurs spécifiques dans le réseau :

• Style et Scène : La liaison est établie autour du 8ème bloc double-stream.
• Couleur : La liaison est établie autour du 10ème bloc single-stream.
  Les expériences supprimant les jetons de référence après ces couches de liaison confirment que les jetons textuels peuvent porter l'information en avant sans apport direct ultérieur de la référence.

Signification et Revendications

L'article affirme que même dans les modèles génératifs multimodaux à attention unifiée, la modalité des jetons structure la manière dont l'information de conditionnement est représentée et acheminée. Le flux d'attention partagé n'efface pas les rôles distincts des jetons textuels et d'image ; au contraire, le modèle partitionne naturellement le flux d'information en fonction de la nature du contenu :

• Les jetons textuels agissent comme un canal structuré pour les attributs de haut niveau, descriptibles par le langage (couleur, style, scène).
• L'attention image-à-image gère les attributs de bas niveau, précis au pixel (identité).

Cette découverte suggère que les jetons de "remplissage" (padding) dans la séquence textuelle servent un rôle computationnel fonctionnel en tant que registre pour la liaison transmodale, un mécanisme qui reflète les conceptions à deux encodeurs explicites trouvées dans d'autres architectures (par exemple, Qwen-Image-Edit), où un encodeur vision-langage gère la sémantique et un VAE gère l'apparence. Les auteurs soutiennent que ces résultats remettent en question la vision des flux d'attention unifiés comme des boîtes noires, révélant qu'un routage spécifique à la modalité émerge implicitement au sein de l'objectif d'entraînement.

Ce travail fournit des outils de diagnostic (T2I Lens, Attention Knockout, Patching) applicables à tout modèle multimodal en contexte mélangeant des jetons de texte et d'image, offrant un cadre pour comprendre et potentiellement optimiser la manière dont l'information de conditionnement est acheminée dans les futures architectures génératives.