💻 computer science

FullFlow: Upgrading Text-to-Image Flow Matching Models for Bidirectional Vision--Language Generation

FullFlow est une méthode efficace en paramètres qui transforme les modèles préentraînés de génération d'images à partir de texte par flux rectifié en générateurs bidirectionnels vision-langage en n'entraînant que des adaptateurs légers, atteignant des performances de pointe tant en génération d'images qu'en génération de texte tout en réduisant considérablement les coûts de calcul par rapport aux approches existantes.

Auteurs originaux : Eric Tillmann Bill, Enis Simsar, Alessio Tonioni, Thomas Hofmann

Publié 2026-05-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Eric Tillmann Bill, Enis Simsar, Alessio Tonioni, Thomas Hofmann

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un chef étoilé incroyablement célèbre pour une chose précise : transformer une recette écrite (du texte) en un plat délicieux et parfait (une image). Ce chef a passé des années à apprendre exactement comment des mots comme « épicé », « doré » et « croustillant » se traduisent en saveurs et en textures.

Cependant, ce chef a une limitation : il ne travaille que dans une seule direction. Si vous lui donnez une photo d'un plat, il ne peut pas vous dire la recette. Il est bloqué dans la voie « texte vers image ».

FullFlow est une nouvelle méthode d'entraînement ingénieuse qui apprend à ce même chef de travailler dans les deux sens sans le licencier ni le faire repartir de zéro. Elle transforme le chef en un véritable « critique et créateur culinaire » capable de regarder un plat et de décrire la recette, ou de regarder une recette et de cuisiner le plat, tout en conservant intactes ses compétences culinaires d'origine.

Voici comment ils ont procédé, décomposé en concepts simples :

1. Le système « Deux Voies »

Habituellement, lorsque l'IA tente de gérer à la fois le texte et les images, elle essaie de les forcer dans le même « langage ». C'est comme essayer d'enseigner à un chef de parler « Image-ais » et « Mot-ais » simultanément, ce qui le confond souvent et ruine ses compétences culinaires d'origine.

FullFlow adopte une approche différente. Elle maintient les deux voies séparées mais connectées :

La Voie Image : Le chef continue d'utiliser son flux « continu » d'origine, de haute qualité, pour les images. Rien ne change ici ; la capacité du chef à cuisiner reste parfaite.
La Voie Texte : Pour le texte, ils ajoutent un nouvel outil « d'insertion » léger. Au lieu de deviner des mots à partir de zéro, le modèle apprend à remplir les mots manquants dans une phrase, comme un jeu de « Mad Libs » où vous commencez avec une page blanche et insérez progressivement des mots jusqu'à ce qu'une phrase complète apparaisse.

2. L'analogie du « Feu de circulation »

Imaginez que l'IA conduit une voiture dans une ville où le temps est un feu de circulation.

Ancienne méthode : La voiture devait s'arrêter à chaque feu pour basculer entre le « Mode Image » et le « Mode Texte ».
Méthode FullFlow : La voiture dispose maintenant de deux feux de circulation séparés : un pour l'image ( $t$ $t$ ) et un pour le texte ( $\tau$ $τ$ ).
- Si vous voulez transformer du Texte en Image, vous gardez le feu texte au vert (terminé) et laissez le feu image passer du rouge au vert.
- Si vous voulez transformer une Image en Texte, vous gardez le feu image au vert et laissez le feu texte changer.
- Si vous voulez créer les deux ensemble, vous laissez les deux feux changer en même temps.

Cela donne à l'IA une liberté totale de choisir son chemin sans rester bloquée.

3. La « Petite Mise à Niveau » (LoRA)

Le plus gros problème avec l'apprentissage de nouveaux tours à une immense IA est que cela nécessite généralement une refonte massive et coûteuse. C'est comme reconstruire toute la cuisine pour apprendre au chef à faire du pain.

FullFlow est une mise à niveau « économique ». Au lieu de reconstruire la cuisine, ils ont simplement ajouté quelques petits outils détachables (appelés adaptateurs LoRA) et un nouveau bloc-notes pour le chef.

Ils n'ont entraîné que 5 % environ du cerveau du modèle.
Le reste des connaissances du chef (le « prior d'image préentraîné ») a été laissé gelé et intact.
Résultat : Le chef a appris à décrire des images et à répondre à des questions sans oublier comment cuisiner.

4. L'astuce du « Professeur »

Lorsqu'on enseignait au chef à décrire des images, il y avait un risque qu'il commence à oublier comment cuisiner (la qualité de l'image deviendrait floue).

Pour résoudre ce problème, les chercheurs ont utilisé l'astuce du « Professeur ». Imaginez que le chef s'entraîne à une nouvelle compétence tandis qu'un chef maître (la version originale et gelée de lui-même) observe. Le chef élève se voit dire : « Assure-toi que ton image ressemble exactement à celle du Chef Maître, même pendant que tu écris la description. »
Cela garantit que les nouvelles compétences ne gâchent pas les anciennes.

Ce que cela permet de faire

Grâce à cette mise à niveau, le modèle peut maintenant :

Texte $\to$ Image : « Dessine un dragon dans une tasse. » (La compétence d'origine).
Image $\to$ Texte : Montrez une photo d'un chat, et il écrit : « Un chat noir assis sur un tapis. »
Génération conjointe : Créer une image et une description exactement en même temps, parfaitement assorties.
VQA visuel (Visual Question Answering) : Montrez une photo d'un enfant portant un chapeau et demandez : « De quelle couleur est le chapeau ? » Le modèle ne remplit que la réponse (« Noir ») sans réécrire toute la phrase.

La conclusion

L'article montre que vous n'avez pas besoin d'entraîner une nouvelle IA massive à partir de zéro pour qu'elle comprenne à la fois les images et les mots. Vous pouvez prendre un générateur d'images puissant, lui donner quelques petits outils intelligents, et il devient instantanément un partenaire de conversation bidirectionnel.

Dans leurs tests, cette méthode était 8 fois plus rapide et utilisait moins de la moitié de la mémoire informatique des méthodes précédentes, tout en produisant des résultats bien supérieurs. Elle a prouvé que le « cerveau image » en savait déjà plus sur le langage et le sens que nous ne le pensions ; il avait juste besoin de la bonne clé pour le déverrouiller.

Résumé Technique : FullFlow

Énoncé du Problème

Les modèles de diffusion et de flux rectifié modernes pour la génération d'images à partir de texte (T2I) possèdent des priors visuels riches et de fortes capacités génératives, mais opèrent strictement de manière unidirectionnelle : texte en entrée, image en sortie. Bien que des modèles unifiés vision-langage (VLM) existent, ils sont généralement construits en conditionnant un modèle linguistique préentraîné avec un encodeur visuel ou en effectuant un préentraînement conjoint coûteux à partir de zéro. Ces approches rejettent souvent les forts priors d'image déjà encodés dans les architectures de base T2I ou nécessitent un réentraînement substantiel qui est computationnellement prohibitif. La question centrale abordée par ce travail est de savoir si un modèle de flux T2I préentraîné peut être amélioré en un générateur vision-langage bidirectionnel sans préentraînement multimodal complet ni sacrifier le prior d'image original.

Méthodologie

Les auteurs proposent FullFlow, une recette économe en paramètres qui améliore un modèle T2I de flux rectifié préentraîné (spécifiquement Stable Diffusion 3 et FLUX.1-dev) en un générateur bidirectionnel. L'innovation centrale réside dans le traitement des deux modalités de manière asymétrique mais compatible au sein d'un seul backbone partagé.

1. Extension Multimodale dans l'Espace Natif

Modalité Image : Les images restent dans leur espace latent continu natif de flux rectifié. Le modèle préserve le processus d'image continu préentraîné.
Modalité Texte : Le texte est géré via un processus d'insertion discret basé sur les Flux d'Édition. Contrairement à la diffusion discrète basée sur le masquage (qui introduit des tokens hors vocabulaire incompatibles avec les encodeurs figés), FullFlow utilise un processus direct basé sur la suppression. Cela garantit qu'à tout niveau de bruit, l'état de texte corrompu est une sous-séquence de tokens valide pouvant être décodée et ré-tokenisée pour les encodeurs auxiliaires (par exemple, CLIP).
Architecture : Un seul backbone partagé (MM-DiT) traite les deux modalités. Le modèle est conditionné par deux pas de temps découplés : $t$ $t$ pour le temps image et $\tau$ $τ$ pour le temps texte.
- Composants Gelés : Les poids du backbone et tous les encodeurs de texte auxiliaires (T5, CLIP) restent gelés.
- Composants Entraînables : Seuls les adaptateurs LoRA (appliqués aux couches linéaires du transformateur), les têtes de texte légères (pour les comptes d'insertion et les identités de tokens) et les nouveaux chemins de conditionnement par pas de temps sont entraînés. Cela équivaut à entraîner seulement environ 5 % des paramètres pour SD3 et environ 2,5 % pour FLUX.1.

2. Objectif d'Entraînement à Double Pas de Temps

L'objectif d'entraînement consiste à prédire conjointement la vitesse de l'image et les insertions de texte manquantes basées sur la paire de pas de temps $(t, \tau)$ .

Programme de Corruption : Les auteurs comparent un programme « alterné-propre » (entraînement uniquement sur des tâches conditionnées par les extrémités) avec un programme « corruption mixte » où $(t, \tau) \sim \text{Unif}([0, 1]^2)$ . Ils constatent qu'une approche hybride — préentraînement avec corruption mixte pour apprendre la correspondance intermodale, suivie d'un affinage avec alternance-propre — donne les meilleurs résultats.
Stabilisation :
- Équilibrage Adaptatif des Gradients : Pour résoudre le désaccord d'échelle entre la perte image basée sur le MSE et la perte texte basée sur l'entropie croisée/compte, les auteurs ajustent dynamiquement le poids de la perte texte $\lambda_{txt}$ en utilisant une moyenne mobile exponentielle (EMA) du rapport de gradient.
- Appariement avec Enseignant : Pour empêcher la dégradation du prior d'image préentraîné lors du fine-tuning sur de nouvelles distributions de données, la régression de vitesse d'image est remplacée par un objectif d'« appariement avec enseignant au même bruit ». L'enseignant est le même backbone avec les couches LoRA désactivées, ne nécessitant aucune mémoire supplémentaire.

3. Modes d'Inférence

Le découplage de $t$ et $\tau$ transforme l'inférence en sélection de trajectoire dans un espace génératif 2D :

Texte $\to$ Image : Fixer $\tau=1$ (texte propre), faire évoluer $t$ de 0 à 1.
Image $\to$ Texte : Fixer $t=1$ (image propre), faire évoluer $\tau$ de 0 à 1.
Échantillonnage Joint : Faire évoluer simultanément $t$ et $\tau$ .
Génération de Texte Partiel (VQA) : Fixer l'image et les tokens de la question, en restreignant le processus d'insertion à l'étendue de la réponse. Cela permet la Réponse aux Questions Visuelles (VQA) sans décodeur séparé.

Contributions Clés

C1 : Conversion d'un modèle de flux rectifié T2I préentraîné en générateur bidirectionnel en entraînant uniquement des adaptateurs LoRA et des têtes de texte légères, préservant avec succès le prior d'image préentraîné.
C2 : Introduction d'un cadre à double pas de temps où les images restent dans un flux continu et le texte utilise un processus d'insertion discret, permettant une génération conditionnelle, conjointe et de texte partiel comme des trajectoires dans un espace unifié $(t, \tau)$ .
C3 : Démonstration d'une performance supérieure par rapport à une ligne de base Dual Diffusion-LoRA appariée sur SD3 et FLUX.1-dev, tant pour la rétention image-à-texte que pour la qualité texte-à-image, tout en supportant des tâches VQA en aval avec des ressources computationnelles minimales.

Résultats Expérimentaux

Les auteurs évaluent FullFlow sur SD3 et FLUX.1-dev en utilisant un nombre de paramètres et un rang LoRA appariés par rapport à une ligne de base Dual Diffusion réimplémentée.

Efficacité : FullFlow s'entraîne sur deux GPU RTX A5000 en moins de 24 heures, réduisant la VRAM de pointe d'environ 84 Go (Dual Diffusion) à environ 38 Go et augmentant le débit d'environ 8 fois.
Texte vers Image (SD3) : À temps d'horloge apparié, FullFlow améliore le FID de 62,7 à 31,6 (et 29,3 aux étapes appariées) et le CMMD de 0,870 à 0,121, démontrant une forte rétention du prior d'image.
Image vers Texte (SD3) : FullFlow atteint un score CIDEr de 99,4 (contre 2,0 pour la ligne de base) à temps d'horloge apparié, et 13,4 aux étapes appariées.
Tâches en Aval : Sur les benchmarks VQA (VQAv2, VizWiz, OKVQA), FullFlow (avec seulement 130M de paramètres entraînables) atteint une précision compétitive, surpassant notablement la ligne de base Dual Diffusion sur VizWiz (50,7 contre 29,9).
Transférabilité : La recette se transfère avec succès à FLUX.1-dev, atteignant un CIDEr de 73,6 après 36 heures d'entraînement.

Signification et Revendications

L'article revendique que FullFlow démontre que de fortes capacités bidirectionnelles vision-langage peuvent être débloquées à partir de modèles de flux T2I préentraînés sans nécessiter de préentraînement multimodal complet. Les résultats suggèrent que les priors T2I préentraînés encodent une structure visuelle-sémantique plus riche que ce qui est communément supposé, capable de soutenir des tâches inverses (image-à-texte) et une génération conjointe grâce à une adaptation légère.

Les auteurs positionnent ce travail comme une « preuve de concept réalisable en termes de calcul » plutôt qu'une revendication de performance optimale de bout en bout. Ils soulignent que leur méthode rend les modèles de flux rectifié bidirectionnels accessibles à la communauté de recherche plus large en ne nécessitant que des GPU commerciaux et une petite fraction des paramètres généralement requis pour les modèles unifiés. Ils reconnaissent des limitations, notamment l'accent actuel sur une résolution de 256 $\times$ 256 et l'absence de mise à l'échelle vers de plus grands ensembles de données ou d'ajustement par instruction pour des dialogues complexes, notant cela comme des orientations futures.