💻 computer science

Beyond Text Prompts: Visual-to-Visual Generation as A Unified Paradigm

Cet article présente **V2V-Zero**, un cadre sans entraînement qui permet la génération visuelle à partir de spécifications visuelles en conditionnant des modèles vision-langage existants sur des pages de spécification visuelle plutôt que sur des invites textuelles, démontrant que ce paradigme unifié atteint des performances compétitives tout en révélant les limitations actuelles en matière de génération de contenu et de contrôle structurel dans les modèles d'images et de vidéos.

Auteurs originaux : Yaofang Liu, Kangning Cui, Meng Chu, Zhaoqing Li, Suiyun Zhang, Jean-Michel Morel, Xiaodong Cun, Haoxuan Che, Rui Liu, Raymond H. Chan

Publié 2026-05-13

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yaofang Liu, Kangning Cui, Meng Chu, Zhaoqing Li, Suiyun Zhang, Jean-Michel Morel, Xiaodong Cun, Haoxuan Che, Rui Liu, Raymond H. Chan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Arrêtez de Décrire, Commencez à Montrer

Imaginez que vous êtes un architecte essayant de dire à un constructeur ce qu'il doit construire.

L'Ancienne Méthode (Texte vers Image) : Vous écrivez une longue lettre détaillée décrivant la maison. Vous dites : « Elle devrait être bleue, avec trois fenêtres à gauche, une porte rouge et une cheminée en forme de chat. » Le constructeur (l'IA) doit lire vos mots, deviner à quoi ressemble le « bleu », imaginer la « cheminée en forme de chat » et espérer qu'il obtient la bonne disposition. Souvent, il se trompe car les mots sont flous.
La Nouvelle Méthode (Visuel vers Visuel / V2V) : Au lieu d'une lettre, vous remettez au constructeur un plan. Ce plan n'est pas une photo de la maison finie à copier ; c'est une fiche de spécifications. Il contient un échantillon de peinture bleue, un croquis de la cheminée en chat, un schéma montrant exactement où placer les fenêtres, et une photo de la porte rouge. Le constructeur regarde cette fiche et construit exactement ce qui est montré.

Ce papier introduit V2V-Zero, une méthode qui vous permet de donner aux générateurs d'IA ces « plans » (pages visuelles) au lieu de prompts textuels.

Comment Cela Fonctionne : Le « Traducteur Magique »

Les chercheurs n'ont pas construit une nouvelle IA à partir de zéro. Au lieu de cela, ils ont trouvé une astuce intelligente en utilisant une technologie existante.

Le Processus en Deux Étapes :
- Imaginez que vous avez un Traducteur (un Modèle Vision-Langage, ou VLM) qui est excellent pour regarder des images et comprendre leur signification.
- Imaginez que vous avez un Constructeur (un Modèle de Diffusion) qui est excellent pour créer des images mais qui écoute généralement uniquement les mots parlés du Traducteur.
- L'Astuce : Les chercheurs ont réalisé que le Traducteur transforme déjà les images en un « code » secret (états cachés) que le Constructeur comprend. Habituellement, le Traducteur ne transforme que le texte en ce code.
- L'Innovation : Ils ont simplement dit au Traducteur : « Hé, regarde cette page de plan visuel au lieu d'un prompt textuel. Donne au Constructeur le code que tu as créé à partir de l'image. »
- Résultat : Le Constructeur reçoit le « code » du plan et construit l'image en se basant sur les instructions visuelles, sans avoir besoin d'être re-entraîné. C'est comme changer la langue que le Constructeur écoute, sans changer ses oreilles.

Le Super-Pouvoir « Zero-Shot »

Le papier qualifie cela de « Zero-Shot » et « Sans Entraînement ».
Pensez-y comme donner à un chef une nouvelle carte de recette. Habituellement, pour enseigner à un chef un nouveau style, vous devez l'envoyer à l'école culinaire (entraînement). Ici, les chercheurs ont simplement remis au chef une nouvelle carte avec des images au lieu de mots. Le chef savait déjà comment lire les ingrédients (le code visuel) ; il avait juste besoin qu'on lui montre les ingrédients dans un format différent. Le chef n'avait pas besoin d'aller à l'école ; il avait juste besoin d'un nouveau menu.

Ce Qu'ils Ont Testé (Le « Simple-V2V Bench »)

Pour voir si cela fonctionne réellement, ils ont créé un test appelé Simple-V2V Bench. C'est comme un permis de conduire pour l'IA, mais au lieu de conduire une voiture, l'IA doit suivre des instructions visuelles.

Ils ont testé sept types de « plans » :

Couleur Inline : Un tout petit carré bleu dans les instructions.
Référence Visuelle : Une photo d'un chien spécifique à copier.
Texte Visuel : Un mot écrit dans une police spécifique à reproduire.
Comptage : Une image montrant exactement 3 pommes.
Style : Un tableau dont il faut copier le style.
Pose : Un dessin squelettique de la pose d'une personne.
Croquis : Un dessin grossier à transformer en image réelle.

Les Résultats : La Réalité à « Trois Niveaux »

Les résultats étaient un mélange de « Waouh ! » et « Pas encore ». Ils ont trouvé une hiérarchie claire de difficulté :

Les Choses Faciles (Forts) : L'IA était très bonne pour lier les attributs. Si vous montriez un carré bleu, elle créait un objet bleu. Si vous montriez une photo spécifique d'un chien, elle créait ce chien. Elle pouvait aussi bien copier les styles de texte.
- Analogie : Le constructeur est excellent pour peindre les murs exactement de la couleur que vous avez échantillonnée.
Les Choses Difficiles (Peu Fiables) : Lorsqu'on lui demandait de générer un contenu spécifique basé sur des indices visuels complexes, il peinait.
- Analogie : Le constructeur peint parfois le mauvais nombre de fenêtres ou place la porte sur le toit.
Les Choses les Plus Difficiles (Difficiles) : Le contrôle structurel (comme suivre un croquis de pose ou un schéma de disposition) était le maillon faible. Même les meilleurs systèmes commerciaux (comme GPT Image 2) peinaient à suivre parfaitement un dessin stick-figure.
- Analogie : Le constructeur ignore souvent le plan d'étage et construit la maison à l'envers, même si les couleurs sont bonnes.

L'Extension Vidéo

Ils ont également essayé cela sur un générateur vidéo (HunyuanVideo). Ils lui ont remis un plan visuel et ont demandé une vidéo. Cela a fonctionné, mais les résultats étaient encore inférieurs à ceux des images.

Analogie : Demander au constructeur de construire une maison en mouvement basée sur un plan est encore plus difficile que de construire une maison statique. Le constructeur a obtenu les bonnes couleurs mais a gâché le mouvement.

La Découverte de la « Sauce Secrète »

Les chercheurs ont regardé sous le capot pour voir pourquoi cela fonctionnait. Ils ont découvert que l'IA ne « pensait » pas réellement à l'image pour la transformer en phrase dans sa tête.

La Découverte : 95 % du temps, l'IA regardait directement le code visuel du plan. Elle n'ignorait pas l'image pour écrire une description d'abord ; elle lisait directement l'« ADN » de l'image.
Analogie : C'est comme si le constructeur ne lisait pas une lettre décrivant la maison ; il regardait le schéma de câblage du plan et suivait directement les fils.

Résumé

Ce papier propose une nouvelle façon de parler à l'IA : Montrez, ne dites pas.

Ce que c'est : Une méthode pour utiliser des pages visuelles (plans avec couleurs, croquis et photos) comme instructions au lieu de texte.
Comment ça marche : Il utilise des outils d'IA existants de manière intelligente, remplaçant les entrées textuelles par des entrées visuelles sans avoir besoin de re-entraîner les modèles.
Ce qu'il peut faire : Il est excellent pour copier les couleurs, les styles et des objets spécifiques.
Ce qu'il ne peut pas encore faire : Il peine toujours avec des dispositions complexes, des comptages exacts et le suivi de croquis de poses détaillés.

Le papier conclut que bien que nous soyons actuellement dans un monde « texte d'abord », la technologie est déjà prête à comprendre des instructions « visuelles d'abord », ouvrant la porte à un avenir où nous concevons avec des images plutôt qu'avec des paragraphes.

Résumé Technique : Au-delà des Prompts Textuels : la Génération Visuelle-vers-Visuelle comme Paradigme Unifié

Énoncé du Problème

Les systèmes de génération visuelle actuels reposent principalement sur une interface « texte en premier », obligeant les utilisateurs à sérialiser des intentions visuelles complexes — telles que des mises en page spatiales, des échantillons de couleurs exacts, une typographie et des croquis structurels — en invites de langage naturel. Les auteurs soutiennent que ce paradigme crée un goulot d'étranglement : le langage naturel comprime des signaux visuels critiques (par exemple, des formes de glyphes précises, des relations spatiales exactes et des liaisons de couleurs spécifiques) qui sont plus naturellement et directement représentés sous forme d'artefacts visuels. Bien que les modèles modernes de texte-vers-image (T2I) et de texte-vers-vidéo (T2V) aient progressé rapidement, ils peinent souvent à reconstruire les contraintes visuelles intentionnelles lorsque celles-ci sont perdues lors de la traduction de l'intention visuelle en jetons textuels.

Méthodologie : V2V-Zero

L'article propose la génération Visuelle-vers-Visuelle (V2V), un paradigme où l'utilisateur conditionne un modèle génératif à l'aide d'une page de spécification visuelle structurée plutôt que d'une invite textuelle. Cette page agit comme un document de conditionnement contenant du texte rendu, des croquis, des échantillons de couleurs, des images de référence et des diagrammes spatiaux, et non comme une image à éditer ou à reconstruire.

Pour réaliser cela sans réentraînement, les auteurs introduisent V2V-Zero, un cadre sans entraînement qui exploite les modèles Vision-Language (VLM) et les générateurs de diffusion existants. L'insight architectural central est que les systèmes T2I/T2V modernes (par exemple, Qwen-Image) utilisent déjà un encodeur de conditionnement VLM qui mappe à la fois le texte et les images dans un espace d'état caché partagé, consommé par le transformateur de diffusion (DiT).

Composants Techniques Clés :

Architecture Gelée : V2V-Zero fonctionne sur des poids gelés. Il n'entraîne pas d'adaptateurs ni n'affine le générateur.
Encodage de la Page Visuelle : Une page visuelle $V$ fournie par l'utilisateur est traitée par un VLM gelé (par exemple, Qwen2.5-VL). Le VLM traite la page comme une séquence d'entrée, générant potentiellement des jetons de raisonnement intermédiaires.
Injection d'État Caché : Au lieu d'alimenter le générateur avec des embeddings de texte, V2V-Zero extrait les états cachés de la dernière couche du VLM et les injecte directement dans l'interface de conditionnement du générateur.
Modes de Conditionnement :
- Image-HS-only : Injecte uniquement les états de jetons visuels de la page.
- FULL-FINAL (Par défaut) : Injecte à la fois les états de jetons visuels et les états cachés de la dernière couche des jetons de raisonnement générés par le VLM. Ce mode préserve les preuves visuelles tout en alignant la page avec une interprétation de scène prête à la génération.
Mécanisme : Le cadre repose sur l'observation que le mécanisme d'attention croisée du DiT est déjà entraîné à prêter attention aux états cachés du VLM. En remplaçant les invites textuelles par des états cachés de page visuelle, le générateur accède au même espace de conditionnement sans modifications architecturales.

Contributions Clés

Formulation du Paradigme V2V : L'article définit le V2V comme un paradigme de génération unifié où les entrées visuelles structurées servent de signal de conditionnement principal, distinct de l'édition d'image ou des modules de contrôle spécifiques à une tâche.
Cadre V2V-Zero : Une méthode zero-shot et sans entraînement qui atteint des performances compétitives en acheminant les états cachés de page visuelle à travers des générateurs conditionnés par VLM existants.
Simple-V2V Bench : Un nouveau benchmark comprenant sept tâches de conditionnement visuel (texte visuel, couleur en ligne, référence visuelle en ligne, comptage, transfert de style, contrôle de pose et référence de croquis) évaluées sur sept modèles, incluant des systèmes commerciaux (GPT Image 2, Seedream 5.0 Lite) et des modèles à poids ouverts.
Analyse Mécanistique : Des preuves empiriques montrant que dans le « chemin de raisonnement » (FULL-FINAL), le DiT attribue 95,0 % de sa masse d'attention des jetons de conditionnement aux états cachés du préfixe visuel plutôt qu'aux jetons de raisonnement générés, confirmant que le système repose sur un conditionnement visuel direct plutôt que sur un réencodage textuel.

Résultats Expérimentaux

Benchmark GenEval :

V2V-Zero obtient un score global de 0,85 sur GenEval en utilisant un socle Qwen-Image gelé.
Cette performance correspond étroitement aux performances optimisées de texte-vers-image (T2I) du socle (0,87) sans aucun affinage, démontrant que le conditionnement visuel peut remplacer efficacement les invites textuelles pour les tâches compositionnelles.

Simple-V2V Bench :

V2V-Zero obtient un score global de 32,7/100.
Hiérarchie des Capacités : Le benchmark révèle une structure à trois niveaux :
1. Liaison d'Attributs : Performances fortes (par exemple, 76,9/100 pour la couleur en ligne), approchant les bases commerciales.
2. Génération de Contenu : Performances peu fiables pour la génération sémantique complexe.
3. Contrôle Structurel : Difficultés significatives pour le contrôle de pose (13,3/100) et la référence de croquis (16,6/100), même pour les systèmes commerciaux les plus avancés.
Extension Vidéo : L'application de la même méthode V2V-Zero à HunyuanVideo-1.5 produit un score de 20,2/100, démontrant la transférabilité du cadre à la génération T2V, bien que avec des performances inférieures à la génération d'images.

Importance et Revendications

L'article revendique que V2V-Zero identifie une route visuelle-vers-visuelle latente déjà présente dans les générateurs conditionnés par VLM. L'importance réside dans la démonstration que :

Viabilité Zero-Shot : Les modèles existants peuvent accepter des pages de spécification visuelle comme entrées de conditionnement directes sans réentraînement, remettant en question la nécessité d'interfaces uniquement textuelles.
Alignement Architectural : Les résultats suggèrent que le « chemin de raisonnement » dans ces modèles est principalement routé visuellement ; le générateur prête attention à la représentation visuelle de la page plutôt que de compter sur le VLM pour convertir la page en un raisonnement textuel.
Orientation Future : L'étude postule que la spécification visuelle devrait être traitée comme un « langage de conditionnement de première classe ». Bien que les méthodes zero-shot actuelles montrent des promesses, l'article suggère que les générateurs natifs entraînés de bout en bout pour traiter l'entrée visuelle comme un signal de conditionnement principal représentent l'étape naturelle suivante, en particulier pour améliorer le contrôle structurel et le suivi précis des instructions visuelles.

Les auteurs restent modestes concernant les limitations actuelles, reconnaissant que si la liaison d'attributs est forte, le contrôle structurel (pose, croquis) reste un domaine difficile même pour les systèmes commerciaux, et que l'extension vidéo constitue une validation préliminaire plutôt qu'un benchmark vidéo complet.