Beyond Text Prompts: Visual-to-Visual Generation as A Unified Paradigm

Technische Samenvatting: Voorbij Tekstprompts: Visual-to-Visual Generatie als Een Unificerend Paradigma

Probleemstelling

Huidige systemen voor visuele generatie vertrouwen voornamelijk op een "tekst-eerst" interface, waarbij gebruikers complexe visuele intenties—zoals ruimtelijke lay-outs, exacte kleurschakeringen, typografie en structurele schetsen—moeten serialiseren naar natuurlijke taalprompts. De auteurs betogen dat dit paradigma een knelpunt creëert: natuurlijke taal comprimeert kritieke visuele signalen (bijvoorbeeld precieze glyph-vormen, exacte ruimtelijke relaties en specifieke kleurbindingen) die natuurlijker en rechtstreeks worden weergegeven als visuele artefacten. Hoewel moderne tekst-naar-beeld (T2I) en tekst-naar-video (T2V) modellen snel vooruitgang hebben geboekt, hebben ze vaak moeite om beoogde visuele beperkingen te reconstrueren wanneer deze beperkingen verloren gaan tijdens de vertaling van visuele intentie naar teksttokens.

Methodologie: V2V-Zero

Het paper stelt Visual-to-Visual (V2V) generatie voor, een paradigma waarbij de gebruiker een generatief model conditioneert met behulp van een gestructureerde visuele specificatiepagina in plaats van een tekstprompt. Deze pagina fungeert als een conditioneringsdocument dat gerenderde tekst, schetsen, kleurchips, referentieafbeeldingen en ruimtelijke diagrammen bevat, en niet als een afbeelding die bewerkt of gereconstrueerd moet worden.

Om dit te realiseren zonder hertraining, introduceren de auteurs V2V-Zero, een trainingsvrij raamwerk dat bestaande Vision-Language Models (VLM's) en diffusiegeneratoren benut. Het fundamentele architecturale inzicht is dat moderne T2I/T2V-systemen (bijvoorbeeld Qwen-Image) al een VLM-conditioneringsencoder gebruiken die zowel tekst als afbeeldingen afbeeldt op een gedeelde verborgen-staatruimte die wordt verbruikt door de diffusietransformator (DiT).

Belangrijkste Technische Componenten:

1. Bevroren Architectuur: V2V-Zero werkt met bevroren gewichten. Het traint geen adapters en fine-tunt de generator niet.
2. Visuele Paginacodering: Een door de gebruiker aangeleverde visuele pagina $V$ wordt verwerkt door een bevroren VLM (bijvoorbeeld Qwen2.5-VL). De VLM behandelt de pagina als een invoersequentie, waarbij mogelijk tussenliggende redeneertokens worden gegenereerd.
3. Injectie van Verborgen Staten: In plaats van tekstembeddings aan de generator te voeren, extrahert V2V-Zero de verborgen staten van de laatste laag uit de VLM en injecteert deze direct in de conditioneringsinterface van de generator.
4. Conditioneringsmodi:
   • Image-HS-only: Injecteert alleen de visuele tokenstaten van de pagina.
   • FULL-FINAL (Standaard): Injecteert zowel de visuele tokenstaten als de verborgen staten van de laatste laag van de gegenereerde redeneertokens van de VLM. Deze modus behoudt het visuele bewijs terwijl de pagina wordt afgestemd op een generatieklaar scenario-interpretatie.
5. Mechanisme: Het raamwerk vertrouwt op de observatie dat het cross-attention-mechanisme van de DiT al is getraind om aandacht te schenken aan VLM-verborgen staten. Door tekstprompts te vervangen door verborgen staten van visuele pagina's, krijgt de generator toegang tot dezelfde conditioneringsruimte zonder architecturale wijzigingen.

Belangrijkste Bijdragen

1. V2V Paradigma Formulering: Het paper definieert V2V als een unificerend generatieparadigma waarbij gestructureerde visuele invoer dienen als het primaire conditioneringssignaal, onderscheiden van afbeeldingsbewerking of taalspecifieke controlemodules.
2. V2V-Zero Raamwerk: Een zero-shot, trainingsvrije methode die concurrerende prestaties bereikt door verborgen staten van visuele pagina's te routeren via bestaande door VLM's geconditioneerde generators.
3. Simple-V2V Bench: Een nieuw benchmark bestaande uit zeven visuele conditioneringstaken (visuele tekst, inline kleur, inline visuele referentie, tellen, stijltransfer, posecontrole en schetsreferentie) geëvalueerd over zeven modellen, waaronder commerciële systemen (GPT Image 2, Seedream 5.0 Lite) en modellen met open gewichten.
4. Mechanistische Analyse: Empirisch bewijs dat aantoont dat in het "redeneerpad" (FULL-FINAL) de DiT 95,0% van zijn aandachtsmassa voor conditioneringstokens toewijst aan de verborgen staten van het visuele voorvoegsel in plaats van aan de gegenereerde redeneertokens, wat bevestigt dat het systeem vertrouwt op directe visuele conditionering in plaats van op teksthercodering.

Experimentele Resultaten

GenEval Benchmark:

• V2V-Zero behaalt een totaalscore van 0,85 op GenEval met behulp van een bevroren Qwen-Image backbone.
• Deze prestatie komt nauw overeen met de geoptimaliseerde tekst-naar-beeld (T2I) prestatie van de backbone (0,87) zonder enige fine-tuning, wat aantoont dat visuele conditionering tekstprompts effectief kan vervangen voor compositietaken.

Simple-V2V Bench:

• V2V-Zero scoort 32,7/100 overall.
• Hiërarchie van Capaciteiten: De benchmark onthult een driedelige structuur:
  1. Attribuutbinding: Sterke prestaties (bijvoorbeeld 76,9/100 voor inline kleur), die commerciële baselines benaderen.
  2. Contentgeneratie: Onbetrouwbare prestaties voor complexe semantische generatie.
  3. Structurele Controle: Aanzienlijke moeilijkheden bij posecontrole (13,3/100) en schetsreferentie (16,6/100), zelfs voor state-of-the-art commerciële systemen.
• Video-extensie: Het toepassen van dezelfde V2V-Zero-methode op HunyuanVideo-1.5 levert een score op van 20,2/100, wat de overdraagbaarheid van het raamwerk naar T2V-generatie aantoont, zij het met lagere prestaties dan bij beeldgeneratie.

Betekenis en Claims

Het paper claimt dat V2V-Zero een latente visuele-naar-visuele route identificeert die al aanwezig is in door VLM's geconditioneerde generators. De betekenis ligt in het aantonen dat:

1. Zero-Shot Haalbaarheid: Bestaande modellen visuele specificatiepagina's kunnen accepteren als directe conditioneringsinvoer zonder hertraining, wat de noodzaak van alleen-tekst interfaces uitdaagt.
2. Architecturale Uitlijning: De resultaten suggereren dat het "redeneerpad" in deze modellen primair visueel is gerouteerd; de generator besteedt aandacht aan de visuele representatie van de pagina in plaats van te vertrouwen op de VLM om de pagina om te zetten in een tekstuele onderbouwing.
3. Toekomstige Richting: Het werk stelt dat visuele specificatie moet worden behandeld als een "eersteklas conditioneringstaal". Hoewel huidige zero-shot-methoden veelbelovend zijn, suggereert het paper dat native generators die end-to-end zijn getraind om visuele invoer als primair conditioneringssignaal te behandelen, de natuurlijke volgende stap vertegenwoordigen, met name voor het verbeteren van structurele controle en het volgen van precieze visuele instructies.

De auteurs blijven bescheiden wat betreft de huidige beperkingen, en erkennen dat hoewel attribuutbinding sterk is, structurele controle (pose, schets) een moeilijke regime blijft, zelfs voor commerciële systemen, en dat de video-extensie een voorlopige validatie is in plaats van een uitgebreide videobenchmark.