💻 computer science

Beyond Text Prompts: Visual-to-Visual Generation as A Unified Paradigm

Este artículo presenta **V2V-Zero**, un marco de trabajo sin entrenamiento que habilita la generación de visual a visual al condicionar modelos de visión y lenguaje existentes en páginas de especificación visual en lugar de indicaciones textuales, demostrando que este paradigma unificado logra un rendimiento competitivo mientras revela las limitaciones actuales en la generación de contenido y el control estructural en modelos de imagen y video.

Autores originales: Yaofang Liu, Kangning Cui, Meng Chu, Zhaoqing Li, Suiyun Zhang, Jean-Michel Morel, Xiaodong Cun, Haoxuan Che, Rui Liu, Raymond H. Chan

Publicado 2026-05-13

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yaofang Liu, Kangning Cui, Meng Chu, Zhaoqing Li, Suiyun Zhang, Jean-Michel Morel, Xiaodong Cun, Haoxuan Che, Rui Liu, Raymond H. Chan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: Deja de Describir, Empieza a Mostrar

Imagina que eres un arquitecto intentando decirle a un constructor qué construir.

La Vieja Forma (Texto a Imagen): Escribes una carta larga y detallada describiendo la casa. Dices: "Debería ser azul, con tres ventanas a la izquierda, una puerta roja y una chimenea con forma de gato". El constructor (la IA) tiene que leer tus palabras, adivinar cómo se ve el "azul", imaginar la "chimenea con forma de gato" y esperar que acierte el diseño. A menudo, se equivoca porque las palabras son difusas.
La Nueva Forma (Visual a Visual / V2V): En lugar de una carta, le entregas al constructor un plano. Este plano no es una foto de la casa terminada para copiar; es una hoja de especificaciones. Tiene una muestra de pintura azul, un boceto de la chimenea con forma de gato, un diagrama que muestra exactamente dónde van las ventanas y una foto de la puerta roja. El constructor mira esta hoja y construye exactamente lo que se muestra.

Este artículo introduce V2V-Zero, un método que te permite dar a los generadores de IA estos "planos" (páginas visuales) en lugar de indicaciones de texto.

Cómo Funciona: El "Traductor Mágico"

Los investigadores no construyeron una IA nueva desde cero. En su lugar, encontraron un atajo inteligente utilizando tecnología existente.

El Proceso de Dos Pasos:
- Imagina que tienes un Traductor (un Modelo de Visión-Lenguaje, o VLM) que es excelente mirando imágenes y entendiendo qué significan.
- Imagina que tienes un Constructor (un Modelo de Difusión) que es excelente creando imágenes, pero que usualmente solo escucha las palabras habladas del Traductor.
- El Truco: Los investigadores se dieron cuenta de que el Traductor ya convierte las imágenes en un "código" secreto (estados ocultos) que el Constructor entiende. Usualmente, el Traductor solo convierte el texto en este código.
- La Innovación: Simplemente le dijeron al Traductor: "Oye, mira esta página de plano visual en lugar de una indicación de texto. Dale al Constructor el código que hiciste a partir de la imagen".
- Resultado: El Constructor recibe el "código" del plano y construye la imagen basándose en las instrucciones visuales, sin necesidad de ser reentrenado. Es como cambiar el idioma que escucha el Constructor, sin cambiar sus oídos.

El Superpoder "Zero-Shot"

El artículo llama a esto "Zero-Shot" y "Sin Entrenamiento".
Piensa en ello como darle a un chef una nueva tarjeta de receta. Usualmente, para enseñarle a un chef un nuevo estilo, tienes que enviarlo a la escuela de cocina (entrenamiento). Aquí, los investigadores simplemente le entregaron al chef una nueva tarjeta con imágenes en lugar de palabras. El chef ya sabía cómo leer los ingredientes (el código visual); solo necesitaba que le mostraran los ingredientes en un formato diferente. El chef no necesitó ir a la escuela; solo necesitó un nuevo menú.

Lo Que Probaron (El "Simple-V2V Bench")

Para ver si esto realmente funciona, crearon una prueba llamada Simple-V2V Bench. Es como un examen de conducir para la IA, pero en lugar de conducir un coche, la IA tiene que seguir instrucciones visuales.

Probaron siete tipos de "planos":

Color en Línea: Un pequeño cuadrado azul en las instrucciones.
Referencia Visual: Una foto de un perro específico para copiar.
Texto Visual: Una palabra escrita en una fuente específica para reproducir.
Conteo: Una imagen que muestra exactamente 3 manzanas.
Estilo: Una pintura para copiar su estilo.
Postura: Un dibujo de esqueleto de la postura de una persona.
Boceto: Un dibujo tosco para convertir en una imagen real.

Los Resultados: La Realidad de "Tres Niveles"

Los resultados fueron una mezcla de "¡Guau!" y "Aún no". Encontraron una jerarquía clara de dificultad:

Lo Fácil (Fuerte): La IA fue muy buena en vincular atributos. Si mostrabas un cuadrado azul, hacía un objeto azul. Si mostrabas una foto específica de un perro, hacía ese perro. También podía copiar bien los estilos de texto.
- Analogía: El constructor es excelente pintando las paredes del color exacto que mostraste en la muestra.
Lo Difícil (Poco Confiable): Cuando se le pidió generar contenido específico basado en señales visuales complejas, tuvo dificultades.
- Analogía: El constructor a veces pinta el número incorrecto de ventanas o pone la puerta en el techo.
Lo Más Difícil (Difícil): El control estructural (como seguir un boceto de postura o un diagrama de diseño) fue el eslabón más débil. Incluso los mejores sistemas comerciales (como GPT Image 2) tuvieron dificultades para seguir un dibujo de palitos perfectamente.
- Analogía: El constructor a menudo ignora el plano de planta y construye la casa al revés, incluso si los colores son correctos.

La Extensión de Video

También probaron esto en un generador de video (HunyuanVideo). Le entregaron un plano visual y pidieron un video. Funcionó, pero los resultados fueron aún más bajos que en las imágenes.

Analogía: Pedirle al constructor que construya una casa en movimiento basada en un plano es aún más difícil que construir una estática. El constructor acertó los colores pero falló en el movimiento.

El Descubrimiento de la "Salsa Secreta"

Los investigadores miraron bajo el capó para ver por qué funcionaba. Descubrieron que la IA en realidad no estaba "pensando" en la imagen y convirtiéndola en una frase en su cabeza.

El Hallazgo: El 95% de las veces, la IA estaba mirando directamente al código visual del plano. No estaba ignorando la imagen para escribir una descripción primero; estaba leyendo el "ADN" de la imagen directamente.
Analogía: Es como si el constructor no estuviera leyendo una carta describiendo la casa; estuviera mirando el diagrama de cableado del plano y siguiendo los cables directamente.

Resumen

Este artículo propone una nueva forma de hablar con la IA: Muestra, no cuentes.

Qué es: Un método para usar páginas visuales (planos con colores, bocetos y fotos) como instrucciones en lugar de texto.
Cómo funciona: Utiliza herramientas de IA existentes de una manera inteligente, intercambiando las entradas de texto por entradas visuales sin necesidad de reentrenar los modelos.
Qué puede hacer: Es excelente copiando colores, estilos y objetos específicos.
Qué aún no puede hacer: Todavía tiene dificultades con diseños complejos, conteos exactos y seguir bocetos detallados de postura.

El artículo concluye que, aunque actualmente vivimos en un mundo "primero texto", la tecnología ya está lista para entender instrucciones "primero visual", abriendo la puerta a un futuro donde diseñamos con imágenes en lugar de párrafos.

Resumen Técnico: Más allá de los Prompts de Texto: La Generación Visual-a-Visual como Paradigma Unificado

Declaración del Problema

Los sistemas actuales de generación visual dependen predominantemente de una interfaz "texto-primero", que requiere que los usuarios serialicen intenciones visuales complejas —como diseños espaciales, muestras de color exactas, tipografía y bocetos estructurales— en prompts de lenguaje natural. Los autores argumentan que este paradigma crea un cuello de botella: el lenguaje natural comprime señales visuales críticas (por ejemplo, formas precisas de glifos, relaciones espaciales exactas y vinculaciones de color específicas) que se representan de manera más natural y directa como artefactos visuales. Aunque los modelos modernos de texto a imagen (T2I) y texto a video (T2V) han avanzado rápidamente, a menudo luchan por reconstruir las restricciones visuales pretendidas cuando dichas restricciones se pierden durante la traducción de la intención visual a tokens de texto.

Metodología: V2V-Zero

El artículo propone la generación Visual-a-Visual (V2V), un paradigma donde el usuario condiciona un modelo generativo utilizando una página de especificación visual estructurada en lugar de un prompt de texto. Esta página actúa como un documento de condicionamiento que contiene texto renderizado, bocetos, muestras de color, imágenes de referencia y diagramas espaciales, en lugar de ser una imagen que deba editarse o reconstruirse.

Para lograr esto sin reentrenamiento, los autores introducen V2V-Zero, un marco libre de entrenamiento que aprovecha los Modelos de Visión-Lenguaje (VLM) existentes y los generadores de difusión. La idea central arquitectónica es que los sistemas modernos T2I/T2V (por ejemplo, Qwen-Image) ya utilizan un codificador de condicionamiento VLM que mapea tanto texto como imágenes en un espacio de estado oculto compartido consumido por el transformador de difusión (DiT).

Componentes Técnicos Clave:

Arquitectura Congelada: V2V-Zero opera con pesos congelados. No entrena adaptadores ni ajusta finamente el generador.
Codificación de Página Visual: Una página visual $V$ proporcionada por el usuario es procesada por un VLM congelado (por ejemplo, Qwen2.5-VL). El VLM trata la página como una secuencia de entrada, potencialmente generando tokens de razonamiento intermedios.
Inyección de Estado Oculto: En lugar de alimentar al generador con incrustaciones de texto, V2V-Zero extrae los estados ocultos de la última capa del VLM y los inyecta directamente en la interfaz de condicionamiento del generador.
Modos de Condicionamiento:
- Solo HS-Imagen: Inyecta únicamente los estados de tokens visuales de la página.
- FULL-FINAL (Predeterminado): Inyecta tanto los estados de tokens visuales como los estados ocultos de la última capa de los tokens de razonamiento generados por el VLM. Este modo preserva la evidencia visual mientras alinea la página con una interpretación de escena lista para la generación.
Mecanismo: El marco se basa en la observación de que el mecanismo de atención cruzada del DiT ya está entrenado para atender a los estados ocultos del VLM. Al reemplazar los prompts de texto con estados ocultos de páginas visuales, el generador accede al mismo espacio de condicionamiento sin cambios arquitectónicos.

Contribuciones Clave

Formulación del Paradigma V2V: El artículo define V2V como un paradigma de generación unificado donde las entradas visuales estructuradas sirven como la señal de condicionamiento principal, distinta de la edición de imágenes o módulos de control específicos de tareas.
Marco V2V-Zero: Un método de cero disparos y libre de entrenamiento que logra un rendimiento competitivo al enrutar los estados ocultos de páginas visuales a través de generadores condicionados por VLM existentes.
Bench Simple-V2V: Una nueva prueba de referencia que comprende siete tareas de condicionamiento visual (texto visual, color en línea, referencia visual en línea, conteo, transferencia de estilo, control de pose y referencia de boceto) evaluadas en siete modelos, incluidos sistemas comerciales (GPT Image 2, Seedream 5.0 Lite) y modelos de pesos abiertos.
Análisis Mecanístico: Evidencia empírica que muestra que en la "ruta de razonamiento" (FULL-FINAL), el DiT asigna el 95,0% de su masa de atención de tokens de condicionamiento a los estados ocultos del prefijo visual en lugar de a los tokens de razonamiento generados, confirmando que el sistema depende del condicionamiento visual directo en lugar de la recodificación de texto.

Resultados Experimentales

Prueba de Referencia GenEval:

V2V-Zero logra una puntuación general de 0,85 en GenEval utilizando un esqueleto Qwen-Image congelado.
Este rendimiento coincide estrechamente con el rendimiento optimizado de texto a imagen (T2I) del esqueleto (0,87) sin ningún ajuste fino, demostrando que el condicionamiento visual puede reemplazar eficazmente los prompts de texto para tareas composicionales.

Prueba de Referencia Simple-V2V:

V2V-Zero obtiene una puntuación general de 32,7/100.
Jerarquía de Capacidades: La prueba de referencia revela una estructura de tres niveles:
1. Vinculación de Atributos: Rendimiento sólido (por ejemplo, 76,9/100 en color en línea), acercándose a las líneas base comerciales.
2. Generación de Contenido: Rendimiento poco fiable para la generación semántica compleja.
3. Control Estructural: Dificultad significativa en el control de pose (13,3/100) y referencia de boceto (16,6/100), incluso para sistemas comerciales de última generación.
Extensión a Video: Aplicar el mismo método V2V-Zero a HunyuanVideo-1.5 produce una puntuación de 20,2/100, demostrando la transferibilidad del marco a la generación T2V, aunque con un rendimiento inferior al de la generación de imágenes.

Significado y Afirmaciones

El artículo afirma que V2V-Zero identifica una ruta visual-a-visual latente ya presente en los generadores condicionados por VLM. El significado radica en demostrar que:

Viabilidad de Cero Disparos: Los modelos existentes pueden aceptar páginas de especificación visual como entradas de condicionamiento directas sin reentrenamiento, desafiando la necesidad de interfaces de solo texto.
Alineación Arquitectónica: Los resultados sugieren que la "ruta de razonamiento" en estos modelos está principalmente enrutada visualmente; el generador atiende a la representación visual de la página en lugar de depender del VLM para convertir la página en una justificación textual.
Dirección Futura: El trabajo postula que la especificación visual debe tratarse como un "lenguaje de condicionamiento de primera clase". Si bien los métodos actuales de cero disparos muestran promesa, el artículo sugiere que los generadores nativos entrenados de extremo a extremo para tratar la entrada visual como una señal de condicionamiento principal representan el siguiente paso natural, particularmente para mejorar el control estructural y el seguimiento preciso de instrucciones visuales.

Los autores mantienen una postura modesta respecto a las limitaciones actuales, reconociendo que, si bien la vinculación de atributos es sólida, el control estructural (pose, boceto) sigue siendo un régimen difícil incluso para sistemas comerciales, y la extensión a video es una validación preliminar en lugar de una prueba de referencia de video comprehensiva.