💻 computer science

Beyond Text Prompts: Visual-to-Visual Generation as A Unified Paradigm

Este artigo apresenta o **V2V-Zero**, um framework sem treinamento que possibilita a geração visual a partir de visual, condicionando modelos de visão e linguagem existentes a páginas de especificação visual em vez de prompts de texto, demonstrando que esse paradigma unificado alcança desempenho competitivo ao mesmo tempo que revela limitações atuais na geração de conteúdo e no controle estrutural em modelos de imagem e vídeo.

Autores originais: Yaofang Liu, Kangning Cui, Meng Chu, Zhaoqing Li, Suiyun Zhang, Jean-Michel Morel, Xiaodong Cun, Haoxuan Che, Rui Liu, Raymond H. Chan

Publicado 2026-05-13

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yaofang Liu, Kangning Cui, Meng Chu, Zhaoqing Li, Suiyun Zhang, Jean-Michel Morel, Xiaodong Cun, Haoxuan Che, Rui Liu, Raymond H. Chan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Pare de Descrever, Comece a Mostrar

Imagine que você é um arquiteto tentando dizer a um construtor o que construir.

O Jeito Antigo (Texto para Imagem): Você escreve uma carta longa e detalhada descrevendo a casa. Você diz: "Deve ser azul, com três janelas à esquerda, uma porta vermelha e uma chaminé com formato de gato." O construtor (a IA) precisa ler suas palavras, adivinhar como é o "azul", imaginar a "chaminé com formato de gato" e torcer para acertar o layout. Muitas vezes, eles erram porque as palavras são vagas.
O Jeito Novo (Visual para Visual / V2V): Em vez de uma carta, você entrega ao construtor uma planta baixa. Essa planta baixa não é uma foto da casa pronta para copiar; é uma ficha de especificações. Ela tem uma amostra de tinta azul, um esboço da chaminé em formato de gato, um diagrama mostrando exatamente onde as janelas vão e uma foto da porta vermelha. O construtor olha para essa folha e constrói exatamente o que está mostrado.

Este artigo apresenta o V2V-Zero, um método que permite dar aos geradores de IA essas "plantas baixas" (páginas visuais) em vez de prompts de texto.

Como Funciona: O "Tradutor Mágico"

Os pesquisadores não construíram uma nova IA do zero. Em vez disso, encontraram um atalho inteligente usando tecnologia existente.

O Processo de Dois Passos:
- Imagine que você tem um Tradutor (um Modelo Visão-Linguagem, ou VLM) que é ótimo em olhar para imagens e entender o que elas significam.
- Imagine que você tem um Construtor (um Modelo de Difusão) que é ótimo em criar imagens, mas geralmente só escuta as palavras faladas do Tradutor.
- O Truque: Os pesquisadores perceberam que o Tradutor já transforma imagens em um "código" secreto (estados ocultos) que o Construtor entende. Normalmente, o Tradutor só transforma texto nesse código.
- A Inovação: Eles simplesmente disseram ao Tradutor: "Ei, olhe para esta página de planta baixa visual em vez de um prompt de texto. Dê ao Construtor o código que você criou a partir da imagem."
- Resultado: O Construtor recebe o "código" da planta baixa e cria a imagem com base nas instruções visuais, sem precisar ser re-treinado. É como trocar o idioma que o Construtor escuta, sem mudar os ouvidos dele.

O Superpoder "Zero-Shot"

O artigo chama isso de "Zero-Shot" e "Sem Treinamento".
Pense nisso como dar a um chef um novo cartão de receita. Normalmente, para ensinar a um chef um novo estilo, você tem que mandá-lo para a escola de culinária (treinamento). Aqui, os pesquisadores apenas entregaram ao chef um novo cartão com imagens em vez de palavras. O chef já sabia como ler os ingredientes (o código visual); ele só precisava que os ingredientes lhe fossem mostrados em um formato diferente. O chef não precisou ir à escola; ele só precisou de um novo cardápio.

O Que Eles Testaram (O "Simple-V2V Bench")

Para ver se isso realmente funciona, eles criaram um teste chamado Simple-V2V Bench. É como uma prova de direção para IA, mas em vez de dirigir um carro, a IA tem que seguir instruções visuais.

Eles testaram sete tipos de "plantas baixas":

Cor Inline: Um pequeno quadrado azul nas instruções.
Referência Visual: Uma foto de um cachorro específico para copiar.
Texto Visual: Uma palavra escrita em uma fonte específica para reproduzir.
Contagem: Uma imagem mostrando exatamente 3 maçãs.
Estilo: Uma pintura para copiar o estilo.
Pose: Um desenho de esqueleto da pose de uma pessoa.
Esboço: Um desenho rústico para transformar em uma imagem real.

Os Resultados: A Realidade de "Três Níveis"

Os resultados foram uma mistura de "Uau!" e "Ainda não". Eles encontraram uma hierarquia clara de dificuldade:

As Coisas Fáceis (Forte): A IA foi muito boa em vincular atributos. Se você mostrasse um quadrado azul, ela criava um objeto azul. Se mostrasse uma foto específica de um cachorro, ela criava aquele cachorro. Ela também conseguia copiar bem estilos de texto.
- Analogia: O construtor é ótimo em pintar as paredes exatamente na cor que você amostrou.
As Coisas Difíceis (Não Confiável): Quando solicitado a gerar conteúdo específico com base em pistas visuais complexas, ele lutou.
- Analogia: O construtor às vezes pinta o número errado de janelas ou coloca a porta no telhado.
As Coisas Mais Difíceis (Difícil): O controle estrutural (como seguir um esboço de pose ou um diagrama de layout) foi o elo mais fraco. Mesmo os melhores sistemas comerciais (como GPT Image 2) lutaram para seguir perfeitamente um desenho de palito.
- Analogia: O construtor frequentemente ignora a planta baixa e constrói a casa de cabeça para baixo, mesmo que as cores estejam certas.

A Extensão para Vídeo

Eles também tentaram isso em um gerador de vídeo (HunyuanVideo). Eles entregaram a ele uma planta baixa visual e pediram um vídeo. Funcionou, mas os resultados foram ainda piores do que nas imagens.

Analogia: Pedir ao construtor para construir uma casa em movimento com base em uma planta baixa é ainda mais difícil do que construir uma estática. O construtor acertou as cores, mas bagunçou o movimento.

A Descoberta do "Segredo"

Os pesquisadores olharam sob o capô para ver por que funcionou. Eles descobriram que a IA não estava realmente "pensando" na imagem e transformando-a em uma frase na cabeça dela.

A Descoberta: 95% das vezes, a IA estava olhando diretamente para o código visual da planta baixa. Ela não estava ignorando a imagem para escrever uma descrição primeiro; ela estava lendo o "DNA" da imagem diretamente.
Analogia: É como se o construtor não estivesse lendo uma carta descrevendo a casa; ele estava olhando para o diagrama de fiação da planta baixa e seguindo os fios diretamente.

Resumo

Este artigo propõe uma nova maneira de falar com a IA: Mostre, não conte.

O que é: Um método para usar páginas visuais (plantas baixas com cores, esboços e fotos) como instruções em vez de texto.
Como funciona: Usa ferramentas de IA existentes de maneira inteligente, trocando entradas de texto por entradas visuais sem precisar re-treinar os modelos.
O que pode fazer: É excelente em copiar cores, estilos e objetos específicos.
O que ainda não pode fazer: Ainda luta com layouts complexos, contagens exatas e seguir esboços detalhados de pose.

O artigo conclui que, embora atualmente estejamos em um mundo "texto-primeiro", a tecnologia já está pronta para entender instruções "visual-primeiro", abrindo a porta para um futuro onde projetamos com imagens em vez de parágrafos.

Resumo Técnico: Além dos Prompts de Texto: Geração Visual-a-Visual como Paradigma Unificado

Declaração do Problema

Os sistemas atuais de geração visual dependem predominantemente de uma interface "texto-primeiro", exigindo que os usuários sequencializem intenções visuais complexas — como layouts espaciais, amostras de cores exatas, tipografia e esboços estruturais — em prompts de linguagem natural. Os autores argumentam que esse paradigma cria um gargalo: a linguagem natural comprime sinais visuais críticos (por exemplo, formas precisas de glifos, relações espaciais exatas e ligações de cores específicas) que são mais naturalmente e diretamente representados como artefatos visuais. Embora os modelos modernos de texto-para-imagem (T2I) e texto-para-vídeo (T2V) tenham avançado rapidamente, eles frequentemente lutam para reconstruir restrições visuais pretendidas quando essas restrições são perdidas durante a tradução da intenção visual para tokens de texto.

Metodologia: V2V-Zero

O artigo propõe a geração Visual-a-Visual (V2V), um paradigma onde o usuário condiciona um modelo generativo usando uma página de especificação visual estruturada, em vez de um prompt de texto. Esta página atua como um documento de condicionamento contendo texto renderizado, esboços, amostras de cores, imagens de referência e diagramas espaciais, em vez de uma imagem a ser editada ou reconstruída.

Para realizar isso sem re-treinamento, os autores introduzem o V2V-Zero, um framework sem treinamento que aproveita Modelos Visão-Linguagem (VLMs) e geradores de difusão existentes. A principal insight arquitetural é que os sistemas modernos T2I/T2V (por exemplo, Qwen-Image) já utilizam um codificador de condicionamento VLM que mapeia tanto texto quanto imagens para um espaço de estado oculto compartilhado consumido pelo transformador de difusão (DiT).

Componentes Técnicos Principais:

Arquitetura Congelada: O V2V-Zero opera com pesos congelados. Ele não treina adaptadores nem faz ajuste fino no gerador.
Codificação de Página Visual: Uma página visual $V$ fornecida pelo usuário é processada por um VLM congelado (por exemplo, Qwen2.5-VL). O VLM trata a página como uma sequência de entrada, potencialmente gerando tokens de raciocínio intermediários.
Injeção de Estado Oculto: Em vez de alimentar o gerador com embeddings de texto, o V2V-Zero extrai os estados ocultos da camada final do VLM e os injeta diretamente na interface de condicionamento do gerador.
Modos de Condicionamento:
- Apenas-HS-Imagem: Injeta apenas os estados de tokens visuais da página.
- FULL-FINAL (Padrão): Injeta tanto os estados de tokens visuais quanto os estados ocultos da camada final dos tokens de raciocínio gerados pelo VLM. Este modo preserva a evidência visual enquanto alinha a página com uma interpretação de cena pronta para geração.
Mecanismo: O framework baseia-se na observação de que o mecanismo de atenção cruzada do DiT já está treinado para atender aos estados ocultos do VLM. Ao substituir prompts de texto por estados ocultos de página visual, o gerador acessa o mesmo espaço de condicionamento sem alterações arquitetônicas.

Contribuições Principais

Formulação do Paradigma V2V: O artigo define o V2V como um paradigma unificado de geração onde entradas visuais estruturadas servem como o sinal de condicionamento primário, distinto de edição de imagem ou módulos de controle específicos de tarefa.
Framework V2V-Zero: Um método zero-shot e sem treinamento que alcança desempenho competitivo roteando estados ocultos de página visual através de geradores condicionados por VLM existentes.
Bench Simple-V2V: Um novo benchmark composto por sete tarefas de condicionamento visual (texto visual, cor inline, referência visual inline, contagem, transferência de estilo, controle de pose e referência de esboço) avaliados em sete modelos, incluindo sistemas comerciais (GPT Image 2, Seedream 5.0 Lite) e modelos de pesos abertos.
Análise Mecanística: Evidência empírica mostrando que, no "caminho de raciocínio" (FULL-FINAL), o DiT atribui 95,0% de sua massa de atenção de tokens de condicionamento aos estados ocultos do prefixo visual, em vez dos tokens de raciocínio gerados, confirmando que o sistema depende de condicionamento visual direto e não de re-codificação textual.

Resultados Experimentais

Bench GenEval:

O V2V-Zero alcança uma pontuação geral de 0,85 no GenEval usando um backbone Qwen-Image congelado.
Este desempenho corresponde estreitamente ao desempenho otimizado texto-para-imagem (T2I) do backbone (0,87) sem qualquer ajuste fino, demonstrando que o condicionamento visual pode substituir efetivamente prompts de texto para tarefas composicionais.

Bench Simple-V2V:

O V2V-Zero pontua 32,7/100 no total.
Hierarquia de Capacidades: O benchmark revela uma estrutura de três níveis:
1. Vinculação de Atributos: Desempenho forte (por exemplo, 76,9/100 em cor inline), aproximando-se de baselines comerciais.
2. Geração de Conteúdo: Desempenho não confiável para geração semântica complexa.
3. Controle Estrutural: Dificuldade significativa no controle de pose (13,3/100) e referência de esboço (16,6/100), mesmo para sistemas comerciais de última geração.
Extensão para Vídeo: Aplicar o mesmo método V2V-Zero ao HunyuanVideo-1.5 resulta em uma pontuação de 20,2/100, demonstrando a transferibilidade do framework para geração T2V, embora com desempenho inferior à geração de imagens.

Significado e Afirmações

O artigo afirma que o V2V-Zero identifica uma rota latente visual-a-visual já presente em geradores condicionados por VLM. O significado reside em demonstrar que:

Viabilidade Zero-Shot: Modelos existentes podem aceitar páginas de especificação visual como entradas de condicionamento diretas sem re-treinamento, desafiando a necessidade de interfaces apenas de texto.
Alinhamento Arquitetural: Os resultados sugerem que o "caminho de raciocínio" nesses modelos é primariamente roteado visualmente; o gerador atende à representação visual da página em vez de depender do VLM para converter a página em uma rationale textual.
Direção Futura: O trabalho postula que a especificação visual deve ser tratada como uma "linguagem de condicionamento de primeira classe". Embora os métodos zero-shot atuais mostrem promessa, o artigo sugere que geradores nativos treinados de ponta a ponta para tratar a entrada visual como um sinal de condicionamento primário representam o próximo passo natural, particularmente para melhorar o controle estrutural e o seguimento preciso de instruções visuais.

Os autores permanecem modestos quanto às limitações atuais, reconhecendo que, embora a vinculação de atributos seja forte, o controle estrutural (pose, esboço) permanece um regime difícil mesmo para sistemas comerciais, e a extensão para vídeo é uma validação preliminar em vez de um benchmark abrangente de vídeo.