Resumo Técnico: Draw This First

Declaração do Problema

O campo da geração de esboços é diversificado, com métodos existentes que tipicamente tratam a ordem de desenho como um output intrínseco do modelo (via autorregressão ou difusão) ou como um fator não representado. As abordagens atuais frequentemente falham em expor a ordem de desenho como uma variável de forma livre e condicionada à linguagem. Além disso, muitos sistemas dependem de corpora de "doodles" de baixa qualidade, e poucos conseguem gerar esboços vetoriais que sigam estritamente instruções do usuário relativas à sequência de traços. O desafio reside em criar um sistema que possa gerar traços vetoriais ordenados a partir de texto ou imagem, permitindo que o usuário dite explicitamente a sequência de desenho (por exemplo, "desenhe a cabeça primeiro, depois o corpo") sem comprometer a fidelidade geométrica do esboço.

Metodologia

Os autores propõem uma formulação inovadora que inverte o processo típico de geração de esboços: em vez de prever traços sequencialmente, o modelo prevê um campo 2D que define a ordem em que os traços são desenhados. O pipeline consiste em três componentes principais:

1. Conjunto de Dados e Anotação

O modelo é treinado em um corpus encomendado de 47.318 desenhos artísticos feitos à mão de alta qualidade, excedendo significativamente a qualidade dos conjuntos de dados de doodles existentes.

• Anotação Hierárquica: Cada desenho é anotado com uma hierarquia de caixas delimitadoras de dois níveis (região e objeto).
• Legendas de Ordem: Os autores sintetizam legendas descritivas de ordem que especificam a sequência de visitas a regiões nomeadas (ex: "caixa1 esquerda, depois caixa2, depois caixa1 direita, revisitada").
• Estratégia de Permutação: Para ensinar o modelo a seguir ordens arbitrárias, a ordem de traço alvo é permutada enquanto preserva a ordem natural dentro das regiões (contorno bruto para detalhes). As legendas são programaticamente regeneradas para corresponder à ordem permutada, criando pares supervisionados por ordem. Isso decorrelaciona deliberadamente a ordem da geometria durante o treinamento.

2. Representação Intermediária Ordem-como-Cor

Para permitir o treinamento dentro de um espaço latente de imagem pré-treinado, os autores constroem uma representação intermediária nativa de imagem usando um codec ordem-como-cor:

• Arco Global ($a$): Representa o progresso total do desenho de 0 a 1.
• Arco Dentro do Traço ($u$): Representa o progresso dentro de um traço específico.
• Codificação: O esboço é codificado em uma imagem HSV onde:
  • Matiz ($H$): Codifica o arco global ($a \cdot 342/360$).
  • Saturação ($S$): Codifica a máscara de primeiro plano ($1$).
  • Valor ($V$): Codifica o arco dentro do traço ($1 - u/2$).
• Isso resulta em uma "imagem de codec" rasterizada onde a ordem de desenho é visualmente codificada como um varrimento de cor.

3. Arquitetura do Modelo

O sistema utiliza um transformer de fluxo de correspondência latente pré-treinado (baseado em Qwen-Image-Edit-2509) e um decodificador customizado:

• Gerador (DiT): Um Diffusion Transformer adaptado com LoRA (Rank-64) é treinado para gerar a representação latente da imagem do codec a partir de condições de texto ou imagem.
• Decodificador Nativo de Ordem: Um decodificador VAE ajustado lê o latente gerado e emite três alvos:
  1. Campo de Arco Global ($a'$): O campo de ordem previsto.
  2. Máscara de Primeiro Plano ($m'$): A máscara do traço.
  3. Embeddings de Instância ($e'$): Embeddings de oito dimensões para segmentação de traços.
• Vetorização: Os outputs do decodificador são processados sem um rastreador aprendido. O HDBSCAN agrupa os embeddings para segmentar os traços. Esses clusters são ordenados pelo arco médio previsto. Dentro de cada cluster, uma caminhada de vizinho mais próximo extrai os pixels, que são então suavizados e simplificados usando Ramer-Douglas-Peucker (RDP) para produzir a polilinha vetorial ordenada final.

Contribuições Principais

1. Formulação Invertida: O artigo introduz um método onde o modelo prevê um campo de ordem 2D em vez de uma sequência de traços, permitindo que a ordem seja uma variável controlável e condicionada à linguagem.
2. Codec Ordem-como-Cor: Um esquema de codificação inovador que mapeia o progresso do desenho para canais de cor HSV, permitindo o uso de modelos de difusão de imagem pré-treinados para geração de esboços sequenciais.
3. Conjunto de Dados de Alta Qualidade: A criação de um conjunto de dados de 47 mil imagens de desenhos de artistas profissionais com anotações de caixas delimitadoras hierárquicas e legendas de ordem sintetizadas.
4. Seguimento de Instruções: A capacidade de gerar esboços que seguem instruções de ordem de desenho, com a adesão variando conforme a granularidade da instrução (confiável no nível de região, mas degradando nos níveis de parte e passagem).

Resultados

O modelo foi avaliado em dados não vistos do conjunto de treinamento e conjuntos de dados externos (Creative Birds, Creative Creatures, FS-COCO, QuickDraw).

• Precisão de Ordem:
  • Quando fornecida uma instrução de ordem, o modelo atinge um Kendall $\tau$ de 0,449 em dados de domínio interno e 0,373 em dados fora de domínio, superando significativamente os baselines de apenas geometria (0,096).
  • A reversão da instrução inverte com sucesso a ordem de desenho (Kendall $\tau$ de $-0,267$), demonstrando que o texto, e não a imagem, impulsiona a sequência.
  • A adesão depende fortemente da granularidade da instrução: instruções de nível de região são seguidas de forma confiável ($\tau \approx 0,84$), mas a adesão cai para 0,46 no nível de parte e 0,44 no nível de passagem.
  • O controle é adicionalmente limitado pela estrutura da legenda; uma restrição final única é frequentemente totalmente perdida (ex: uma região nomeada desenhada primeiro é ignorada 68,5% das vezes quando anexada a uma legenda completa), e reverter instruções que conflitam com a ordem de menção da descrição causa uma queda significativa na adesão.
  • O "teto do decodificador" (usando latentes de verdade fundamental) mostra um potencial Kendall $\tau$ de 0,91–0,94, indicando que o gargalo reside na capacidade do modelo generativo de prever o latente, não no processo de vetorização.
• Preservação da Geometria:
  • Intervenções de ordem não alteram a geometria. As taxas de correspondência de traço permanecem altas (0,89–0,95) e o IoU da máscara permanece estável independentemente da instrução de ordem.
  • O modelo retém as capacidades de geração de vocabulário aberto do prior pré-treinado, alcançando pontuações de reconhecimento CLIP Top-1 de 0,70 em categorias não vistas do QuickDraw.
• Limitações Observadas:
  • Granularidade: O controle degrada significativamente conforme a granularidade da instrução aumenta. Embora a ordem de nível de região seja seguida de forma confiável, a adesão de nível de parte/passagem cai para $\approx 0,45$, e o acordo de ordem dentro da unidade é próximo de zero.
  • Fragmentação: O processo de vetorização recupera caminhos com 1,7–2,5$\times$ a contagem real de traços, resultando em traços fragmentados.
  • Perda de Informação: O objetivo descarta tempo, pressão, inclinação e largura do pincel, produzando linhas centrais de 1px sem peso.
  • Ausência de Prior Intrínseco: Devendo à estratégia de treinamento, o modelo não possui um prior de ordem global humano-verificável quando nenhuma instrução é dada; ele depende de heurísticas ou da ordem de menção da legenda.

Significância e Alegações

O artigo afirma apresentar um sistema que consegue reverter o desenho de forma fiel e manter as fortes capacidades de geração de texto-para-esboço do modelo pré-treinado subjacente, adicionando a nova capacidade de seguir instruções de texto explícitas para a ordem de desenho.

Os autores enfatizam que esta abordagem faz a ponte entre a geração baseada em raster e o output vetorial, permitindo "caminhos de polilinha reproduzíveis" onde a sequência é uma variável de linguagem de forma livre. Eles afirmam que o modelo pode seguir instruções especificando ordens arbitrárias, mesmo quando essas ordens contradizem a sequência registrada do artista, provando que a ordem pode ser desvinculada da geometria e controlada via linguagem natural. No entanto, eles permanecem modestos quanto às limitações, reconhecendo que o controle é limitado pelo tamanho da unidade usado na permutação de treinamento, que a adesão degrada significativamente em granularidades mais finas (nível de parte/passagem) e que restrições finais em legendas são frequentemente perdidas. Eles também observam que o output atual carece da rica dinâmica de traço (pressão, largura) do input original.