Resumo Técnico: DreamOmni3 – Edição e Geração Baseadas em Rabiscos (Scribbles)

1. Declaração do Problema

Modelos unificados recentes de geração e edição alcançaram um sucesso significativo ao dependerem primordialmente de prompts de texto. No entanto, os autores identificam uma limitação crítica: a linguagem natural frequentemente falha em capturar com precisão os locais de edição pretendidos, distinguir entre múltiplos objetos idênticos ou transmitir detalhes visuais de granularidade fina. Embora a anotação manual (ex: máscaras binárias) seja uma alternativa comum, ela apresenta desafios em cenários complexos envolvendo múltiplas regiões, pois as máscaras binárias são computacionalmente dispendiosas para gerenciar em múltiplas áreas e difíceis de descrever via instruções de linguagem natural. Além disso, os usuários desejam interações mais flexíveis e criativas, como desenhar diretamente em uma interface para indicar modificações. Os modelos unificados atuais carecem da capacidade de interpretar efetivamente esses rabiscos manuais combinados com instruções de texto e imagem.

2. Metodologia

2.1 Definição de Tarefas

O artigo define duas novas tarefas principais para preencher a lacuna entre a intenção do usuário e a execução do modelo:

1. Edição Baseada em Rabiscos: Modificar imagens existentes com base em rabiscos. Isso é categorizado em quatro subtarefas:
   • Edição baseada em rabisco e instrução.
   • Edição baseada em rabisco e instrução multimodal (combinando texto, imagem de origem e imagem de referência).
   • Fusão de imagem (inserir objetos de uma imagem de referência em uma imagem de origem com base em rabiscos).
   • Edição de Doodle (modificar uma imagem com base em um esboço desenhado pelo usuário).
2. Geração Baseada em Rabiscos: Criar novo conteúdo com base em rabiscos. Isso inclui:
   • Geração baseada em rabisco e instrução.
   • Geração baseada em rabisco e instrução multimodal.
   • Geração de Doodle (gerar uma imagem a partir de um esboço em uma tela em branco).

2.2 Pipeline de Síntese de Dados

Reconhecendo a falta de dados de treinamento para essas tarefas específicas, os autores propõem um pipeline abrangente de síntese de dados aproveitando o dataset existente DreamOmni2:

• Dados de Edição Baseada em Rabiscos:
  • Multimodal/Baseado em Instrução: Utiliza o serviço Referseg para localizar objetos em imagens de origem e de referência. Formas desenhadas à mão (círculos, caixas) ou imagens recortadas são sobrepostas a essas localizações para criar imagens "S-Reference" e "S-Source".
  • Fusão de Imagem: Objetos são recortados de imagens de referência e colados na imagem de origem nas posições correspondentes.
  • Edição de Doodle: Objetos são extraídos e convertidos em esboços abstratos (usando GPT-Image-1 em vez de detecção de borda Canny para acomodar desenhos de usuários imperfeitos) e colocados de volta na imagem de origem.
• Dados de Geração Baseada em Rabiscos: Semelhante à edição, mas a imagem de origem é substituída por uma tela branca vazia. Os rabiscos são colocados na tela para indicar onde o conteúdo deve ser gerado.

O dataset resultante inclui aproximadamente 32K amostras para edição multimodal, 14K para edição baseada em instrução, 16K para fusão de imagem e 8K para edição de doodle, juntamente com os datasets de geração correspondentes.

2.3 Design do Framework (DreamOmni3)

O framework baseia-se na arquitetura DreamOmni2 (MM-DIT), mas introduz inovações específicas para lidar com rabiscos:

• Esquema de Entrada Conjunta: Em vez de usar máscaras binárias, o modelo aceita tanto a imagem de origem original quanto a imagem de origem com rabiscos como entradas.
  • Razão: Máscaras binárias ocultam informações de pixels originais e são difíceis de distinguir quando múltiplas regiões estão envolvidas. Os rabiscos, distinguidos pela cor, permitem uma referência de instrução mais fácil.
  • Implementação: Para manter a consistência de nível de pixel nas regiões não editadas, o modelo recebe as versões limpa e com rabiscos.
• Codificação Unificada: Para alinhar as imagens original e com rabiscos, os autores aplicam o mesmo index e codificação de posição a ambas. Isso garante a localização precisa das regiões rabiscadas enquanto preserva os detalhes subjacentes da imagem. Para imagens de referência, utiliza-se um esquema de deslocamento de posição e codificação de índice (consistente com o DreamOmni2) para evitar confusão de pixels.
• Treinamento Conjunto com VLM: Como os rabiscos dos usuários são frequentemente desordenados e exigem raciocínio para interpretação, os autores introduzem um Modelo de Linguagem Visual (VLM) (fine-tuned Qwen2.5-VL 7B). O VLM é treinado conjuntamente com o modelo de geração/edição para interpretar rabiscos abstratos e fornecer explicações contextuais, melhorando assim a compreensão do modelo de geração sobre a intenção do usuário.
• Estratégia de Treinamento: Os modelos de edição e geração são treinados usando LoRA (Rank 256) para reter as capacidades originais do modelo base enquanto integram a lógica baseada em rabiscos.

3. Principais Contribuições

1. Definição de Tarefa: Introdução de edição e geração baseadas em rabiscos como tarefas distintas e altamente úteis para modelos unificados, permitindo a criação flexível via interações de GUI combinando texto, imagens e desenhos manuais.
2. Pipeline de Síntese de Dados: Um pipeline inovador para criar datasets de treinamento de alta qualidade e abrangentes para essas tarefas, utilizando Referseg e modelos generativos para sintetizar pares de rabisco-instrução a partir de dados existentes.
3. Framework DreamOmni3: Uma arquitetura unificada que suporta lógica complexa com entradas de texto, imagem e rabiscos. As principais inovações técnicas incluem o esquema de entrada conjunta (imagem original + imagem com rabiscos) e estratégias de codificação compartilhada para garantir consistência de edição e compatibilidade com arquiteturas existentes.
4. Benchmark e Avaliação: Estabelecimento do benchmark DreamOmni3 usando dados de imagens do mundo real e um protocolo de avaliação abrangente (incluindo VLM e avaliação humana) para medir o desempenho em cenários reais.

4. Resultados Experimentais

Os autores avaliaram o DreamOmni3 contra modelos unificados competitivos (Omnigen2, Qwen-image-Edit-2509, DreamOmni2, Kontext) e modelos comerciais de código fechado (GPT-4o, Nano Banana) usando o benchmark DreamOmni3.

• Desempenho Quantitativo: O DreamOmni3 alcançou as maiores taxas de aprovação em avaliações humanas tanto para edição (55,88%) quanto para geração (54,55%), superando significativamente os modelos de código aberto e ultrapassando modelos comerciais como GPT-4o e Nano Banana em cenários específicos baseados em rabiscos.
• Consistência: Em testes de consistência de nível de característica (CLIP-I e DINO), o DreamOmni3 pontuou 0,8702 e 0,8172 respectivamente, superando modelos de código aberto e aproximando-se do desempenho de modelos comerciais.
• Estudos de Ablação:
  • Entrada Conjunta: Comparando o Esquema 6 (apenas Entrada Conjunta) com o Esquema 8 (Entrada Conjunta + Treinamento Conjunto), o artigo observa que, embora a entrada conjunta aumente significativamente o desempenho da edição em comparação com os esquemas sem ela, a melhoria específica do Esquema 6 (0,3897) para o Esquema 8 (0,4632) é explicitamente atribuída à inclusão do VLM treinado (Treinamento Conjunto). Os autores concluem que o VLM treinado ajuda efetivamente os modelos a entender a intenção do rabisco do usuário, resultando em saídas mais precisas.
  • Treinamento Conjunto: A inclusão do VLM treinado (Esquema 8 vs. Esquema 7) aumentou ainda mais o desempenho, confirmando seu papel crítico na interpretação de intenções complexas de rabiscos.
  • Codificação: O uso do mesmo index e codificação de posição para as imagens de origem e com rabiscos rendeu os melhores resultados, garantindo um melhor alinhamento de pixels.
• Análise Granular: A avaliação revelou que a "Edição baseada em Rabisco e Instrução Multimodal" é a tarefa mais desafiadora, enquanto o "Edição de Doodle" enfrenta gargalos na naturalidade do resultado.

5. Significância e Alegações

O artigo afirma que o DreamOmni3 representa um passo significativo em direção a ferramentas de criação unificadas mais inteligentes e abrangentes. Ao ir além dos prompts apenas de texto para incluir rabiscos, o modelo aborda as limitações da linguagem em descrever detalhes espaciais e visuais. Os autores enfatizam que sua abordagem:

• Reduz a barreira para o usuário ao permitir interação manual intuitiva (desenho) junto com instruções de texto e imagem.
• Fornece uma arquitetura unificada que faz a ponte entre a geração e a edição de imagens, suportando entradas multimodais complexas sem exigir modelos especializados para tarefas específicas.
• Estabelece um novo padrão de avaliação neste campo emergente através do benchmark DreamOmni3, fomentando maior pesquisa em criação de IA interativa e baseada em rabiscos.

O trabalho posiciona a interação baseada em rabiscos não meramente como um método de entrada alternativo, mas como uma evolução necessária para que os modelos unificados alcancem verdadeira flexibilidade e alinhamento com a intenção criativa humana.