Resumen Técnico: DreamOmni3 – Edición y Generación Basada en Garabatos (Scribbles)

1. Declaración del Problema

Los modelos de generación y edición unificados recientes han logrado un éxito significativo apoyándose principalmente en prompts de texto. Sin embargo, los autores identifican una limitación crítica: el lenguaje natural a menudo no logra capturar con precisión las ubicaciones de edición deseadas, distinguir entre múltiples objetos idénticos o transmitir detalles visuales finos. Si bien la anotación manual (por ejemplo, máscaras binarias) es una alternativa común, presenta desafíos en escenarios complejos que involucran múltiples regiones, ya que las máscaras binarias son computacionalmente costosas de gestionar para múltiples áreas y difíciles de describir mediante instrucciones de lenguaje natural. Además, los usuarios suelen desear interacciones más flexibles y creativas, como dibujar directamente en una interfaz para indicar modificaciones. Los modelos unificados actuales carecen de la capacidad de interpretar eficazmente estos garabatos de forma libre combinados con instrucciones de texto e imagen.

2. Metodología

2.1 Definición de Tareas

El artículo define dos nuevas tareas principales para cerrar la brecha entre la intención del usuario y la ejecución del modelo:

1. Edición basada en garabatos (Scribble-based Editing): Modificar imágenes existentes basándose en garabatos. Esto se categoriza en cuatro subtareas:
   • Edición basada en garabatos e instrucciones.
   • Edición basada en garabatos e instrucciones multimodales (combinando texto, imagen de origen e imagen de referencia).
   • Fusión de imágenes (insertar objetos de una imagen de referencia en una imagen de origen basándose en garabatos).
   • Edición de garabatos de dibujo (doodle editing) (modificar una imagen basándose en un boceto dibujado por el usuario).
2. Generación basada en garabatos (Scribble-based Generation): Crear nuevo contenido basado en garabatos. Esto incluye:
   • Generación basada en garabatos e instrucciones.
     el proceso de generación basada en garabatos e instrucciones multimodales.
   • Generación de dibujos (doodle generation) (generar una imagen a partir de un boceto sobre un lienzo en blanco).

2.2 Pipeline de Síntesis de Datos

Reconociendo la falta de datos de entrenamiento para estas tareas específicas, los autores proponen un pipeline de síntesis de datos integral aprovechando el conjunto de datos existente DreamOmni2:

• Datos de Edición basados en garabatos:
  • Multimodal/Basado en instrucciones: Utiliza el servicio Referseg para localizar objetos en las imágenes de origen y de referencia. Se superponen formas dibujadas a mano (círculos, cajas) o imágenes recortadas en estas ubicaciones para crear imágenes "S-Reference" y "S-Source".
  • Fusión de Imágenes: Los objetos se recortan de las imágenes de referencia y se pegan en la imagen de origen en las posiciones correspondientes.
  • Edición de Dibujos (Doodle Editing): Los objetos se extraen y se convierten en bocetos abstractos (usando GPT-Image-1 en lugar de la detección de bordes Canny para dar cabida a los dibujos imperfectos del usuario) y se colocan de nuevo en la imagen de origen.
• Datos de Generación basados en garabatos: Similar a la edición, pero la imagen de origen se reemplaza con un lienzo blanco vacío. Los garabatos se colocan en el lienzo para indicar dónde debe generarse el contenido.

El conjunto de datos resultante incluye aproximadamente 32K muestras para edición multimodal, 14K para edición basada en instrucciones, 16K para fusión de imágenes y 8K para edición de dibujos, junto con los conjuntos de datos de generación correspondientes.

2.3 Diseño del Framework (DreamOmni3)

El framework se basa en la arquitectura DreamOmni2 (MM-DIT) pero introduce innovaciones específicas para manejar los garabatos:

• Esquema de Entrada Conjunta (Joint Input Scheme): En lugar de utilizar máscaras binarias, el modelo acepta tanto la imagen de origen original como la imagen de origen con garabatos como entradas.
  • Razón: Las máscaras binarias ocultan la información de los píxeles originales y son difíciles de distinguir cuando hay múltiples regiones involucradas. Los garabatos, distinguidos por el color, permiten una referencia de instrucciones más fácil.
  • Implementación: Para mantener la consistencia de los píxeles en las regiones no editadas, el modelo recibe las versiones limpia y con garabatos.
• Codificación Unificada: Para alinear las imágenes originales y con garabatos, los autores aplican el mismo codificador de índice y de posición a ambas. Esto asegura una localización precisa de las regiones garabateadas mientras se preservan los detalles subyacentes de la imagen. Para las imágenes de referencia, se utiliza un esquema de desplazamiento de posición y codificación de índice (consistente con DreamOmni2) para evitar la confusión de píxeles.
• Entrenamiento Conjunto con VLM: Dado que los garabatos de los usuarios suelen ser desordenados y requieren razonamiento para ser interpretados, los autores introducen un Modelo de Lenguaje-Visión (VLM) (un Qwen2.5-VL 7B ajustado). El VLM se entrena conjuntamente con el modelo de generación/edición para interpretar garabatos abstractos y proporcionar explicaciones contextuales, mejorando así la comprensión del modelo de generación sobre la intención del usuario.
• Estrategia de Entrenamiento: Los modelos de edición y generación se entrenan utilizando LoRA (Rank 256) para retener las capacidades originales del modelo base mientras se integran la lógica basada en garabatos.

3. Contribuciones Clave

1. Definición de Tareas: Introducción de la edición y generación basadas en garabatos como tareas distintas y altamente útiles para modelos unificados, permitiendo la creación flexible mediante interacciones de GUI que combinan texto, imágenes y dibujos a mano alzada.
2. Pipeline de Síntesis de Datos: Un pipeline novedoso para crear conjuntos de datos de entrenamiento de alta calidad y exhaustivos para estas tareas, utilizando Referseg y modelos generativos para sintetizar pares de garabato-instrucción a partir de datos existentes.
3. Framework DreamOmni3: Una arquitectura unificada que soporta lógicas complejas con entradas de texto, imagen y garabatos. Las innovaciones técnicas clave incluyen el esquema de entrada conjunta (imagen original + imagen con garabatos) y estrategias de codificación compartida para asegurar la consistencia de la edición y la compatibilidad con arquitecturas existentes.
4. Benchmark y Evaluación: El establecimiento del benchmark DreamOmni3 utilizando datos de imágenes del mundo real y un protocolo de evaluación exhaustivo (que incluye evaluación por VLM y humana) para medir el rendimiento en escenarios reales.

4. Resultados Experimentales

Los autores evaluaron DreamOmni3 frente a modelos unificados competitivos (Omnigen2, Qwen-image-Edit-2509, DreamOmni2, Kontext) y modelos comerciales de código cerrado (GPT-4o, Nano Banana) utilizando el benchmark DreamOmni3.

• Rendimiento Cuantitativo: DreamOmni3 alcanzó las tasas de aprobación más altas en las evaluaciones humanas tanto para la edición (55.88%) como para la generación (54.55%), superando significativamente a los modelos de código abierto y superando a modelos comerciales como GPT-4o y Nano Banana en escenarios específicos basados en garabatos.
• Consistencia: En las pruebas de consistencia a nivel de características (CLIP-I y DINO), DreamOmni3 obtuvo 0.8702 y 0.8172 respectivamente, superando a los modelos de código abierto y acercándose al rendimiento de los modelos comerciales.
• Estudios de Ablación:
  • Entrada Conjunta (Joint Input): Al comparar el Esquema 6 (solo Entrada Conjunta) con el Esquema 8 (Entrada Conjunta + Entrenamiento Conjunto), el artículo señala que, si bien la entrada conjunta aumenta significativamente el rendimiento de la edición en comparación con los esquemas sin ella, la mejora específica del Esquema 6 (0.3897) al Esquema 8 (0.4632) se atribuye explícitamente a la inclusión del VLM entrenado (Entrenamiento Conjunto). Los autores concluyen que el VLM entrenado ayuda eficazmente a los modelos a comprender la intención del garabato del usuario, lo que resulta en salidas más precisas.
  • Entrenamiento Conjunto: La inclusión del VLM entrenado (Esquema 8 vs. Esquema 7) mejoró aún más el rendimiento, confirmando su papel crítico en la interpretación de intenciones de garabatos complejas.
  • Codificación: El uso del mismo codificador de índice y de posición para las imágenes de origen y con garabatos produjo los mejores resultados, asegurando un mejor alineamiento de píxeles.
• Análisis Detallado: La evaluación reveló que la "Edición basada en instrucciones multimodales y garabatos" es la tarea más desafiante, mientras que la "Edición de Dibujos (Doodle Editing)" enfrenta cuellos de botella en la naturalidad del resultado.

5. Significado y Reivindicaciones

El artículo afirma que DreamOmni3 representa un paso significativo hacia herramientas de creación unificadas más inteligentes y completas. Al ir más allá de los prompts de solo texto para incluir garabatos, el modelo aborda las limitaciones del lenguaje para describir detalles espaciales y visuales. Los autores enfatizan que su enfoque:

• Reduce la barrera del usuario al permitir una interacción manual intuitiva (dibujo) junto con instrucciones de texto e imagen.
• Proporciona una arquitectura unificada que cierra la brecha entre la generación y la edición de imágenes, soportando entradas multimodales complejas sin requerir modelos especializados para tareas específicas.
• Establece un nuevo estándar de evaluación en este campo emergente a través del benchmark DreamOmni3, fomentando una mayor investigación en la creación de IA interactiva basada en garabatos.

El trabajo posiciona la interacción basada en garabatos no meramente como un método de entrada alternativo, sino como una evolución necesaria para que los modelos unificados alcancen una verdadera flexibilidad y alineación con la intención creativa humana.