Resumen Técnico: ScribbleEdit

Declaración del Problema

Los avances recientes en modelos generativos han mejorado las capacidades de edición de imágenes, pero lograr un control preciso e intuitivo por parte del usuario sigue siendo un desafío significativo. Los usuarios tienen dificultades para comunicar simultáneamente disposiciones espaciales exactas y detalles semánticos específicos. Las instrucciones en lenguaje natural transmiten eficazmente semánticas de alto nivel (por ejemplo, textura, color), pero carecen de especificidad espacial. Por el contrario, los garabatos hechos a mano proporcionan límites espaciales y estructuras intuitivas, pero son inherentemente abstractos, imprecisos y difíciles de interpretar para los modelos en lo que respecta a atributos visuales detallados. Los modelos existentes luchan por interpretar conjuntamente estas dos modalidades debido a la falta de datos de entrenamiento especializados que combinen garabatos abstractos con instrucciones de texto.

Metodología

Los autores presentan ScribbleEdit, un conjunto de datos sintético a gran escala y una pipeline automatizada diseñada para cerrar la brecha entre la edición de imágenes guiada por garabatos y texto.

1. Pipeline de Construcción del Conjunto de Datos:
El conjunto de datos consta de 11.775 muestras para una tarea de adición de objetos, donde el objetivo es agregar un objeto específico a una imagen guiado por un garabato y una instrucción de texto. La pipeline involucra cuatro etapas:

• Datos de Origen: Se submuestrearon 12.500 pares de imagen-garabato de la Base de Datos Sketchy, que contiene fotos emparejadas con garabatos dibujados a mano generados por crowdsourcing.
• Segmentación de Objetos: Un proceso de dos etapas genera máscaras de objetos. Primero, Grounding DINO detecta el objeto utilizando su nombre de clase para producir un cuadro delimitador. Segundo, el Modelo Segment Anything (SAM) genera tres candidatos de máscara, de los cuales se selecciona el que tiene el mayor IoU predicho. La máscara se dilata 15 píxeles para garantizar una cobertura completa del límite.
• Generación de Imagen de Entrada: El objeto segmentado se elimina de la foto original utilizando el modelo de inpainting LaMa, que reconstruye el fondo puramente a partir del contexto circundante sin prompts de texto. Esta imagen inpaintada sirve como entrada para el modelo de edición.
• Generación de Instrucciones: Gemma 3 (4B), un modelo de lenguaje-vision instruido, genera instrucciones en lenguaje natural. Se le proporcionan la imagen de entrada (inpaintada) y la imagen objetivo (original), y se le solicita que produzca un comando de edición específico que describa la apariencia y la ubicación del objeto.

El conjunto de datos final se divide en conjuntos de entrenamiento (9.438 fotos), validación (1.164 fotos) y prueba (1.173 fotos). Para gestionar los costos de entrenamiento, se muestrea un subconjunto donde cada foto se empareja con a lo sumo dos garabatos, lo que resulta en aproximadamente 18.876 instancias de entrenamiento.

2. Evaluación y Ajuste Fino del Modelo:
Los autores evalúan y ajustan finamente dos tipos de modelos en ScribbleEdit:

• ControlNet-Scribble Condicionado por Imagen: Un modelo basado en difusión. Los autores modifican el ControlNet-Scribble estándar condicionándolo a la representación latente de la imagen original (codificada mediante VAE) además de las entradas de texto y garabato. Esto permite que el modelo realice ediciones mientras preserva el fondo original, abordando la limitación del ControlNet estándar que realiza generación en lugar de edición. El modelo se entrena mediante un proceso de dos etapas: actualizar primero las nuevas capas, seguido de un ajuste fino completo del U-Net.
• BAGEL-7B-MoT: Un modelo de lenguaje grande multimodal unificado. Los autores aplican ajuste fino LoRA al núcleo de lenguaje. Para fomentar que el modelo edite solo el área objetivo y preserve el fondo, se utiliza una pérdida MSE ponderada espacialmente, asignando un peso 5x a los tokens dentro de la máscara de edición objetivo en comparación con los tokens de fondo.

Ambos modelos se entrenan con guía libre de clasificadores (CFG) eliminando las entradas de texto o garabato con una probabilidad de 0.1.

Contribuciones Clave

1. Conjunto de Datos ScribbleEdit: Un conjunto de datos sintético a gran escala diseñado específicamente para la edición de imágenes multimodal que combina garabatos hechos a mano con instrucciones en lenguaje natural.
2. Pipeline Automatizada: Un método para construir ejemplos de edición multimodal emparejados generando automáticamente pares de imágenes origen-destino mediante inpainting y emparejándolos con garabatos dibujados por humanos y texto generado por VLM.
3. Evaluación de Referencia: Una evaluación exhaustiva de modelos modernos basados en difusión y modelos multimodales unificados autoregresivos bajo diferentes configuraciones de condicionamiento (solo texto, solo garabato y guía conjunta).

Resultados

El artículo presenta resultados cuantitativos utilizando Intersección de Histogramas, RMSE, Similitud CLIP y puntuaciones FID, junto con comparaciones cualitativas.

• Mejoras de Rendimiento: El ajuste fino en ScribbleEdit mejora significativamente el rendimiento del modelo en las cuatro métricas en comparación con las líneas base de cero disparos.
• Comparación de Modelos:
  • El ControlNet-Scribble Condicionado por Imagen logró la puntuación FID más baja, indicando una superioridad en realismo y preservación del fondo.
  • El BAGEL-7B-MoT Ajustado Finamente mostró las mejoras más significativas en la Intersección de Histogramas y RMSE (tanto a nivel de imagen completa como dentro del cuadro delimitador), demostrando un aumento en la similitud de color y detalles a nivel de píxel. También mostró mejoras importantes en las puntuaciones CLIP y FID.
• Robustez: BAGEL ajustado finamente mantuvo el rendimiento cuando se le proporcionaron solo entradas de garabato o solo de texto durante la inferencia, con una caída significativa solo en FID al usar únicamente texto.
• Análisis de Errores: En una muestra de 50 imágenes de prueba, el BAGEL ajustado finamente se adhirió suficientemente a la guía de garabatos en el 82% de los casos, pero solo a las instrucciones de texto en el 57% de los casos. Los fallos comunes incluyeron orientación, ubicación o tamaño incorrectos del objeto (adherencia al garabato) y color o identidad del objeto incorrectos (adherencia al texto).

Significado y Afirmaciones

El artículo afirma que ScribbleEdit aborda eficazmente la falta de datos de entrenamiento especializados para la interpretación conjunta de garabatos y texto. Los autores demuestran que, aunque los modelos comerciales luchan con entradas de garabatos abstractos (a menudo generando características similares a garabatos o fallando en la edición), el ajuste fino en su conjunto de datos sintético mejora significativamente la capacidad de generar ediciones espacialmente alineadas y semánticamente consistentes.

El trabajo posiciona a ScribbleEdit como un recurso para fomentar la investigación futura sobre herramientas de edición precisas y centradas en el ser humano. Los autores reconocen limitaciones, señalando que el conjunto de datos depende de dibujos humanos existentes en lugar de sintetizados, se centra principalmente en la adición de objetos y depende de pipelines automatizadas que pueden introducir ruido. Sugieren que el trabajo futuro podría explorar la edición parcial de grano fino y el uso de métodos de generación de garabatos más conscientes semánticamente (por ejemplo, CLIPasso).