💻 computer science

SI-Edit: Toward Sketch-Instruction Guided Local Image Editing with Pixel-Level Precision

Para superar la falta de referentes de alta calidad para la edición de imágenes basada en bocetos a nivel de píxel, este artículo introduce el conjunto de datos SI-Data y el marco SI-Edit, los cuales aprovechan modelos de lenguaje de gran escala multimodales para sintetizar cuadrupletas guiadas por instrucciones y lograr deformaciones locales precisas y semánticamente alineadas a través de un enfoque de aprendizaje espacial-semántico colaborativo.

Autores originales: Weixin Ye, Wei Wang, Hongguang Zhu, Xuecheng Nie

Publicado 2026-08-11

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Weixin Ye, Wei Wang, Hongguang Zhu, Xuecheng Nie

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando dar una instrucción muy específica y diminuta a un artista mágico que puede pintar cualquier cosa que desees. Podrías decir: "Haz que el tallo de esa flor se doble en una forma de S suave". Pero aquí está el problema: el artista es un poco soñador. Escucha "forma de S" y podría doblar el tallo en el lugar equivero, o podría convertir toda la planta en una serpiente en lugar de solo curvar el tallo. Este es el desafío de la edición de imágenes utilizando inteligencia artificial. Los científicos han construido potentes "modelos generativos" —piensa en ellos como artistas digitales entrenados con millones de imágenes— que pueden cambiar imágenes basadas en texto. Pero cuando pides un cambio pequeño y preciso, como doblar una sola hoja o estirar una llama, estos artistas digitales suelen confundirse. Podrían cambiar la parte equivocada de la imagen, o podrían malinterpretar exactamente cómo quieres que cambie.

Para solucionar esto, los investigadores han probado dos trucos principales. Uno es darle al artista un esbozo (sketch), como dibujar una línea en la pantalla para mostrar exactamente dónde doblar. El otro es darle instrucciones de texto, como escribir "dobla aquí". Pero cada truco tiene un defecto. Si solo das un esbozo, el artista no sabe qué hacer (¿quieres copiar la hoja, moverla o solo doblarla?). Si solo das instrucciones de texto, el artista no sabe dónde hacerlo. Este artículo, SI-Edit, intenta resolver esto enseñando al artista a escuchar tanto el esbozo como el texto al mismo tiempo, actuando como un escultor digital superpreciso que puede remodelar una imagen hasta el último píxel.

El Problema: El Artista que se "Pierde en la Traducción"

Imagina que estás jugando un juego en el que tienes que describir un dibujo a un amigo que solo puede dibujar lo que tú digas. Si dices: "Haz que la rama del árbol se curve", tu amigo podría curvar la rama equivocada, o podría dibujar un árbol completamente nuevo. Esto es lo que sucede con las herramientas de IA actuales que solo escuchan instrucciones de texto. Son excelentes para cambios grandes, como "vuelve el cielo azul", pero terribles para los pequeños y precisos. Carecen de un "ancla espacial": una forma de saber exactamente qué píxel mover.

Por otro lado, si solo entregas un esbozo (una línea dibujada en la pantalla), la IA sabe dónde dibujar, pero no qué hacer. ¿Esa línea está destinada a mover una hoja? ¿A copiarla? ¿O solo a doblarla? Sin una instrucción clara, la IA podría adivinar mal, lo que lleva a resultados extraños como una hoja que de repente se convierte en una copia de sí misma, o un tallo que desaparece.

Los autores de este artículo se dieron cuenta de que para obtener un control perfecto a nivel de píxel, necesitas ambos: un mapa (el esbozo) y un destino (el texto). Pero hubo un gran obstáculo: nadie había construido antes un manual de entrenamiento para una IA que combinara estas dos cosas perfectamente.

La Solución: Un Nuevo Manual de Entrenamiento y un Nuevo Artista

Para solucionar esto, el equipo primero tuvo que construir un conjunto de datos de entrenamiento masivo y de alta calidad llamado SI-Data. Piensa en esto como un libro de cocina gigante para la IA. En lugar de solo mostrarle a la IA imágenes "antes" y "después" con una descripción de texto, crearon cuadrupletos: conjuntos de cuatro elementos que van juntos:

La imagen original (el punto de partida).
La imagen objetivo (cómo debería verse después de la edición).
Un esbozo (una línea simple que muestra el cambio exacto de forma).
Una instrucción (el texto que le dice a la IA qué hacer).

No dibujaron esto a mano; eso tomaría demasiado tiempo. En su lugar, utilizaron un proceso automatizado inteligente. Tomaron fotografías hermosas, le pidieron a una IA inteligente (Qwen3-VL) que inventara una instrucción de edición específica (como "estira la tienda") y luego usaron otra IA (Nano Banana Pro) para realizar el cambio real. Luego, utilizaron un truco matemático llamado flujo óptico (optical flow) para dibujar automáticamente el "esbozo" observando cómo se movieron los píxeles desde la imagen original a la nueva. Esto les dio 6,500 ejemplos perfectos de cómo combinar un esbozo y una instrucción de texto para realizar una edición precisa.

Cómo funciona SI-Edit: El Truco de la "Misma Posición"

Con este nuevo conjunto de datos, construyeron una nueva herramienta de edición llamada SI-Edit. Esta herramienta está diseñada para ser un artista "colaborativo". No solo mira el texto o el esbozo; los mira juntos.

El artículo introduce dos trucos principales para que esto funcione:

El Token de "Activación de Tarea": Añadieron un código secreto especial, escrito como <sk>, al principio de cada instrucción. Piensa en esto como una campana que suena antes de que el artista comience a pintar. Cuando la IA escucha la "campana" (<sk>), sabe: "Ah, necesito prestar especial atención a las líneas del esbozo que voy a ver a continuación". Esto ayuda a la IA a entender que el esbozo no es solo un adorno, sino una regla estricta.
Codificación de Misma Posición (SPE - Same Position Encoding): Esta es la parte más importante. Imagina que estás trazando un dibujo sobre un trozo de vidrio. Tienes la imagen original debajo y tu esbozo encima. Si no los alineas perfectamente, tu dibujo estará desviado. La IA suele tratar el esbozo y la imagen original como dos cosas separadas, lo que causa que se "desvíen" entre sí. SI-Edit obliga a la IA a tratar el esbozo y la imagen original como si estuvieran en la exacta misma posición en su cerebro. Superpone el esbozo en la imagen y le dice a la IA: "Estas dos cosas están en las mismas coordenadas". Esto evita que la IA se confunda sobre dónde debe ocurrir la curvatura.

Lo que Encontraron: Precisión al Nivel del Píxel

El equipo probó SI-Edit contra otras herramientas populares como SketchEdit, MagicQuill y FramePainter. Los resultados fueron claros: SI-Edit era mucho mejor siguiendo las reglas.

Precisión Geométrica: Al medir qué tan fielmente seguía la IA las líneas del esbozo, SI-Edit obtuvo una puntuación de 4.292 (menor es mejor), mientras que la siguiente mejor herramienta, MagicQuill, obtuvo 7.434. Esto significa que las curvas y dobleces de SI-Edit estaban mucho más cerca de lo que el usuario realmente dibujó.
Comprensión Semántica: Al verificar si la IA realmente hizo lo que decía el texto (como "estirar" frente a "copiar"), SI-Edit obtuvo una puntuación de 0.0174 en una métrica llamada $\Delta$ CS, superando a todos los demás métodos.
Preferencia del Usuario: Cuando personas reales observaron los resultados, prefirieron SI-Edit sobre los otros del 81.3% al 94.8% de las veces, dependiendo de lo que estuvieran evaluando (consistencia visual, precisión o calidad de imagen).

El artículo también demostró que esta herramienta podía hacer más que solo doblar cosas; incluso podía cambiar la pose de una persona, como hacer que un artista marcial cambie su postura, manteniendo su rostro y su ropa exactamente iguales.

La Conclusión

Los autores sugieren que, al combinar un mapa claro (el esbozo) con un destino claro (el texto), y al enseñar a la IA a tratarlos como una guía unificada, finalmente podemos obtener herramientas de edición de imágenes que sean lo suficientemente precisas para manejar cambios pequeños y complejos sin arruinar el resto de la imagen. No solo construyeron una mejor herramienta; construyeron el primer conjunto de datos público que enseña a la IA cómo hacer esto, abriendo la puerta para que futuros investigadores creen incluso artistas digitales más inteligentes. El artículo concluye que, si bien el problema de la "ambigüedad espacial" (no saber dónde editar) y la "ceguera semántica" (no saber qué editar) fue un obstáculo importante, este enfoque colaborativo despeja con éxito el camino para una edición perfecta a nivel de píxel.

Resumen Técnico: SI-Edit

Planteamiento del Problema

A pesar de los rápidos avances en los modelos de difusión generativa, lograr una precisión a nivel de píxel en la edición de imágenes basada en bocetos sigue siendo un desafío significativo, particularmente para deformaciones locales finas. El artículo identifica dos cuellos de botella primarios en los enfoques existentes:

Cuello de Botella Lingüístico (Ambigüedad Espacial): Las instrucciones basadas solo en texto (por ejemplo, "dobla el tallo") carecen de anclajes espaciales precisos. Sin restricciones geométricas explícitas, los modelos suelen producir deriva semántica, deformaciones inexactas o ignoran las instrucciones por completo.
Ceguera Semántica (Ambigüedad de Intención): Los inputs de solo boceto proporcionan restricciones geométricas pero carecen de intención semántica explícita. Un solo boceto (por ejemplo, un nuevo contorno) puede corresponder a múltiples operaciones (por ejemplo, copiar, mover o deformar), lo que conduce a resultados no deseados.

Además, el campo sufre un problema de escasez de datos. Los conjuntos de datos existentes ofrecen principalmente tríos de texto-imagen o máscaras a nivel de región, careciendo de los cuadrupletos de alta calidad y disponibles públicamente (Imagen Fuente, Imagen Objetivo, Boceto Geométrico Local, Instrucción Semántica) necesarios para supervisar conjuntamente las restricciones geométricas y la intención semántica.

Metodología

Los autores proponen SI-Edit, un marco colaborativo diseñado para resolver tanto la ambigüedad espacial como la semántica, respaldado por un nuevo conjunto de datos, SI-Data.

1. SI-Data: Un Conjunto de Datos de Cuadrupletos

Para abordar la falta de datos de entrenamiento, los autores introducen SI-Data, un conjunto de datos de alta calidad que contiene 6.5K cuadrupletos $(I_{src}, I_{tgt}, S_k, Inst)$ . El flujo de construcción es automatizado y aprovecha Modelos de Lenguaje de Gran Escala Multimodales (MLLMs):

Recolección de Fuentes: Imágenes de alta resolución de Unsplash.
Generación de Instrucciones: Se utiliza Qwen3-VL para generar instrucciones de edición espacialmente explícitas (especificando la ubicación y la operación geométrica como "doblar" o "estirar").
Síntesis de Objetivos: Nano Banana Pro ejecuta las instrucciones sobre las imágenes fuente para crear las imágenes objetivo.
Extracción de Bocetos: Se calcula el flujo óptico denso (vía SEA-RAFT) entre las imágenes fuente y objetivo. Los límites de movimiento se extraen mediante operadores Sobel para generar bocetos binarios que sirven como anclajes espaciales finos.
Aumento: El flujo de trabajo genera múltiples instrucciones lingüísticamente diversas para cada edición para asegurar la robustez.

2. Marco de Trabajo SI-Edit

Construido sobre la arquitectura FLUX.1 Kontext (un Transformador de Difusión Latente), SI-Edit emplea una estrategia de ajuste espacial-semántico colaborativo para fusionar instrucciones y bocetos:

Token de Activación de Tarea ( $\langle sk \rangle$ ): Un token aprendible se antepone a la instrucción de texto. Este token actúa como un ancla semántica, condicionando los mecanismos de atención a través de ambos flujos de texto e imagen para dirigir la generación hacia la edición guiada por el boceto.
Codificación de Misma Posición (SPE): Para prevenir la deriva espacial, la imagen fuente y la imagen con el boceto superpuesto se procesan de forma independiente pero se les asignan incrustaciones posicionales rotativas (RoPE) 3D idénticas. Esto asegura que el modelo mantenga una correspondencia espacial estricta entre las características de la fuente y las restricciones del boceto al nivel del token latente.
Ajuste Fino (Fine-Tuning): El modelo se ajusta utilizando Low-Rank Adaptation (LoRA) en las capas de atención de los bloques de Doble Flujo (Double-Stream) y Flujo Único (Single-Stream), optimizando para el objetivo de coincidencia de flujo rectificado (rectified-flow matching).

Principales Contribuciones

SI-Data: El primer conjunto de datos que proporciona cuadrupletos de (Fuente, Objetivo, Boceto, Instrucción) diseñados específicamente para la supervisión conjunta espacial y semántica de deformaciones geométricas.
SI-Edit: Un marco colaborativo que integra instrucciones semánticas con restricciones geométricas precisas a través de un token aprendible $\langle sk \rangle$ y la estrategia SPE, resolviendo eficazmente la ambigüedad inherente a los enfoques de un solo modo.
Protocolo de Evaluación: Un conjunto exhaustivo de métricas diseñadas para medir la fidelidad estructural y la adherencia semántica, incluyendo la Distancia de Chamfer Localizada (LCD), el IoU de Máscara, la mejora del CLIP Score ( $\Delta$ CS) y una novedosa Puntuación de Preservación de Fondo (BPS).

Resultados Experimentales

Los autores evalúan SI-Edit frente a líneas base de vanguardia, incluyendo SketchEdit, MagicQuill y FramePainter.

Rendimiento Cuantitativo: SI-Edit supera a todas las líneas base en todas las métricas. Notablemente, logra una Distancia de Chamfer Localizada (LCD) de 4.292 (menor es mejor), superando significativamente a SketchEdit (10.957) y FramePainter (7.979). También alcanza el IoU de Máscara (0.362) y la Puntuación de Preservación de Fondo (0.648) más altos, lo que indica una alineación superior con los bocetos y una mejor preservación de las regiones no editadas.
Resultados Cualitativos: Las comparaciones visuales muestran que SI-Edit ejecuta con éxito deformaciones locales complejas (por ejemplo, doblar ramas de árboles, estirar llamas, agrandar objetos) mientras mantiene texturas realistas e identidad del objeto. En contraste, las líneas base a menudo sufren de ceguera semántica (artefactos borrosos) o alucinan texturas incorrectas.
Estudio de Usuario: En una comparación por pares de 60 casos de prueba, SI-Edit fue preferido sobre todas las líneas base en términos de consistencia visual, precisión de edición y calidad de imagen (tasas de preferencia que oscilan entre el 81.3% y el 94.8%).
Estudios de Ablación: El estudio confirma que colocar el token aprendible $\langle sk \rangle$ en el Inicio de la Secuencia (BOS) mejora significamente la alineación semántica ( $\Delta$ CS) en comparación con la colocación en el Final de la Secuencia (EOS) o prompts fijos.

Significado y Reivindicaciones

El artículo afirma que SI-Edit representa un paso significativo hacia la edición de imágenes local confiable a nivel de píxel. Al introducir un mecanismo de guía colaborativa que unifica la intención semántica con las restricciones geométricas, el trabajo aborda las limitaciones centrales de los métodos actuales de un solo modo.

Los autores enfatizan que la publicación de SI-Data y el protocolo de evaluación que lo acompaña proporciona un benchmark transparente destinado a facilitar la investigación futura en la edición de imágenes guiada por bocetos e instrucciones. El trabajo demuestra que la edición local precisa requiere el uso colaborativo de ambas modalidades: las instrucciones especifican qué debe cambiar, mientras que los bocetos indican dónde y cómo debe ocurrir el cambio geométricamente.