TRACE: Your Diffusion Model is Secretly an Instance Edge Detector

Each language version is independently generated for its own context, not a direct translation.

¡Claro que sí! Imagina que este paper es como descubrir un superpoder secreto que tenían los artistas de inteligencia artificial desde el principio, pero nadie se había dado cuenta.

Aquí tienes la explicación de TRACE en lenguaje sencillo, con analogías de la vida real:

🎨 El Problema: Pintar sin un boceto

Imagina que quieres enseñarle a una computadora a identificar y separar objetos en una foto (por ejemplo, distinguir a dos gatos que están pegados uno al otro).

El método antiguo: Los humanos tenían que dibujar manualmente el contorno de cada gato, píxel por píxel. Era como pintar un cuadro real: lento, caro y aburrido.
El método "tonto": Las computadoras intentaban adivinar agrupando colores, pero a menudo confundían a los dos gatos y los pintaban como una sola mancha gigante, o rompían a un solo gato en pedazos.

🕵️‍♂️ El Descubrimiento: El "Secreto" de la IA Generativa

Los autores descubrieron algo fascinante: Las IAs que crean imágenes desde la nada (como las que hacen fotos de gatos a partir de texto) ya saben dónde están los bordes de los objetos, pero lo hacen de forma oculta.

Imagina que la IA es como un escultor que empieza con un bloque de mármol lleno de ruido (polvo).

Al principio, el bloque es solo polvo.
A medida que va quitando el polvo (el proceso de "desruido"), aparecen formas.
Los autores notaron que hay un momento mágico (llamado Punto de Emergencia de la Instancia) justo en medio del proceso, donde el escultor define claramente la forma del gato, pero antes de empezar a ponerle los detalles de la piel o el color.

En ese momento exacto, la IA tiene un "mapa mental" (un mapa de atención) que dibuja perfectamente los bordes de los objetos, separando al gato 1 del gato 2, aunque nadie se lo haya pedido.

🛠️ La Solución: TRACE (El Detective de Bordes)

El equipo creó una herramienta llamada TRACE para "hackear" este proceso y extraer esos bordes secretos. Funciona en tres pasos sencillos:

El Momento Justo (IEP): La herramienta mira el proceso de creación de la imagen y se detiene exactamente en el segundo donde las formas de los objetos son más claras. Es como si el escultor se detuviera justo cuando la silueta está perfecta, antes de pintar los ojos.
La Brújula de Bordes (ABDiv): Luego, usa una regla matemática para ver dónde cambia la "atención" de la IA. Si la IA mira mucho a un lado y poco al otro, ¡ahí hay un borde! Es como detectar dónde termina un objeto y empieza otro basándose en cómo la IA "piensa" sobre ellos.
El Entrenamiento Rápido (Destilación): Normalmente, hacer esto en cada foto tardaría mucho (como buscar una aguja en un pajar cada vez). Pero TRACE entrena a un pequeño asistente (un decodificador) que aprende a hacer el trabajo en un solo paso.
- Analogía: Es como si el maestro escultor le enseñara a un aprendiz a hacer el boceto en 1 segundo, en lugar de tener que esculpir todo el bloque de mármol cada vez.

🚀 ¿Por qué es un cambio de juego?

Velocidad: Antes, para obtener estos bordes, la IA tenía que "invertir" el proceso de creación de la imagen, lo cual era lento. TRACE lo hace 81 veces más rápido. Es como pasar de caminar a correr en una carrera.
Precisión: Los bordes que saca TRACE son mucho más limpios y conectados. No deja agujeros ni une objetos que no deberían estar unidos.
Sin etiquetas: Lo mejor es que no necesita que nadie le enseñe. No necesita fotos con gatos ya marcados. Aprende solo observando cómo la IA genera imágenes.

🌍 El Resultado Final

Gracias a TRACE, ahora podemos tener sistemas de visión por computadora que separan objetos perfectamente (como en coches autónomos o diagnósticos médicos) sin tener que pagarle a miles de personas para que dibujen contornos manualmente.

En resumen:
TRACE descubre que las IAs generativas son, en secreto, detectives de bordes expertos. Solo hay que saber en qué momento del proceso "pensar" para pedirles que nos muestren sus notas, y así podemos separar objetos en fotos de forma automática, rápida y gratuita. ¡Es como encontrar el atajo secreto que la propia inteligencia artificial ya tenía guardado!

Each language version is independently generated for its own context, not a direct translation.

Aquí tienes un resumen técnico detallado del artículo "TRACE: YOUR DIFFUSION MODEL IS SECRETLY AN INSTANCE EDGE DETECTOR", presentado en ICLR 2026.

1. Problema y Motivación

La segmentación de instancias y panóptica de alta calidad ha dependido tradicionalmente de anotaciones densas a nivel de píxel (máscaras, cajas o puntos), las cuales son costosas, inconsistentes entre anotadores y difíciles de escalar.

Limitaciones de los enfoques actuales:
- Métodos no supervisados (UIS): Suelen basarse en la agrupación de características de transformadores de visión preentrenados (como DINO). Estos modelos están optimizados para la similitud semántica entre imágenes, no para la separación de instancias dentro de una misma imagen. Como resultado, tienden a fusionar objetos adyacentes de la misma clase o fragmentar instancias individuales.
- Métodos débilmente supervisados: Aunque el uso de etiquetas a nivel de imagen (tags) ha logrado buenos resultados en segmentación semántica, estos no pueden separar instancias. El uso de anotaciones de puntos o cajas para panóptica sigue siendo costoso y propenso a errores, especialmente cuando los objetos se superponen.
- Detectores de bordes convencionales: Métodos como Canny, HED o incluso detectores basados en difusión (DiffusionEdge) se entrenan para detectar cambios de intensidad o textura, no bordes de instancias semánticas, lo que genera muchos falsos positivos en la delimitación de objetos.

2. Metodología: TRACE

El núcleo de la propuesta es el descubrimiento de que los modelos de difusión de texto a imagen preentrenados ya codifican información sobre los límites de las instancias en sus mapas de auto-atención durante el proceso de eliminación de ruido, sin necesidad de prompts de texto ni anotaciones.

TRACE (TRAnsforming diffusion Cues to instance Edges) consta de tres componentes principales:

A. Punto de Emergencia de la Instancia (IEP - Instance Emergence Point)

Durante el proceso de denoising (de ruido a imagen), el modelo pasa de una estructura semántica difusa a una estructura de instancias definida y luego a contenido semántico refinado.

Observación: Los mapas de auto-atención (self-attention) revelan la estructura de las instancias brevemente en un paso temporal específico, antes de que el contenido semántico se estabilice.
Detección: TRACE identifica el paso temporal $t^*$ donde la divergencia temporal entre mapas de auto-atención consecutivos es máxima. Utiliza la Divergencia de Kullback-Leibler (KL) entre los mapas de atención de pasos adyacentes para encontrar este pico, que corresponde al momento en que los límites de las instancias emergen con mayor claridad.

B. Divergencia de Límites de Atención (ABDiv - Attention Boundary Divergence)

Una vez identificado el mapa de atención en el IEP ( $SA_{inst}$ ), TRACE extrae los bordes sin parámetros.

Lógica: Los píxeles dentro de la misma instancia tienen distribuciones de atención similares, mientras que los píxeles a través de los límites de diferentes instancias divergen drásticamente.
Cálculo: ABDiv calcula la divergencia KL entre vecinos opuestos (arriba/abajo, izquierda/derecha) para cada píxel. Esto genera un mapa de bordes pseudo-etiquetado donde los valores altos indican límites de instancias.
Filtrado: Se aplica un umbral basado en la media y desviación estándar para marcar píxeles como "inciertos" y excluirlos del entrenamiento posterior, reduciendo el ruido en las etiquetas.

C. Destilación en un Solo Paso (One-Step Self-Distillation)

Calcular el IEP y ABDiv para cada imagen durante la inferencia es computacionalmente costoso (requiere un proceso de inversión de difusión).

Solución: Se entrena un decodificador de bordes ligero ( $G_\phi$ ) utilizando el backbone de difusión congelado (con adaptadores LoRA) y los mapas de bordes generados por ABDiv como pseudo-etiquetas.
Objetivo: El modelo se entrena para predecir los bordes directamente en un solo paso ( $t=0$ ) a partir de la imagen original, aprendiendo a completar bordes fragmentados y a generalizar la señal de atención.
Resultado: Esto elimina la necesidad de la inversión de difusión por imagen en tiempo de prueba, acelerando la inferencia en 81 veces (de ~3682 ms a ~45 ms por imagen).

D. Propagación Guiada por Bordes (BGP)

Los bordes generados por TRACE se utilizan como priores para refinar máscaras de segmentación existentes (provenientes de métodos no supervisados o débilmente supervisados).

Se utiliza un algoritmo de propagación (random walk) que difunde las máscaras fragmentadas dentro de los límites definidos por los bordes de TRACE, cerrando huecos y separando objetos adyacentes fusionados.

3. Contribuciones Clave

Descubrimiento de Priors Ocultos: Demostraron que los modelos de difusión generativos codican inherentemente bordes de instancias en sus mapas de auto-atención durante la fase temprana de denoising, una propiedad que no poseen los transformadores de visión discriminativos estándar (como DINO o CLIP).
Marco TRACE: Un pipeline unificado que combina el IEP y ABDiv para descubrir bordes de instancias sin anotaciones, seguido de una destilación eficiente para inferencia en tiempo real.
Rendimiento Superior sin Etiquetas de Instancia:
- Logra una segmentación de instancias no supervisada superior a los métodos basados en clustering.
- En segmentación panóptica débilmente supervisada (solo con etiquetas de imagen), supera a los baselines que requieren anotaciones de puntos o cajas.
Eficiencia: Reduce la latencia de inferencia en un orden de magnitud mediante la destilación en un solo paso.

4. Resultados Experimentales

Los resultados se evaluaron en benchmarks estándar como COCO y VOC 2012:

Segmentación de Instancias No Supervisada (UIS):
- TRACE mejora el AP (Average Precision) de los métodos base (como MaskCut y ProMerge) en +4.4 a +5.1 puntos en COCO.
- Supera a los métodos basados en estimación de profundidad (CutS3D) en +2.2 puntos en COCO, demostrando que los bordes de difusión son más robustos a la escala y distancia que el profundidad.
Segmentación Panóptica Débilmente Supervisada:
- Utilizando solo etiquetas de imagen (tags), TRACE + modelos semánticos existentes (DHR) superan a los métodos basados en anotaciones de puntos (Point-supervised) en +1.7 PQ (Panoptic Quality) en COCO y hasta +7.1 PQ en VOC 2012.
Calidad de los Bordes:
- En una evaluación específica de bordes de instancias (ODS), TRACE alcanza 0.889, superando por más del doble a los detectores de bordes más fuertes (DiffusionEdge: 0.428).
- Muestra una conectividad topológica superior (clDice: 0.826), crucial para separar instancias adyacentes.
Comparativa con Modelos No Difusivos:
- Se probaron 10 backbones (5 difusivos, 5 no difusivos como LLaVA, DINOv2, CLIP). Solo los modelos difusivos mostraron la capacidad de separar instancias mediante auto-atención. Modelos masivos de 72B parámetros (Qwen2.5-VL) rindieron peor que un modelo de difusión pequeño (PixArt-α, 0.6B) en esta tarea específica.

5. Significado e Impacto

Alternativa Escalable a la Anotación: TRACE ofrece una vía práctica para obtener bordes de instancias de alta calidad sin necesidad de costosas anotaciones manuales, democratizando el entrenamiento de modelos de segmentación.
Revelación de Mecanismos Internos: El trabajo revela que la capacidad de "ver" instancias no es exclusiva de modelos discriminativos entrenados con supervisión, sino una propiedad emergente de los modelos generativos de difusión entrenados en grandes conjuntos de datos de imágenes y texto.
Versatilidad: Los bordes generados actúan como "semillas" universales que mejoran tanto sistemas interactivos (como SAM - Segment Anything Model) como pipelines no supervisados y débilmente supervisados.
Limitaciones: El método tiene dificultades con objetos extremadamente pequeños (ej. imágenes satelitales) debido a la compresión espacial en el espacio latente de los modelos de difusión, y en dominios fuera de distribución (como imágenes médicas) donde los priores de imágenes naturales no coinciden con la estructura de las células.

En resumen, TRACE transforma un modelo de generación de imágenes en un detector de bordes de instancias preciso y eficiente, resolviendo uno de los cuellos de botella más grandes en visión por computadora: la dependencia de anotaciones densas.