Resumen Técnico: Desbloqueando Jerarquías de Difusión

Declaración del Problema

La segmentación semántica zero-shot ha avanzado recientemente al aprovechar los ricos sesgos visuales presentes en los modelos de difusión de texto a imagen a gran escala, como Stable Diffusion. Sin embargo, los métodos basados en difusión actuales enfrentan dos limitaciones críticas que obstaculizan su rendimiento:

1. El Intercambio Resolución-Contexto: Los enfoques actuales dependen típicamente de mapas de auto-atención o de características del codificador U-Net. Los mapas de auto-atención ofrecen una alta resolución espacial, capturando detalles finos de los bordes, pero a menudo carecen de una comprensión contextual integral. Por el contrario, las características del codificador U-Net proporcionan un contexto semántico rico, pero sufren de una resolución espacial significativamente reducida, lo que resulta en bordes de segmentación gruesos.
2. Dependencia de Timestep Estático: Los métodos existentes extraen características de un único timestep fijo dentro del proceso de difusión. Este enfoque estático ignora la evolución dinámica de la información a lo largo de la trayectoria de eliminación de ruido. A medida que un modelo de difusión refina un latente ruidoso en una imagen coherente, diferentes niveles de granularidad semántica (desde detalles a nivel de parte hasta abstracciones a nivel de objeto) emergen y se consolidan en distintos timesteps. Depender de un solo timestep limita inherentemente la capacidad del modelo para capturar todo el espectro de claves necesarias para una segmentación precisa.

Metodología

El método propuesto, DiffCut (distinto del trabajo previo DiffCut [18]), aborda estas limitaciones aprovechando plenamente el conocimiento semántico multifacético codificado dentro del proceso de eliminación de ruido. El enfoque consta de tres componentes principales:

1. Mapas de Similitud Contextual (CSM)

Para resolver el intercambio resolución-contexto, los autores introducen el Mapa de Similitud Contextual (CSM). Este es una representación por píxel que fusiona sinérgicamente mapas de auto-atención de alta resolución con características del codificador U-Net profundamente contextualizadas.

• Construcción: Para un timestep $t$ dado, los mapas de auto-atención de multiresolución de la U-Net se agregan en una matriz unificada $M_t$. Simultáneamente, se extraen características de baja resolución y se reescalan mediante upsampling para formar una matriz de características $F_t$.
• Fusión: Las relaciones de alta resolución en $M_t$ guían una agregación ponderada de las características reescaladas $F_t$ para crear un vector de características combinado $V_t$ para cada píxel ($V_t = M_t \times F_t$).
• Similitud: El CSM ($S_t$) se define como la similitud de coseno de pares entre estos vectores de características combinados. Esto resulta en un mapa que posee tanto una precisión de borde finamente detallada como una coherencia semántica robusta.

2. Progresión Semántica Jerárquica y Selección Adaptativa de Timestep

Los autores identifican una progresión jerárquica emergente de la información semántica dentro del proceso de eliminación de ruido.

• Observación: En timesteps altos (al principio del proceso inverso), el CSM captura estructuras globales amplias (por ejemplo, el camión completo). A medida que los timesteps disminuyen (más adelante en el proceso), el enfoque se agudiza hacia detalles finos (por ejemplo, ruedas individuales).
• Dinámica por Píxel: Crucialmente, esta jerarquía es una propiedad por píxel; diferentes píxeles alcanzan su nivel óptimo de abstracción semántica en distintos timesteps.
• Matriz de Estabilidad Temporal (TSM): Para detectar estas transiciones, el método computa una TSM para cada píxel, midiendo la similitud de su CSM a través de diferentes timesteps. Los bloques estables en la TSM corresponden a niveles semánticos distintos, mientras que los bordes entre bloques indican cambios semánticos.
• Detección de Bordes: Los autores tratan la TSM como una matriz de adyacencia ponderada y aplican la teoría de grafos espectrales. Específicamente, computan el vector de Fiedler del Laplaciano del grafo y utilizan el algoritmo de Tiempo Lineal Exacto Podado (PELT) para detectar puntos de cambio. Estos puntos de cambio sirven como timesteps candidatos que representan distintos niveles semánticos para cada píxel.

3. Pipeline de Segmentación

La segmentación final se genera a través de un proceso de agregación de dos fases:

1. Selección de Objetivo: Para cada píxel, se selecciona el segundo nivel semántico (correspondiente al segundo cambio detectado) como el nivel objetivo, equilibrando los detalles locales con la semántica de alto nivel.
2. Agregación: Se crea una representación intermedia promediando los CSMs de un píxel a través de todos los timesteps hasta su timestep objetivo. Esto se pondera mediante el CSM normalizado en el propio timestep objetivo.
3. Máscara Final: Los vectores de características resultantes se pasan a un algoritmo de Corte Normalizado (Ncut) recursivo para generar la máscara de segmentación final.

Contribuciones Clave

• Mapas de Similitud Contextual: Un método novedoso para generar CSMs fusionando la atención de alta resolución con características contextuales de U-Net, mitigando eficazmente el intercambio resolución-contexto.
• Descubrimiento Jerárquico: La revelación de una progresión jerárquica de la información semántica a través de los timesteps en los modelos de difusión, demostrando que la abstracción semántica evoluciona de nivel de parte a nivel de objeto.
• Selección Adaptativa de Timestep: Un mecanismo para seleccionar dinámicamente el timestep óptimo para la extracción de características de forma per-píxel, yendo más allá de las limitaciones de timestep estático de trabajos previos.
• Rendimiento: Experimentos extensos que demuestran que el método propuesto supera consistentemente a las líneas base de segmentación zero-shot existentes.

Resultados

El método fue evaluado en seis conjuntos de datos estándar de segmentación semántica: Pascal VOC, Pascal Context, COCO-Object, COCO-Stuff-27, Cityscapes y ADE20K.

• Rendimiento Cuantitativo: El método propuesto logró el mayor mean Intersection over Union (mIoU) en COCO-Stuff, Cityscapes, ADE20K, Pascal VOC y Pascal Context. En COCO-Object, logró resultados competitivos (30.8% mIoU) comparado con DiffCut (31.2%), mientras demostraba una robustez superior en el espectro más amplio de benchmarks.
• Estudios de Ablación: Los experimentos confirmaron que:
  • Reemplazar CSM con similitud de características o atención pura reduce significativamente el rendimiento.
  • Eliminar la selección dinámica de timestep (usando un timestep fijo) reduce el rendimiento, validando la necesidad de la adaptación per-píxel.
  • Usar características de la última capa del codificador es superior a usar capas del decodificador o capas mixtas.
  • Añadir ruido a la imagen de entrada (imitando la distribución de entrenamiento) mejora el rendimiento en comparación con el uso de la imagen limpia.
• Extensión de Vocabulario Abierto: El método se extendió a un entorno de vocabulario abierto, superando a DiffCut en los conjuntos de datos VOC, Context y COCO.

Significado y Afirmaciones

El artículo afirma que su principal significancia radica en desbloquear la estructura semántica jerárquica latente dentro de los modelos de difusión. Al alejarse de la extracción de características de un único timestep estático y, en su lugar, adoptar un enfoque adaptativo per-píxel, el método logra una comprensión más precisa y completa de la semántica de la imagen.

Los autores aseguran que su trabajo valida la eficacia de combinar características contextuales con una selección de timestep jerárquica y dinámica. Posicionan esto como un paso crucial en la segmentación zero-shot, demostrando que los modelos de difusión pre-entrenados contienen sesgos semánticos ricos y estructurados que pueden extraerse sistemáticamente sin necesidad de entrenamiento específico de clase o anotaciones densas de píxeles. El trabajo abre vías para la segmentación interactiva y tareas de visión jerárquica, sugiriendo que los principios de los niveles semánticos dinámicos podrían extenderse a otros modelos fundacionales.