Can Unsupervised Segmentation Reduce Annotation Costs for Video Semantic Segmentation?

Título: ¿Puede la Segmentación No Supervisada Reducir los Costos de Anotación para la Segmentación Semántica de Video?

1. El Problema

La segmentación semántica de video (VSS) requiere actualmente grandes cantidades de anotaciones a nivel de píxel (finas) para entrenar redes neuronales profundas y lograr un rendimiento óptimo. Sin embargo, la obtención de estas anotaciones es extremadamente costosa y laboriosa (por ejemplo, en el dataset Cityscapes, una anotación fina tarda 90 minutos por imagen, frente a 7 minutos para una anotación "gruesa" o coarse).
Por otro lado, los datasets existentes suelen contener:

• Un número limitado de frames con anotaciones finas.
• Un número mayor de frames con anotaciones gruesas (bordes imprecisos).
• Una gran cantidad de frames sin anotar (raw).
  La mayoría de los modelos actuales solo utilizan las anotaciones finas, ignorando el potencial de los otros recursos para reducir la dependencia de la anotación manual.

2. Metodología

Los autores proponen utilizar Modelos Fundacionales de Visión (específicamente SAM y SAM 2) para automatizar la generación de pseudo-etiquetas y refinar anotaciones existentes, con el objetivo de reducir la cantidad de datos manualmente anotados necesarios para el entrenamiento sin sacrificar significativamente el rendimiento.

Se exploraron dos estrategias principales:

• A. Generación de Pseudo-etiquetas para Frames No Anotados (usando SAM 2):

  • Se toma un frame con anotación manual (ej. el frame 20 de un clip de 30 frames).
  • Se utiliza SAM 2 para rastrear y propagar las máscaras hacia frames futuros y pasados.
  • Se generan máscaras para frames específicos (ej. frames 10 y 30) para reemplazar las anotaciones manuales en esos puntos.
  • Hallazgo clave: No se deben usar todos los frames generados secuencialmente, ya que son muy similares. La diversidad de los frames seleccionados es más crítica que la cantidad.

• B. Refinamiento de Anotaciones Gruesas (usando SAM):

  • Se toman las anotaciones gruesas existentes (que no cubren objetos completos con precisión).
  • Se seleccionan puntos aleatorios dentro de las máscaras gruesas y se solicita a SAM que genere una máscara precisa basada en esos puntos.
  • Este proceso se aplica iterativamente (2 iteraciones) solo a clases de nivel de instancia (coche, persona, semáforo, etc.), evitando clases ambiguas como cielo o vegetación.
  • Las máscaras refinadas se mezclan con las anotaciones finas para el entrenamiento.

3. Contribuciones Clave

1. Importancia de la Diversidad sobre la Cantidad: Demostraron experimentalmente que la variedad de frames densamente anotados es más importante que el número total de frames. Entrenar con frames generados que están muy cerca temporalmente (secuenciales) degrada el rendimiento, mientras que seleccionar frames dispersos (ej. inicio, medio y final del clip) mantiene el rendimiento.
2. Viabilidad de la Auto-anotación: Validaron que los modelos fundacionales (SAM/SAM 2) pueden generar pseudo-etiquetas de alta calidad para frames no anotados y refinar anotaciones gruesas, funcionando efectivamente como un sustituto parcial de la anotación manual.
3. Reducción de Costos con Rendimiento Equivalente: Probaron que es posible reducir la necesidad de anotación manual en un tercio (manteniendo solo el 33% de datos finos y complementando con datos generados/refinados) logrando un rendimiento (mIoU) casi idéntico al uso del 100% de datos manuales.
4. Análisis de Fallos: Documentaron qué enfoques no funcionan (ej. usar todos los frames generados, refinar clases sin nivel de instancia o con bordes ambiguos), proporcionando una guía práctica para la comunidad.

4. Resultados

Los experimentos se realizaron en los datasets Cityscapes e IDD, utilizando arquitecturas de segmentación de video como TMANet y TDNet.

• Reducción de Anotación: Al reemplazar el 66% de las anotaciones manuales con pseudo-etiquetas generadas por SAM 2 (seleccionando frames 10 y 30 basados en el frame 20 anotado), el modelo TMANet alcanzó un mIoU de 74.48 (frente a 75.65 con el 100% de datos manuales), una caída mínima.
• Anotaciones Gruesas Refinadas: El uso de anotaciones gruesas refinadas con SAM mejoró el rendimiento en comparación con usar las anotaciones gruesas sin procesar. Sin embargo, la mezcla óptima de datos finos y gruesos refinados fue menos efectiva que la estrategia de generar pseudo-etiquetas para frames no anotados.
• Comparativa de Modelos: Los resultados fueron consistentes entre TMANet y TDNet, aunque TDNet mostró una mayor sensibilidad a la mezcla de datos refinados en ciertas proporciones.
• Métricas de Costo: Dado que la anotación gruesa tarda 7 minutos y la fina 90 minutos, la estrategia propuesta reduce drásticamente el costo temporal y económico de la creación de datasets.

5. Significado e Impacto

Este trabajo es significativo porque cambia el paradigma de "necesitar más anotaciones manuales" a "utilizar inteligencia artificial para generar datos de entrenamiento".

• Eficiencia de Datos: Permite entrenar modelos de segmentación de video de alto rendimiento con una fracción de los datos anotados manualmente, haciendo viable la creación de datasets para dominios donde la anotación es prohibitivamente cara.
• Guía Práctica: Ofrece una hoja de ruta clara para los investigadores: priorizar la diversidad de los frames seleccionados para la generación de pseudo-etiquetas y evitar la sobre-explotación de frames secuenciales similares.
• Futuro: Abre la puerta a la investigación en "entrenamiento con pocos datos" (low-data training) y sugiere que los modelos fundacionales pueden actuar como herramientas de anotación automatizada robustas, aunque aún se necesita mejorar la selección de diversidad de frames (más allá del flujo óptico simple) para maximizar los beneficios.

En conclusión, el artículo demuestra que la combinación de anotaciones manuales limitadas con la capacidad de inferencia de modelos fundacionales como SAM 2 puede reducir el costo de anotación en un 33% manteniendo un rendimiento competitivo, siendo la diversidad de los datos el factor crítico para el éxito.