Bootstrapping Video Semantic Segmentation Model via Distillation-assisted Test-Time Adaptation

Resumen Técnico: DiTTA

1. El Problema

La Segmentación Semántica de Video (VSS) es una tarea fundamental para comprender escenas dinámicas, pero su aplicación práctica está limitada por la dependencia de grandes conjuntos de datos de video anotados densamente (nivel de píxel), lo cual es costoso y laborioso de producir.

• Enfoque actual (Modelos de Imagen): Una solución común es aplicar modelos de Segmentación Semántica de Imágenes (ISS) preentrenados, frame a frame. Sin embargo, estos modelos ignoran la coherencia temporal, lo que genera predicciones inconsistentes entre frames, especialmente en situaciones de oclusión o movimiento rápido.
• Limitaciones de los Modelos Fundacionales (SAM2): Modelos recientes como SAM2 permiten una propagación de máscaras de alta calidad, pero su uso directo en VSS es impráctico debido a:
  1. Alto costo computacional y de memoria (requiere invocar el modelo en cada frame).
  2. Dependencia de resultados iniciales de ISS que pueden ser erróneos, propagando esos errores sin capacidad de corrección.
  3. Falta de comprensión semántica profunda en comparación con modelos entrenados específicamente para VSS.

2. Metodología: DiTTA (Distillation-assisted Test-Time Adaptation)

El authors proponen DiTTA, un marco innovador que convierte un modelo ISS preentrenado en un modelo VSS consciente del tiempo mediante Adaptación en Tiempo de Prueba (TTA), sin necesidad de videos anotados. La metodología se basa en tres componentes clave:

1. Módulo de Fusión Temporal (Add-on):

   • Dado que los modelos ISS operan frame a frame, se introduce un módulo ligero basado en atención cruzada.
   • Este módulo actúa como un "puente" temporal, integrando características de frames anteriores ($F_{t-1}$) con el frame actual ($F_t$) mediante un mecanismo de consulta-clave-valor.
   • Utiliza un mapa de fiabilidad basado en la entropía de las predicciones para fusionar las logits originales con las logits informadas por el contexto temporal, priorizando la predicción más confiable en cada píxel.

2. Objetivos de Destilación Asistida por SAM2:

   • En lugar de usar SAM2 en cada frame durante la inferencia (lo cual es lento), DiTTA utiliza SAM2 solo en una fase de inicialización breve (ej. los primeros 10% del video).
   • Proceso:
     • El modelo ISS selecciona píxeles confiables para generar "prompts".
     • SAM2 propaga estos prompts bidireccionalmente para generar máscaras consistentes en el tiempo.
     • Se asignan etiquetas de clase a estas máscaras basándose en las predicciones del ISS.
   • Estos máscaras temporales sirven como supervisión intermedia para destilar el conocimiento temporal de SAM2 al modelo ISS.

3. Alineación Contrastiva Basada en Máscaras:

   • Para asegurar coherencia a nivel de características (no solo en logits), se utiliza una pérdida contrastiva.
   • Se emplea un codificador con momento (momentum encoder) para calcular prototipos de objetos a lo largo del tiempo.
   • El modelo principal se alinea con estos prototipos dentro de las regiones de la máscara, reforzando la consistencia temporal de las representaciones de los objetos.

Flujo de Trabajo:

1. Adaptación (Warm-up): Se usa una pequeña porción del video (ej. 10%). SAM2 genera objetivos de destilación. El modelo ISS se adapta (entrenando solo el decodificador) minimizando la pérdida de destilación y la pérdida contrastiva.
2. Inferencia (Freeze): El modelo adaptado se "congela" y se utiliza para inferir el resto del video sin SAM2 y sin más adaptación.

3. Contribuciones Clave

• Marco de Adaptación sin Anotación: Logra convertir un modelo de imagen estático en un modelo de video dinámico sin usar ningún conjunto de datos de video anotado para el entrenamiento.
• Eficiencia Computacional: A diferencia de los enfoques de "refinamiento zero-shot" que invocan SAM2 en cada frame, DiTTA solo usa SAM2 una vez durante la fase de adaptación. Esto permite una inferencia rápida (13.45 FPS vs 1.41 FPS de los métodos basados en SAM2 directo).
• Generalización Robusta: Funciona eficazmente incluso con porciones de video muy limitadas para la adaptación (ej. solo el 10% inicial) y se adapta bien a cambios de dominio (domain shift).
• Independencia del Modelo: Es agnóstico a la arquitectura del modelo base (validado con SegFormer y OCRNet).

4. Resultados Experimentales

Los experimentos se realizaron principalmente en los conjuntos de datos VSPW y Cityscapes, bajo un protocolo de evaluación realista llamado Warm-Up then Freeze (W2F) (adaptación en una fracción inicial, inferencia en el resto).

• Rendimiento Superior: DiTTA supera consistentemente a:
  • Modelos ISS y VSS totalmente supervisados (entrenados con datos anotados).
  • Métodos existentes de TTA (como TENT, AuxAdapt, CoTTA).
  • Enfoques de refinamiento zero-shot con SAM2.
• Métricas Clave (Protocolo W2F 10%):
  • mIoU: 51.1% (DiTTA) vs 49.0% (ISS base) y 49.8% (VSS supervizado TV3S).
  • Velocidad: 13.45 FPS (DiTTA) vs 1.41 FPS (Refinamiento Zero-shot con SAM2).
  • Consistencia Temporal (mVC): Mejora significativa en la suavidad de los resultados entre frames.
• Escenarios de Desplazamiento de Dominio:
  • Al adaptar un modelo entrenado en VSPW a Cityscapes, DiTTA mejora el mIoU en +2.7 puntos respecto a la línea base ISS, demostrando una fuerte capacidad de generalización.
  • Funciona incluso si el modelo ISS base fue entrenado en un conjunto de datos puramente estático (ADE20K), sin sesgo temporal previo.

5. Significado e Impacto

DiTTA representa un avance significativo hacia la aplicabilidad práctica de la segmentación de video en el mundo real:

• Solución Económica: Elimina la necesidad de costosos conjuntos de datos de video anotados, aprovechando la abundancia de datos de imágenes y la potencia de los modelos fundacionales (SAM2).
• Viabilidad en Dispositivos: Su eficiencia computacional lo hace apto para entornos con recursos limitados (robots, vigilancia, vehículos autónomos), donde la inferencia en tiempo real es crítica.
• Nueva Paradigma: Establece un nuevo estándar para la adaptación de modelos de visión, demostrando que la destilación de conocimiento temporal en tiempo de prueba puede superar a los métodos de entrenamiento supervisado tradicional en ciertos escenarios de despliegue.

En resumen, DiTTA ofrece una solución sin anotaciones, eficiente y escalable para transformar modelos de segmentación de imágenes en sistemas robustos de segmentación de video.