Resumen Técnico: SegFS – Segmentación de Instancias de Video de Vocabulario Abierto en Tiempo Real con Procesamiento de Doble Ruta

1. Declaración del Problema

La Segmentación de Instancias de Video de Vocabulario Abierto (OV-VIS, por sus siglas en inglés) tiene como objetivo identificar, rastrear y segmentar instancias de objetos a través de fotogramas de video basándose en prompts de texto arbitrarios. Aunque modelos recientes centrados en objetos (p. ej., GLEE, MOBIUS) han logrado una alta precisión, sufren de una sobrecarga computacional severa, particularmente en los componentes de potenciador de características (feature enhancer) y decodificador de objetos (object decoder). Estos componentes dominan los costos de inferencia, haciendo que el despliegue en tiempo real en dispositivos móviles (p. ej., teléfonos inteligentes) sea inviable. Los intentos existentes para optimizar estos modelos para dispositivos móviles aún no logran cumplir con los requisitos de alta tasa de fotogramas (p. ej., 30 FPS) sin una degradación significativa de la precisión. El desafío central es desacoplar la comprensión semántica multimodal computacionalmente costosa de la predicción de máscaras densa y fotograma a fotograma requerida para la propagación temporal.

2. Metodología: El Marco de Trabajo SegFS

Los autores proponen SegFS, un marco de trabajo de doble flujo "Rápido y Lento" diseñado para amortizar los costos computacionales mediante la separación del procesamiento en dos rutas distintas que operan a diferentes frecuencias temporales.

La Arquitectura de Doble Ruta

• La Ruta Lenta (Fotogramas Clave/Keyframes): Opera solo en fotogramas clave muestreados de forma dispersa (p. ej., cada $T$ fotogramas). Utiliza un modelo estándar y pesado de OV-VIS centrado en objetos (como MOBIUS, GLEE o TROY-VIS) para realizar una fusión multimodal completa y la decodificación de objetos. Esta ruta extrae embeddings de objetos (representaciones de instancias) de alta calidad alineados con el texto.
• La Ruta Rápida (Inter-fotogramas): Opera en cada fotograma intermedio entre los fotogramas clave. Evita por completo el costoso potenciador de características y el decodificador de objetos. En su lugar, depende de un Agregador de Características Rápido (Fast Feature Aggregator) ligero que condiciona los mapas de características del backbone utilizando los embeddings de los objetos propagados desde la ruta lenta.

Mecanismos Centrales

1. Proyección al Espacio de Características Rápidas: Los embeddings de los objetos decodificados por la ruta lenta se proyectan en el espacio de características del backbone. Una red de alimentación hacia adelante (FFN) selecciona los $K$ embeddings superiores basados en la similitud de texto y añade un token de fondo aprendible.
2. Módulo de Guía de Objetos: En el mapa de características del backbone de menor resolución ($P_5$), los embeddings de los objetos seleccionados se inyectan espacialmente. Esto se logra mediante:
   • Inyección de Objetos: Cálculo de la similitud de coseno entre las celdas espaciales de $P_5$ y los tokens de objetos para crear un mapa de características consciente de los objetos.
   • Fusión con Compuerta (Gated Fusion): Un mecanismo de compuerta mezcla la semántica de los objetos inyectada con las características originales del backbone, preservando pistas visuales precisas mientras se incorporan las semánticas de las instancias.
3. Upsampling Progresivo: El mapa $P_5$ enriquecido se escala progresivamente y se fusiona con las características del backbone de mayor resolución ($P_4, P_3, P_2$) utilizando bloques de Convolución Separable en Profundidad (DSConvGN) ligeros.
4. Predicción de Máscara: El mapa de características de alta resolución final se concatena mediante convolución con los embeddings de los objetos (que actúan como núcleos) para generar los logits de la máscara.
5. Asociación Temporal: El marco emplea el paradigma estándar de "rastreo por coincidencia" (MinVIS), asociando consultas de objetos a través de fotogramas mediante la similitud de coseno de sus embeddings, evitando la estimación explícita del flujo óptico.

Estrategia de Entrenamiento

SegFS se entrena en conjuntos de datos de segmentación de instancias basados en imágenes (COCO, LVIS, RefCOCO, etc.) y se trata como conjuntos de datos de video ignorando la continuidad temporal durante el entrenamiento.

• Coincidencia Híbrida: Durante el entrenamiento, la red lenta procesa la imagen para generar logits de categoría y cajas delimitadoras precisas. Estas se utilizan para establecer la coincidencia bipartita óptima (algoritmo húngaro) con la verdad de campo (ground truth).
• Supervisión: La red rápida es supervisada utilizando las predicciones de máscara derivadas de esta coincidencia, utilizando pérdidas de Máscara y DICE. Esto permite que la red rápida aprenda a reproducir la calidad de segmentación de la red lenta sin tener que ejecutar los componentes pesados de la misma.

3. Contribuciones Clave

• Extensión del Paradigma de Doble Ruta: Los autores extienden el enfoque basado en fotogramas clave al OV-VIS, demostrando que las características del backbone contienen intrínsecamente suficiente detalle espacial para la localización. En consecuencia, el pesado potenciador de características puede restringirse a fotogramas clave dispersos sin una pérdida significativa de precisión.
• Nuevo Agregador de Características Rápidas: Un módulo ligero que inyecta embeddings de instancias en la pirámide de características del backbone, permitiendo una generación de máscaras precisa con una latencia mínima.
• Relación Eficiencia-Precisión: El marco logra desacoplar la comprensión semántica de la predicción densa, alcanzando velocidades de tiempo real mientras mantiene un rendimiento de segmentación competitivo.

4. Resultados Experimentales

Los autores evaluaron SegFS en benchmarks estándar de OV-VIS: YouTubeVIS19, OVIS, BURST y LV-VIS.

• Rendimiento vs. Baselines:
  • SegFS logra un rendimiento comparable al baseline de "Reutilización de Objetos" (que ejecuta la red lenta completa pero se salta el decodificador) y supera significativamente a los métodos de propagación basados en flujo óptico (RAFT, LiteFlowNet2) y al competidor de doble red MPVSS.
  • Con el backbone MOBIUS-Mini-M, SegFS alcanza un AP de 41.6 en YouTubeVIS19, comparado con el 42.1 de la red lenta completa, reduciendo drásticamente la latencia.
• Eficiencia y Latencia:
  • Aceleración: SegFS logra una reducción de hasta 14× en la latencia en comparación con el modelo MOBIUS orientado a dispositivos móviles.
  • Capacidad de Tiempo Real: En un Samsung Galaxy S25 Ultra, SegFS cruza el umbral de los 30 FPS (alcanzando ~38 FPS amortizados en un intervalo de 6 fotogramas), mientras que los modelos base luchan por superar los 10–16 FPS.
  • Hardware: El método fue probado en varios chips móviles (Snapdragon 8 Elite, Gen 5, X2, XR2) y GPUs (A100, T4), mostrando consistentemente una latencia de borde superior.
• Estudios de Ablación:
  • Intervalo de Propagación ($T$): SegFS mantiene un rendimiento robusto a medida que aumenta el intervalo entre fotogramas clave (hasta $T=10$), superando a los métodos de deformación de máscara (mask-warping) que se degradan rápidamente.
  • Impacto de los Componentes: Los módulos de "Inyección de Objetos" y "Refinamiento basado en Atención" fueron identificados como los componentes más críticos para cerrar la brecha de rendimiento entre la ruta rápida y la red lenta completa.

5. Significado y Reivindicaciones

El artículo afirma que SegFS establece un nuevo estándar para el OV-VIS en tiempo real en dispositivos. Al desplazar la carga computacional de la propagación de instancias del decodificación de objetos al condicionamiento del espacio de características, el marco evita eficazmente los componentes más costosos de los modelos actuales de vanguardia.

Los autores enfatizan que su enfoque:

1. Preserva las Capacidades Zero-Shot: Mantiene la naturaleza de vocabulario abierto de los modelos lentos subyacentes.
2. Permite el Despliegue Móvil: Es el primer enfoque que logra consistentemente >30 FPS en hardware móvil moderno para esta tarea sin sacrificar la calidad de la máscara.
3. Desacopla Semántica de Geometría: Demuestra que la comprensión semántica de alto nivel no necesita recomputarse para cada fotograma, siempre que los embeddings de las instancias se proyecten correctamente en el espacio de características del backbone visual.

El trabajo concluye que para el OV-VIS, el pesado potenciador de características es redundante para los inter-fotogramas, y que una fusión ligera de las características del backbone con los embeddings proyectados es suficiente para una segmentación de alta calidad y en tiempo real.