Resumen Técnico: GMOS – Fundamentación de la Segmentación de Objetos en Movimiento en el Espacio y el Tiempo 3D

1. Definición del Problema y Limitaciones de los Enfoques Actuales

La Segmentación de Objetos en Movimiento (MOS) tiene como objetivo descubrir, segmentar y rastrear objetos que se mueven independientemente de la cámara. Esta capacidad es fundamental para aplicaciones como la conducción autónoma, la detección de objetos camuflados y la vigilancia por video, así como para métodos de reconstrucción de escenas 3D/4D que requieren separar objetos dinámicos de fondos estáticos.

Los autores identifican dos limitaciones fundamentales en los métodos MOS existentes:

1. Falta de Conciencia 3D: Los métodos actuales dependen en gran medida de modalidades auxiliares 2D precalculadas (por ejemplo, flujo óptico, trayectorias de puntos o mapas de profundidad). Estas entradas carecen de información geométrica 3D, lo que hace que los métodos sean frágiles ante movimientos de cámara grandes o paralaje de profundidad intenso. Además, la generación de estas entradas auxiliares incurre en una sobrecarga sustancial de preprocesamiento.
2. Granularidad Temporal Gruesa: Las métricas y métodos existentes suelen tratar el movimiento como un atributo a nivel de secuencia. Enmascaran cada objeto que se mueve en cualquier punto de la secuencia de video, independientemente de si el objeto está actualmente en movimiento. Esto pasa por alto el estado de movimiento instantáneo de los objetos, impide el despliegue en línea y en tiempo real, y falla en distinguir entre objetos que están temporalmente estáticos y aquellos que son verdaderamente estacionarios.

2. Metodología: El Marco GMOS

Los autores proponen GMOS (Grounding Moving Object Segmentation), un marco de alimentación directa que opera directamente sobre video RGB para producir una segmentación consciente de 3D y de granularidad temporal fina sin entradas auxiliares. El marco sigue un diseño de propuesto-propagador.

2.1 El Propuesto (Predicción por Cuadro)

El propuesto opera sobre una ventana temporal corta (aproximadamente 0.5 segundos) centrada en un cuadro de consulta. Fusiona características geométricas y de segmentación para generar propuestas de objetos y estados de movimiento para el cuadro intermedio.

• Codificador Geométrico: Un codificador $\pi^3$ congelado (un modelo de reconstrucción 3D de alimentación directa) procesa la ventana temporal corta para extraer características geométricas. Esto permite al modelo desentrelazar la paralaje inducida por la cámara del movimiento independiente del objeto. Solo se conserva la característica del cuadro intermedio, ya que la correspondencia intercuadro se codifica mediante la atención entre cuadros del modelo.
• Codificador de Segmentación: Un codificador SAM2 congelado procesa el cuadro de consulta para proporcionar fuertes priores de objetividad y características de segmentación de alta resolución.
• Fusión de Características y Decodificación: Las características geométricas y de segmentación se fusionan y pasan a través de un decodificador transformador con $N$ consultas de objetos aprendibles. El decodificador produce:
  • Máscaras de segmentación para objetos en movimiento.
  • Un estado de movimiento binario ($m=1$ si se mueve, $0$ si está estático).
  • Puntuaciones estimadas de IoU y confianza.
• Objetivo de Entrenamiento: Los autores introducen una pérdida basada en la confianza que reduce automáticamente el peso de las anotaciones de movimiento a nivel de cuadro ruidosas cerca de las transiciones estático-movimiento. Esto mitiga la ambigüedad de las etiquetas donde el estado de un objeto cambia abruptamente.

2.2 El Propagador (Consistencia Temporal)

Para vincular las propuestas por cuadro en trayectorias de objetos coherentes a través de todo el video, GMOS emplea un propagador basado en un predictor de video SAM2.

• Mecanismo: El propagador toma las propuestas de objetos en movimiento de alta calidad del propuesto (filtradas por probabilidad de movimiento e IoU estimada) y las utiliza como indicaciones para actualizar o inicializar trayectorias en el estado de SAM2.
• Modos:
  • Procedimiento en Línea: Una única pasada causal hacia adelante que comienza desde el primer cuadro. Soporta MOS-I (Instantáneo) transmitiendo máscaras y estados de movimiento a medida que se procesa el video. No puede recuperar máscaras para objetos que inicialmente están estáticos y solo se mueven más tarde.
  • Procedimiento fuera de Línea: Un proceso de dos etapas. Primero ejecuta el procedimiento en línea, selecciona un cuadro ancla con el IoU predicho agregado más alto y luego realiza una propagación bidireccional (hacia adelante y hacia atrás) para recuperar máscaras densas para todos los cuadros, soportando tanto MOS convencional como MOS-I.

2.3 GMOS-S (Variante de Fondo-Primer Plano)

Para un despliegue crítico en eficiencia, los autores introducen GMOS-S, una variante que predice todos los objetos en movimiento como una única máscara binaria de primer plano. Elimina el decodificador transformador basado en consultas y el propagador, resultando en un modelo de extremo a extremo con una latencia de inferencia significativamente menor.

3. Conjunto de Datos y Protocolo de Evaluación

3.1 Conjunto de Datos GMOS-2K

Para apoyar el entrenamiento y la evaluación en este régimen, los autores curaron GMOS-2K, un conjunto de datos de 2.210 videos del mundo real extraídos de cinco métricas establecidas de Segmentación de Objetos en Video (VOS) (DAVIS17, YTVOS19, OVIS, MoCA-Mask, HOI4D).

• Característica Clave: A diferencia de los conjuntos de datos VOS estándar, GMOS-2K incluye anotaciones de movimiento temporal por objeto. Especifica los intervalos de tiempo exactos durante los cuales cada objeto se mueve activamente, distinguiéndolos de objetos estáticos o objetos que están temporalmente estacionarios.
• Curación: El conjunto de datos se filtró para asegurar que todos los objetos en movimiento tengan máscaras de verdad fundamental. Los videos donde los objetos no se mueven durante toda la secuencia completa se sometieron a Anotación de Granularidad Temporal Fina (TFA) para etiquetar los intervalos de movimiento.

3.2 Protocolo de Evaluación MOS-I

Los autores formalizan MOS-I ("I" por Instantáneo), un protocolo de evaluación de granularidad temporal fina.

• Definición: A diferencia del MOS convencional, que puntúa las máscaras para todos los cuadros si un objeto se mueve en algún lugar de la secuencia, MOS-I puntúa las máscaras de segmentación solo en los cuadros donde el objeto se mueve activamente.
• Métricas:
  1. Jaccard de objetos en movimiento ($J_{mov}$): Precisión de segmentación en cuadros de movimiento activo.
  2. Recuento de falsos positivos (FP count): Penaliza predecir movimiento para objetos estáticos o de fondo.
  3. IoU temporal medio (mtIoU): Una medida conjunta de precisión de detección y supresión de falsos positivos.

4. Resultados Experimentales

GMOS se evaluó en métricas de MOS, MOS-I y Segmentación de Objetos en Video No Supervisada (UVOS).

• Métricas MOS: GMOS logra resultados de vanguardia (SOTA) en todas las métricas MOS convencionales (DAVIS16-M, DAVIS17-M, SegTrackv2, FBMS-59, MoCA, YTVOS19-M). Supera significativamente a los métodos anteriores, particularmente en conjuntos de datos con interacciones densas de objetos (YTVOS19-M) y objetos camuflados (MoCA).
• Métricas MOS-I: En las nuevas métricas MOS-I (DAVIS17-IM, YTVOS19-IM), GMOS supera a la SOTA anterior por márgenes sustanciales (por ejemplo, +13.4 en $J_{mov}$ en YTVOS19-IM). Los resultados demuestran que tratar el movimiento como un atributo a nivel de secuencia es un cuello de botella significativo para la segmentación instantánea.
• Métricas UVOS: GMOS también se generaliza bien a VOS no supervisada (DAVIS16/17), logrando SOTA en DAVIS17 y resultados competitivos en DAVIS16, a pesar de haber sido entrenado principalmente para la segmentación de objetos en movimiento.
• Eficiencia: GMOS se ejecuta aproximadamente tres veces más rápido que los métodos MOS multiobjeto anteriores (por ejemplo, 0.38s/cuadro frente a 1.79s/cuadro para FlowSAM). GMOS-S es aún más rápido (0.26s/cuadro).

5. Significado y Afirmaciones

El artículo afirma que GMOS representa un cambio en la forma en que se aborda la segmentación de objetos en movimiento al fundamentar la tarea en espacio y tiempo 3D:

1. Fundamentación 3D: Al aprovechar modelos de reconstrucción 3D de alimentación directa ($\pi^3$) directamente sobre video RGB, GMOS logra robustez ante el movimiento de la cámara y el paralaje de profundidad sin depender de entradas auxiliares 2D propensas a errores como el flujo óptico.
2. Fundamentación Temporal: Al introducir el protocolo MOS-I y la predicción de estado de movimiento instantáneo, GMOS habilita una segmentación de granularidad fina y en línea que refleja con precisión el estado dinámico de los objetos cuadro a cuadro.
3. Eficiencia: El marco soporta inferencia en línea y despliegue de transmisión, lo que lo hace adecuado para aplicaciones en tiempo real.
4. Contribución de Recursos: La liberación de GMOS-2K y el protocolo MOS-I proporciona un recurso unificado y un estándar de evaluación para el desarrollo de métodos MOS de granularidad temporal fina, abordando la falta de conjuntos de datos que distinguen entre objetos en movimiento y objetos temporalmente estáticos.

Los autores concluyen que GMOS establece un nuevo estado del arte mientras se ejecuta significativamente más rápido que la tecnología anterior, cerrando efectivamente la brecha entre la segmentación de alta precisión y los requisitos de despliegue en tiempo real.