Resumen Técnico: FeVOS - Segmentación de Objetos en Video mediante Expresiones de Previsión

Definición del Problema

Las tareas actuales de Segmentación de Objetos en Video por Referencia (RVOS) están limitadas a la localización de expresiones lingüísticas dentro de fotogramas observados, centrándose en atributos estáticos, apariencias o eventos que ya han ocurrido. Este paradigma carece de la capacidad de razonamiento espaciotemporal pre-decisivo, el cual es crítico para la toma de decisiones proactiva en aplicaciones del mundo real como la conducción autónoma y la planificación robótica.

Los autores proponen una nueva tarea: Segmentación de Objetos en Video mediante Expresiones de Previsión (FeVOS). En esta tarea, se le entrega al modelo un clip de video y una "expresión de previsión" (una consulta sobre un evento futuro, por ejemplo, "¿Qué herramienta se utilizará?"). El modelo debe razonar sobre los fotogramas observados (previos al evento) para predecir qué objeto(s) estará(n) involucrado(s) en la acción venidera y generar máscaras de segmentación a nivel de píxel para esos objetos en los fotogramas observados. Esto requiere cerrar la brecha entre las pistas visuales actuales y los resultados futuros utilizando el conocimiento del mundo y el razonamiento causal.

Metodología

1. El Conjunto de Datos FeVOS

Para dar soporte a esta tarea, los autores construyeron el conjunto de datos FeVOS a través de un riguroso proceso de cinco etapas:

• Recolección de Videos: Obtenidos de diversos benchmarks (COIN, STAR, CLEVR, OOPS, EPIC-KITCHENS-VISOR) que cubren actividades egocéntricas y videos instructivos.
• Filtrado Automático: Se utilizó Qwen2.5-VL para filtrar videos basados en narrativas claras de causa y efecto, múltiples objetos interactuando y pistas accionables observables.
• División Manual: Expertos anotadores dividieron los videos en segmentos "observados" y "futuros", asegurando que la parte observada contenga pistas implícitas para el evento futuro.
• Anotación de Expresiones: Un proceso de dos etapas donde los anotadores diseñaron expresiones de previsión (por ejemplo, "el objeto que será tomado") y los validadores confirmaron que se podía identificar el objetivo mediante razonamiento predictivo sin ver los fotogramas futuros.
• Anotación de Máscara y CoT: Se generaron máscaras a nivel de píxel usando SAM2 y se crearon 2,904 anotaciones sintéticas de Cadena de Pensamiento (CoT). Estas anotaciones CoT detallan explícitamente los pasos de razonamiento (analizar el contexto temporal, las pistas espaciales y las relaciones causales) necesarios para alcanzar la predicción.

El conjunto de datos final comprende 968 clips de video, 14,525 expresiones de previsión y 2,904 anotaciones CoT.

2. Arquitectura del Modelo FeVOS-R1

Los autores desarrollaron FeVOS-R1, un Modelo de Lenguaje Grande Multimodal (MLLM) basado en el marco Sa2VA (que integra InternVL2.5 y SAM2). El modelo se entrena mediante un proceso de dos etapas:

• Etapa 1: Ajuste Fino Supervisado (SFT) con CoT

  • El modelo es ajustado finamente con el conjunto de datos sintético CoT.
  • Aprende a generar procesos de razonamiento paso a paso (analizando pistas visuales y relaciones causales) antes de emitir el token especial [SEG].
  • Las funciones de pérdida incluyen entropía cruzada por píxel, pérdida Dice y pérdida de generación de texto.
  • Esta etapa establece los patrones de razonamiento y el formato de salida.

• Etapa 2: Aprendizaje por Refuerzo (RL) con GRPO

  • El modelo se somete a la Optimización de Política Relativa de Grupo (GRPO).
  • Diseño de Recompensa: A diferencia de trabajos previos que dependen de complejas recompensas de formato (por ejemplo, estructura JSON), FeVOS-R1 utiliza una única recompensa de precisión basada en IoU ($R_{IoU}$) derivada de la intersección sobre la unión entre las máscaras predichas y las de referencia (ground-truth).
  • Los autores encontraron que las restricciones de formato eran redundantes tras el SFT y que centrarse únicamente en la precisión de la segmentación mediante IoU producía un mejor rendimiento.
  • Esta etapa optimiza la cadena de razonamiento para maximizar directamente la calidad de la segmentación.

Contribuciones Clave

1. Formulación de la Tarea: Introducción de la Segmentación de Objetos en Video mediante Expresiones de Previsión, desplazando la RVOS de la localización de eventos observados hacia la predicción de eventos futuros basados en pistas visuales implícitas.
2. Conjunto de Datos (FeVOS): Un conjunto de datos curado con 968 videos, 14,525 expresiones de previsión y 2,904 anotaciones CoT, proporcionando el primer benchmark para el razonamiento predictivo en la segmentación de objetos en video.
3. Modelo (FeVOS-R1): Un marco de entrenamiento de dos etapas que combina SFT guiado por CoT y RL con recompensas de extremo a extremo, logrando un rendimiento de vanguardia en la nueva tarea.

Resultados Experimentales

Rendimiento en FeVOS

• Baselines Zero-Shot: Los modelos de RVOS existentes (por ejemplo, ReferFormer, LMPM) y los MLLM basados en video (por ejemplo, VideoLISA, VRS-HQ) tienen dificultades significativas, con puntuaciones J&F por debajo de 31.0, lo que indica una falta de capacidad de razonamiento predictivo.
• Baselines de Ajuste Fino: El ajuste fino estándar de Sa2VA (sin CoT/RL) mejora el rendimiento a 35.8 J&F.
• FeVOS-R1: El método propuesto alcanza 42.3 J&F, una mejora de +6.5 respecto al baseline de solo SFT. Esto demuestra la necesidad de cadenas de razonamiento explícitas y la optimización guiada por recompensa.

Generalización

• ReVOS y MeViS: FeVOS-R1 se generaliza bien a los benchmarks tradicionales de RVOS. En ReVOS, alcanza 60.3 J&F, superando al baseline de Sa2VA ajustado finamente (58.1) y a los modelos zero-shot, particularmente en el subconjunto de razonamiento. En MeViS, alcanza 49.5 J&F, superando a modelos de tamaño comparable.
• Estudios de Ablación:
  • El proceso de dos etapas (SFT + RL) es superior al entrenamiento de solo SFT o solo RL.
  • El uso de la recompensa IoU por sí sola en la etapa de RL supera a las combinaciones con recompensas de formato, sugiriendo que una vez que el formato se aprende en el SFT, el modelo se beneficia de centrarse puramente en la precisión de la tarea.

Análisis Cualitativo

Las comparaciones cualitativas muestran que FeVOS-R1 analiza con éxito el contexto temporal y las relaciones causales (por ejemplo, prediciendo que un corcho saldrá disparado debido a la presión, o que una bolsa de lavandería se llenará basándose en acciones en curso), mientras que los modelos de referencia suelen fallar al distinguir entre los objetos observados y los objetivos futuros.

Significado y Afirmaciones

El artículo afirma que FeVOS hace avanzar la comprensión de video a nivel de píxel de la observación a la anticipación. Aunque el rendimiento absoluto en FeVOS (42.3 J&F) sigue siendo inferior al de los benchmarks de RVOS tradicionales (por ejemplo, ReVOS con 60.3), esta brecha subraya la dificultad inherente del razonamiento predictivo. El trabajo destaca que los modelos actuales carecen del razonamiento espaciotemporal y el conocimiento del mundo necesarios para la toma de decisiones proactiva.

Los autores posicionan este trabajo como una base para la investigación futura en la comprensión visual anticipatoria, señalando que, aunque FeVOS-R1 muestra un fuerte potencial, aún quedan desafíos en escalar el contexto, modelar pistas transitorias, manejar la incertidumbre y permitir la inferencia en tiempo real.