AgentRVOS: Reasoning over Object Tracks for Zero-Shot Referring Video Object Segmentation

Resumen Técnico: AgentRVOS

1. El Problema: Segmentación de Objetos en Video Referida (RVOS)

La Segmentación de Objetos en Video Referida (RVOS) tiene como objetivo generar una secuencia de máscaras de segmentación para un objeto específico a lo largo de todo un video, basándose en una consulta de lenguaje natural.

El desafío principal radica en la naturaleza de las consultas modernas, que van más allá de la descripción estática de la apariencia (ej. "el coche rojo") e incluyen:

• Relaciones temporales y de movimiento: (ej. "el perro que se levanta después de estar sentado").
• Relaciones inter-objetos: (ej. "el objeto que empuja al otro").
• Razonamiento complejo: (ej. "el vehículo que tiene un neumático de repuesto").

Limitaciones de los métodos actuales (Zero-Shot):
Los enfoques training-free (sin entrenamiento) existentes suelen seguir un pipeline donde un Modelo de Lenguaje Multimodal (MLLM) selecciona fotogramas clave y realiza la localización del objeto, propagando luego las máscaras. Esto presenta dos fallos críticos:

1. Mala cobertura espacio-temporal: Los MLLMs suelen procesar solo un subconjunto disperso de fotogramas debido a límites de tokens, lo que hace difícil detectar objetos que aparecen brevemente o de forma intermitente.
2. Razonamiento prematuro: Se exige al MLLM tomar decisiones temporales antes de tener evidencia visual de nivel de objeto completa, lo que degrada la calidad del razonamiento.

2. Metodología: AgentRVOS

AgentRVOS es un pipeline agente inteligente y sin entrenamiento que combina las fortalezas complementarias de SAM3 (Segment Anything Model 3) y un MLLM. La premisa central es delegar la percepción densa a SAM3 y el razonamiento complejo al MLLM.

El pipeline opera en dos fases principales:

Fase A: Generación de Rastros de Máscara Candidatos (Candidate Mask Track Generation)

• Extracción de Conceptos: El MLLM analiza la consulta de texto para extraer "conceptos" que SAM3 pueda entender (frases nominales simples).
  • Consultas de Referencia: Si el objeto se identifica solo por texto (ej. "gato"), se extraen conceptos directos.
  • Consultas de Razonamiento: Si se requiere contexto visual, el MLLM examina fotogramas muestreados para inferir categorías de objetos plausibles.
  • Estrategia de Granularidad: Se extraen conceptos centrales (ej. "persona") y conceptos más amplios (ej. "humano", "mobiliario") para asegurar una alta recuperación (recall).
• Generación con SAM3: SAM3 procesa todos los fotogramas del video (no solo una muestra) utilizando los conceptos extraídos. Esto genera rastros de máscaras temporales consistentes para todas las instancias detectadas, capturando incluso objetos pequeños o que aparecen brevemente.
• Mecanismo de Reintento (Retry): Si SAM3 no detecta objetos con los conceptos iniciales, el MLLM refina o amplía los conceptos en iteraciones sucesivas hasta obtener candidatos.

Fase B: Poda Espacio-Temporal Iterativa (Iterative Spatio-temporal Pruning)
Una vez obtenida una piscina de candidatos, el MLLM realiza el razonamiento para seleccionar el objetivo correcto mediante un proceso iterativo:

1. Clasificación: En cada iteración, el MLLM examina los rastros de candidatos (visualizados con máscaras superpuestas) y los clasifica en:
   • Aceptado (Accept): Coincide claramente con la consulta.
   • Rechazado (Reject): Claramente no coincide.
   • Incertidumbre (Uncertain): Requiere más evidencia.
2. Poda de Candidatos: Los candidatos "Aceptados" se guardan y los "Rechazados" se descartan permanentemente. Solo los "Incertos" pasan a la siguiente iteración.
3. Poda del Alcance Temporal: Este es un componente clave. El sistema restringe el análisis de fotogramas únicamente a los intervalos temporales donde existen los candidatos inciertos.
   • Ventaja: Esto elimina el ruido de fotogramas irrelevantes y concentra la capacidad de razonamiento del MLLM en los momentos y objetos ambiguos.
4. Convergencia: El proceso se repite hasta que no quedan candidatos inciertos (todos han sido aceptados o rechazados) o se alcanza un límite de iteraciones.

Herramienta de Apariencia (Opcional):
Si la consulta depende de atributos visuales finos (color, textura) que podrían estar ocultos por las máscaras superpuestas, el agente invoca una herramienta para generar descripciones de apariencia de los candidatos antes de la poda final.

3. Contribuciones Clave

1. Pipeline Agente Sin Entrenamiento: Propone una arquitectura que no requiere fine-tuning, integrando SAM3 y MLLMs de manera complementaria.
2. Delegación de Roles: Asigna la detección densa y la localización temporal a SAM3 (que ve todo el video) y el razonamiento semántico complejo al MLLM (que opera sobre evidencia estructurada de objetos).
3. Estrategia de Poda Espacio-Temporal Iterativa: Introduce un mecanismo donde el MLLM no analiza el video completo de una vez, sino que reduce progresivamente el espacio de búsqueda (candidatos y tiempo), mejorando la eficiencia y la precisión del razonamiento.
4. Generalización: El método funciona consistentemente con diversos backbones de MLLM (tanto de código abierto como cerrados).

4. Resultados Experimentales

El método fue evaluado en tres benchmarks principales: MeViS, ReVOS y ReasonVOS.

• Rendimiento Estado del Arte (SOTA): AgentRVOS supera significativamente a todos los métodos training-free existentes.
  • Mejoras notables en MeViS (+40.0%), ReVOS (+18.6%) y ReasonVOS (+15.3%) en métricas combinadas ($\mathcal{J}\&\mathcal{F}$).
  • Incluso supera a pipelines que utilizan modelos cerrados muy potentes (como GPT-4o) cuando se compara bajo condiciones justas.
• Comparación con Métodos Basados en Entrenamiento: Al usar MLLMs potentes (como Qwen3-VL-32B o GPT-5), AgentRVOS alcanza un rendimiento comparable o superior a métodos que requieren entrenamiento supervisado masivo, demostrando la eficacia del enfoque zero-shot.
• Análisis de Componentes:
  • La estrategia de reintento en la extracción de conceptos reduce drásticamente la tasa de máscaras vacías.
  • La poda temporal es crucial: eliminar fotogramas irrelevantes mejora la capacidad de razonamiento del MLLM.
  • El uso de MLLMs más grandes escala linealmente con el rendimiento.

5. Significado e Impacto

AgentRVOS representa un cambio de paradigma en la RVOS zero-shot. Demuestra que no es necesario entrenar modelos masivos para resolver consultas complejas de video si se diseña un pipeline inteligente que:

1. Utilice modelos de visión fundacional (como SAM3) para una percepción exhaustiva y densa.
2. Utilice la capacidad de razonamiento de los MLLMs de manera estratégica, proporcionándoles evidencia visual estructurada y restringida en lugar de fotogramas dispersos.

Esto valida la viabilidad de sistemas agénticos modulares que pueden aprovechar las mejoras continuas en modelos de lenguaje y visión sin necesidad de reentrenamiento costoso, estableciendo un nuevo estándar para la comprensión semántica de video.