Resumen Técnico: X2SAM: Cualquier Segmentación en Imágenes y Videos

1. Declaración del Problema

Aunque los Modelos de Lenguaje Multimodal Grandes (MLLM) han avanzado significativamente en la comprensión y el razonamiento visual global (por ejemplo, descripción de imágenes, VQA), su capacidad para generar salidas densas a nivel de píxel para una comprensión espacial y temporal precisa sigue siendo limitada. Por el contrario, los modelos fundacionales de segmentación como SAM y SAM2 producen máscaras de alta calidad, pero dependen de prompts visuales de bajo nivel (puntos, cajas) y carecen de la capacidad de interpretar nativamente instrucciones textuales conversacionales complejas.

Los MLLM de segmentación existentes intentan cerrar esta brecha, pero sufren de fragmentación estructural:

• Modelos solo de imagen (por ejemplo, LISA) procesan texto, pero carecen de soporte para prompts visuales y entradas de video.
• Modelos solo de video (por ejemplo, VISA, VideoLISA) soportan la generación temporal de texto a máscara, pero a menudo carecen de arquitecturas unificadas para imágenes estáticas y prompts visuales.
• Limitaciones actuales: Ningún marco de trabajo único soporta nativamente tanto prompts textuales como visuales en imágenes estáticas y videos dinámicos, manteniendo al mismo tiempo la consistencia temporal.

2. Metodología: Marco de Trabajo X2SAM

X2SAM es un MLLM unificado orientado a la segmentación diseñado para extender las capacidades de "cualquier segmentación" desde imágenes hasta videos. Integra un MLLM con un módulo de Memoria de Máscara especializado para manejar tareas diversas bajo un único paradigma de seguimiento de instrucciones.

2.1 Formulación Unificada

El marco trata los objetos de interés como estados condicionales y las instrucciones de lenguaje como entradas contextuales. Utiliza tokens especiales <p> y </p> para delimitar condiciones de objetos y un token dedicado <SEG> para indicar la máscara de segmentación. La representación oculta del token <SEG> sirve como una directiva semántica que guía al decodificador de máscaras. Esta formulación soporta 14 tareas distintas en imágenes y videos, incluyendo:

• Segmentación genérica, de vocabulario abierto, de referencia y por razonamiento.
• Generación de Conversación Anclada (GCG).
• Segmentación Interactiva y Visualmente Anclada (VGD).

2.2 Arquitectura

El modelo emplea una extracción visual de doble rama y una pipeline de generación unificada:

1. Codificadores Visuales:
   • Codificador de Visión: Basado en Qwen3-VL, extrae representaciones visuales globales ($Z_v$) de imágenes o cuadros de video (aumentados con marcas de tiempo).
   • Codificador de Máscara: Basado en SAM2, captura características de alta resolución y finas ($Z_m$) esenciales para la predicción densa de máscaras.
   • Muestreador de Regiones: Un módulo sin parámetros que extrae incrustaciones de prompts visuales localizados de $Z_m$ utilizando muestreo por puntos y agrupación adaptativa, permitiendo la inyección de señales visuales (puntos/cajas) en el LLM.
2. Modelo de Lenguaje Grande (LLM):
   • Procesa instrucciones textuales tokenizadas e incrustaciones visuales.
   • Genera autoregresivamente la respuesta en lenguaje ($Y_q$) y una incrustación latente SEG dedicada. Esta incrustación actúa como un puente semántico entre la comprensión del lenguaje y la predicción de máscaras.
3. Decodificador de Máscara:
   • Rediseñado a partir de X-SAM, integra Atención de Token a Imagen y Atención de Consulta a Imagen.
   • Recibe la incrustación proyectada del token SEG ($Z_p$), consultas de máscara aprendibles ($Q_m$) y características visuales refinadas temporalmente ($Z_w$).
   • Se utiliza la inicialización cero para los parámetros de atención de Token a Imagen para garantizar un entrenamiento estable.
4. Módulo de Memoria de Máscara:
   • Crucial para tareas de video, este módulo mantiene una memoria caché de tipo Primero en Entrar, Primero en Salir (FIFO) de características de visión guiadas de cuadros anteriores.
   • Atención de Memoria: Se enfoca en las características guiadas de cuadros anteriores para producir características refinadas temporalmente para el cuadro actual.
   • Codificador de Memoria: Codifica características de visión submuestreadas y logits de máscara actuales en nuevas características guiadas para su almacenamiento.
   • Este mecanismo reemplaza la decodificación independiente cuadro por cuadro, asegurando la consistencia de la máscara a través de secuencias de video.

2.3 Estrategia de Entrenamiento

X2SAM utiliza una estrategia de Entrenamiento Conjunto Unificado sobre conjuntos de datos heterogéneos de imágenes y videos:

• Fase 1 (Segmentador Agnóstico): El codificador de máscaras se congela; el decodificador de máscaras se entrena en SA-1B (solo máscara) para aprender priores de forma y contorno independientes de la clase.
• Fase 2 (Entrenamiento Conjunto): El modelo se entrena conjuntamente en 14 tareas de segmentación y conjuntos de datos de chat.
  • Pipeline de Cambio de Dimensión: Los tensores de video se transponen y dividen en tensores a nivel de cuadro para procesarlos a través de la interfaz a nivel de imagen, con dependencias temporales manejadas por la Memoria de Máscara.
  • Agrupación Consciente de la Modalidad: Para gestionar las restricciones de memoria, los lotes de video se mantienen pequeños (tamaño de lote 1 por dispositivo) mientras que los lotes de imagen se expanden (múltiplo de 4), permitiendo un uso eficiente del paralelismo de la GPU.
  • Función de Pérdida: Un objetivo conjunto combina la pérdida autoregresiva (lenguaje), la pérdida de máscara (BCE + Dice) y la pérdida focal (clasificación).

3. Contribuciones Clave

1. Marco Unificado: X2SAM es el primer modelo que soporta nativamente siete tareas de segmentación (genérica, de vocabulario abierto, de referencia, por razonamiento, conversación anclada, centrada en objetos y visualmente anclada) en ambas imágenes y videos dentro de una única interfaz de seguimiento de instrucciones.
2. Módulo de Memoria de Máscara: Introduce un módulo novedoso que acopla el anclaje semántico con la propagación temporal, permitiendo la generación de máscaras temporalmente consistentes para videos sin depender de propagación en cascada o independencia cuadro por cuadro.
3. BenchMark de Anclaje Visual en Video (V-VGD): Propone un nuevo benchmark que evalúa la capacidad de segmentar pistas de objetos en videos utilizando prompts visuales interactivos (puntos/cajas), llenando una brecha en los protocolos de evaluación existentes.
4. Entrenamiento Conjunto Eficiente: Demuestra una estrategia de entrenamiento unificada que reduce los costos de entrenamiento (3.3K horas de GPU frente a 5.2K para un entrenamiento conjunto simple) manteniendo un rendimiento equilibrado entre modalidades.

4. Resultados Experimentales

X2SAM fue evaluado en 14 tareas a través de benchmarks de imágenes y videos, mostrando un rendimiento sólido en ambos dominios:

• Segmentación de Imagen: X2SAM se mantiene competitivo con generalistas especializados en imagen (por ejemplo, X-SAM). Logra resultados de última generación o cercanos a la última generación en segmentación de referencia (RefCOCOg) y por razonamiento, mientras mejora significativamente la segmentación de vocabulario abierto (I-OV) en comparación con métodos anteriores basados en MLLM.
• Segmentación de Video: X2SAM supera a los generalistas de video existentes basados en MLLM (por ejemplo, VISA, VideoLISA, UniPixel) en la mayoría de los benchmarks.
  • Segmentación Genérica: Logra 65.1 mIoU en VSPW y 69.9/88.4 AP/AP50 en YT-VIS19.
  • Referencia y Razonamiento: Establece nuevos estándares de última generación en tareas de referencia en video (Ref-YT21, Ref-DV17) y razonamiento (ReVOS), superando a modelos especializados no MLLM como ReferFormer-B en tareas de razonamiento.
  • Conversación Anclada: Mejora el V-GCG mIoU en +21.5 sobre VideoGLaMM.
• Anclaje Visual (V-VGD): En el nuevo benchmark V-VGD, X2SAM supera sustancialmente a SAM2-H (por ejemplo, 74.4 AP frente a 54.0 AP en YT-VIS19 con prompts de caja), validando la efectividad del muestreador de regiones y la memoria de máscara en la propagación de prompts visuales.
• Capacidades de Chat: A pesar del enfoque en la segmentación, X2SAM conserva fuertes capacidades generales de chat en imágenes y videos, superando a muchos modelos especializados en chat en benchmarks como MMBench y VideoMME.

5. Significado y Afirmaciones

El artículo afirma que X2SAM unifica con éxito el paradigma de "cualquier segmentación" desde imágenes estáticas hasta videos dinámicos. Al integrar un MLLM con un módulo de Memoria de Máscara, supera las limitaciones de enfoques fragmentados anteriores, ofreciendo una única interfaz para instrucciones multimodales complejas (texto y visual) a través de tareas diversas.

Los autores enfatizan que X2SAM establece una línea base práctica para la comprensión espacio-temporal unificada a nivel de píxel. Si bien reconoce que los modelos especializados pueden aún superarlo en tareas de enfoque estrecho (por ejemplo, segmentación de objetos en video optimizada sin lenguaje), X2SAM demuestra que un modelo generalista puede lograr un fuerte equilibrio entre la cobertura de tareas, la precisión y la preservación de capacidades conversacionales generales. La introducción del benchmark V-VGD y la estrategia de entrenamiento conjunto unificado se destacan como pasos clave hacia sistemas de visión-lenguaje más robustos y versátiles.