Resumen Técnico: SAM 2++: Rastrear Cualquier Cosa a Cualquier Granularidad

1. Enunciado del Problema

El rastreo de video se ha fragmentado históricamente en subtareas independientes basadas en la granularidad del objetivo: Rastreo de Objeto Único (SOT) utilizando cajas delimitadoras, Segmentación de Objetos en Video (VOS) utilizando máscaras a nivel de píxel, y Rastreo de Puntos (PT) utilizando puntos clave de alta granularidad. Aunque estas tareas comparten un objetivo central —estimar los estados del objetivo a lo largo del tiempo—, han dado lugar a modelos especializados con diseños redundantes y generalización limitada. Los modelos de visión unificados existentes a menudo comparten backbones, pero mantienen interfaces específicas de la tarea o ignoran granularidades específicas (como el rastreo de puntos), fallando en establecer una representación verdaderamente unificada de los estados de rastreo. Además, la falta de un conjunto de datos que proporcione anotaciones simultáneas para máscaras, cajas y puntos obstaculiza el entrenamiento y la evaluación de marcos de trabajo de rastreo unificados.

2. Metodología: SAM 2++

Los autores proponen SAM 2++, un marco unificado que extiende el Modelo Segmentar Cualquier Cosa 2 (SAM 2) para rastrear objetivos a cualquier granularidad (máscaras, cajas, puntos) mediante un diseño integrado de codificación de indicaciones, decodificación de salida y representación de memoria.

2.1 Entrada y Salida de Tareas Unificadas

• Indicaciones Específicas de la Tarea: Para manejar granularidades de entrada inconsistentes, el marco introduce indicaciones específicas mientras preserva el codificador de indicaciones original de SAM 2.
  • Máscara: Utiliza máscaras binarias ($I_{mask}$).
  • Caja: Utiliza coordenadas de caja delimitadora ($I_{box}$).
  • Punto: Utiliza coordenadas de punto ($I_{point}$) combinadas con una máscara Gaussiana ($G_{point}$). Esta máscara Gaussiana resalta el punto en una forma consistente con la salida del decodificador y la entrada del codificador de memoria, reemplazando las máscaras binarias ingenuas para una mejor representación. El radio y el sigma de esta Gaussiana se disminuyen gradualmente durante el entrenamiento para facilitar la convergencia.
• Decodificador Unificado: Extendiendo el Decodificador de Máscaras de SAM 2, este componente produce una pre-salida unificada en forma de máscara para todas las tareas.
  • SOT: Se añade una Cabeza Basada en Esquinas (CornHead) para optimizar explícitamente la posición y la escala de la caja delimitadora a partir de la salida de la máscara, evitando las imprecisiones de la derivación simple de la caja exterior.
  • PT: Las coordenadas del punto se derivan de la salida de la máscara utilizando una operación de soft-argmax durante el entrenamiento (para asegurar el flujo de gradiente) y un argmax estándar durante la inferencia. Esto alinea la predicción del punto con la indicación Gaussiana y la fuente de memoria.

2.2 Mecanismo de Memoria Adaptativo a la Tarea

La innovación central aborda la observación de que diferentes granularidades de rastreo tienen requisitos de memoria distintos. El intercambio completo de parámetros en los módulos de memoria conduce a una degradación del rendimiento porque una única representación de memoria no puede satisfacer simultáneamente las necesidades de segmentación precisa de las máscaras, las necesidades de localización gruesa de las cajas y la naturaleza Gaussiana específica de los puntos.

• Desacoplamiento: El marco desacopla los componentes de memoria mientras mantiene una tubería de rastreo compartida.
  • Codificador de Memoria: Cada tarea (máscara, caja, punto) tiene su propia copia independiente del Codificador de Memoria convolucional.
  • Atención de Memoria: Cada tarea está equipada con un módulo independiente LoRA (Adaptación de Bajo Rango) para la Atención de Memoria basada en transformadores.
• Resultado: Este diseño permite que el modelo mantenga una estructura de representación de memoria compartida mientras se adapta a las semánticas de estado específicas de cada granularidad, previniendo interferencias y permitiendo la promoción mutua entre tareas.

2.3 Estrategia de Entrenamiento

El modelo se entrena conjuntamente en tres tareas utilizando una estrategia de muestreo alterno (probabilidades 1:4:5 para máscara:caja:punto). El proceso de entrenamiento incorpora:

• Indicaciones Interactivas: Para las tareas de máscara y caja, el modelo admite tanto entradas de verdad fundamental como entradas ruidosas/interactivas (por ejemplo, cajas ruidosas, clics positivos).
• Fotos Correctivas: Para escenarios interactivos, el modelo muestrea puntos correctivos de regiones de falsos positivos/negativos para refinar las predicciones de forma iterativa.
• Funciones de Pérdida: Una combinación de pérdidas Focal y Dice para máscaras, pérdidas IoU y L1 para cajas (mediante la cabeza de esquinas), y pérdida de distancia L1 para puntos. La predicción de oclusión se supervisa mediante entropía cruzada independientemente de la visibilidad del objeto.

3. Contribuciones Clave

3.1 El Marco SAM 2++

El artículo propone el primer marco unificado capaz de rastrear objetivos a cualquier granularidad (máscaras, cajas, puntos) dentro de una sola arquitectura. Logra esto mediante:

• Indicaciones específicas de la tarea que mapean entradas diversas a incrustaciones generales.
• Un Decodificador Unificado que estandariza las salidas.
• Un mecanismo de Memoria Adaptativo a la Tarea que equilibra el intercambio de parámetros con las semánticas de estado específicas de la tarea.

3.2 Conjunto de Datos de Rastreo a Cualquier Granularidad (TAG)

Para apoyar el entrenamiento y la evaluación unificados, los autores construyeron TAG, un conjunto de datos de rastreo de video a gran escala que contiene 6,000 videos con 2.2 millones de fotogramas.

• Anotaciones: Proporciona anotaciones de alta calidad para las tres granularidades (máscaras de segmentación, cajas delimitadoras y puntos clave) para las mismas secuencias de video.
• Motor de Datos: El conjunto de datos se creó utilizando un motor de datos por fases que combina anotación manual y finalización asistida por modelo.
  • Fase 1: Anotación manual de cada fotograma (1,000 videos).
  • Fase 2 y 3: Anotación manual de fotogramas dispersos (cada 10º y 20º) con finalización en bucle de modelo para fotogramas intermedios, utilizando estrategias de rastreo hacia atrás y fusión para garantizar la calidad.
• Alcance: El conjunto de datos cubre escenas diversas, resoluciones y atributos desafiantes como desenfoque de movimiento, oclusión y deformación.

4. Resultados Experimentales

Experimentos exhaustivos en múltiples puntos de referencia demuestran que SAM 2++ establece un nuevo estado del arte (SOTA) en las tres tareas:

• Segmentación de Objetos en Video (VOS): Supera a modelos especializados (por ejemplo, XMem, DEVA, Cutie) en puntos de referencia que incluyen YouTubeVOS, MOSE, LVOS-v2 y BURST.
• Rastreo de Objeto Único (SOT): Supera a rastreadores dedicados (por ejemplo, OSTrack, ARTrack, HIPTrack) en TrackingNet, GOT-10k y VastTrack. Cabe destacar que logra esto como un rastreador unificado de extremo a extremo sin las estrategias de recorte previo comunes en SOT.
• Rastreo de Puntos: Supera tanto a rastreadores fuera de línea como a rastreadores en línea modificados (por ejemplo, CoTracker3, TAPTR) en BADJA, Perception Test y TAP-Vid. Demuestra una fuerte generalización al rastreo de puntos arbitrarios a pesar de haber sido entrenado con datos de puntos clave.
• Rendimiento Unificado: El modelo supera consistentemente a otros modelos de visión unificados (por ejemplo, Unicorn, UNINEXT, MITS) y al intento anterior de rastreo unificado (TAG), validando la efectividad de la memoria adaptativa a la tarea y la representación unificada.

5. Significado y Afirmaciones

El artículo afirma que SAM 2++ establece un marco de rastreo unificado y robusto que cierra la brecha entre paradigmas de rastreo dispares. Su significado radica en:

1. Unificación: Demuestra que las tareas de rastreo con diferentes granularidades pueden unificarse bajo un solo paradigma de coincidencia de memoria sin sacrificar el rendimiento, desafiando la necesidad de diseños específicos de la tarea.
2. Generalización: Al entrenar en el diverso conjunto de datos TAG y utilizar la memoria adaptativa a la tarea, el modelo aprende representaciones robustas que se generalizan entre tareas, a menudo superando a modelos especializados entrenados con datos específicos de la tarea.
3. Provisión de Recursos: La introducción del conjunto de datos TAG proporciona un recurso crítico para la investigación futura en rastreo unificado, ofreciendo el primer punto de referencia a gran escala y multi-granularidad.
4. Utilidad Práctica: Como modelo base, SAM 2++ sirve como una herramienta versátil tanto para aplicaciones de rastreo como para anotación automatizada, reduciendo el costo de cambiar entre diferentes granularidades de rastreo.

Los autores reconocen limitaciones, señalando que la versión actual no admite referencias de lenguaje o audio y que los parámetros de memoria desacoplados están supervisados por tareas individuales, lo que limita los beneficios del aprendizaje multitarea para esos componentes específicos. Sin embargo, el marco representa un paso significativo hacia un modelo base de rastreo de video de propósito general.