SENTRY: SAM2-Enhanced Neighbor-Aware and Temporally Reasoned Memory for Visual Tracking

Resumen Técnico: SENTRY

Declaración del Problema
Los sistemas de Seguimiento de Objetos Visuales (VOT) basados en arquitecturas de memoria, particularmente aquellos que aprovechan el Segment Anything Model 2 (SAM2), han demostrado capacidades sólidas para mantener la coherencia temporal. Sin embargo, los autores identifican un modo de fallo crítico en los rastreadores basados en SAM2: la selección de máscaras basada únicamente en la confianza. En la operación estándar de SAM2, se selecciona la máscara con la mayor Intersección sobre Unión (IoU) predicha y se escribe en el banco de memoria sin verificar su consistencia temporal a corto plazo.

El artículo argumenta que bajo condiciones desafiantes —específicamente oclusión, movimiento no lineal rápido y la presencia de distractores— las puntuaciones de confianza altas no son fiables. Seleccionar estas máscaras basándose únicamente en la confianza instantánea conduce a entradas incorrectas en el banco de memoria, lo que posteriormente propaga errores y causa deriva (pérdida de la identidad del objetivo). Si bien las extensiones existentes intentan mitigar esto mediante filtrado de movimiento o comprobaciones de distractores, a menudo dependen de heurísticas que fallan en escenas con desorden o bajo trayectorias no lineales, y no verifican sistemáticamente la consistencia temporal antes de comprometer una actualización de memoria.

Metodología: SENTRY
Para abordar esto, los autores proponen SENTRY (SAM2-Enhanced Neighbor-Aware and Temporally Reasoned memorY), un módulo plug-and-play libre de entrenamiento que opera como un mecanismo de refinamiento antes de la escritura (refine-before-write). SENTRY no modifica la arquitectura del backbone ni la estructura de memoria del rastreador base; en su lugar, intercepta el proceso de decisión de actualización de la memoria.

El flujo de trabajo central de SENTRY involucra tres etapas:

1. Generación de Máscaras Candidatas:
   En lugar de depender de una única salida del decodificador, SENTRY agrega un conjunto diverso de hipótesis por cuadro:

   • Hipótesis del Decodificador: Las tres máscaras candidatas del decodificador SAM2, filtradas por IoU y puntuaciones de oclusión.
   • Propuestas AMG: Propuestas ajenas al objetivo provenientes de la Generación Automática de Máscaras (AMG), filtradas por similitud de coseno con una plantilla del primer cuadro para asegurar la relevancia.
   • Prior de Kalman: Una máscara de respaldo basada únicamente en el movimiento, derivada de un filtro de Kalman de aceleración constante, utilizada principalmente durante oclusiones severas cuando las pistas de apariencia fallan.
   • Filtración: Las hipótesis redundantes se suprimen mediante Soft-NMS en el espacio de las cajas delimitadoras (bounding boxes) para crear un conjunto de candidatos compacto y diverso.

2. Razonamiento de Consistencia de Ciclo Consciente del Vecindario:
   Cada máscara candidata es evaluada para determinar su plausibilidad temporal de corto horizonte antes de ser escrita en la memoria:

   • Propagación hacia Atrás: Cada candidato se utiliza como prompt para re-segmentar los $\tau$ cuadros anteriores (por defecto $\tau=10$), generando un tracklet hacia atrás.
   • Pool de Tracklets Vecinos: SENTRY mantiene un grupo de tracklets "vecinos" que representan distractores recientes (máscaras que fueron plausibles pero no seleccionadas en pasos previos).
   • Emparejamiento de Consistencia de Ciclo: Los tracklets hacia atrás de los candidatos se comparan contra la trayectoria del objetivo alineada hacia adelante y los tracklets vecinos. Utilizando un algoritmo de emparejamiento bipartito (algoritmo húngaro), el sistema penaliza a los candidatos cuyas trayectorias se alinean con los distractores y favorece a aquellos que mantienen la consistencia de ciclo con el movimiento reciente del objetivo.

3. Actualización de Memoria:
   Se selecciona el candidato con la mayor puntuación de consistencia temporal (similitud con la trayectoria del objetivo). Si ningún candidato cumple con un umbral de fiabilidad, el sistema recurre al prior de Kalman. La máscara seleccionada se escribe entonces en el banco de memoria, reemplazando la selección estándar impulsada por la confianza.

Contribuciones Clave

1. Mecanismo de Refinamiento Antes de la Escritura: La introducción de SENTRY, un módulo libre de entrenamiento que impone la consistencia temporal de corto horizonte antes de cualquier actualización de memoria en rastreadores basados en SAM2. Cambia el paradigma de "selección impulsada por confianza" a "admisión validada por consistencia".
2. Evaluación Unificada a Escala Total: El artículo presenta la primera re-evaluación exhaustiva y reproducible de cinco rastreadores de código abierto basados en SAM2 (SAM2, SAMURAI, DAM4SAM, SAMITE, HiM2SAM) a través de cuatro escalas de modelo (T, S, B, L) y nueve benchmarks. Esto llena los vacíos en los informes previos y establece líneas base consistentes.
3. Rendimiento SOTA Zero-Shot: La integración de SENTRY produce nuevos resultados de vanguardia (state-of-the-art o SOTA) zero-shot en múltiples benchmarks sin necesidad de reentrenar los modelos base.

Resultados Experimentales
SENTRY fue integrado en cinco bases y evaluado en nueve conjuntos de datos: LaSOT, LaSOText, TNL2K, GOT-10k, TrackingNet, VOT20, VOT22, VOTS24 y DiDi.

• Ganancias de Rendimiento: SENTRY ofrece mejoras consistentes en todas las escalas y conjuntos de datos.
  • LaSOT: SENTRY-D4S (SENTRY sobre DAM4SAM) logró una ganancia de 1.6% en Éxito (S) y 1.7% en Precisión Normalizada (NP) sobre la base.
  • LaSOText: SENTRY-D4S estableció un nuevo SOTA, mejorando S en 1.5% y P en 2.2% sobre DAM4SAM.
  • TNL2K: SENTRY-SR (sobre SAMURAI) mostró la mejora más dramática, ganando 17.8% en Éxito, atribuido a la capacidad de SENTRY para manejar el movimiento no lineal donde el filtro de Kalman lineal de SAMURAI falla.
  • VOT/DiDi: Las variantes de SENTRY alcanzaron nuevos puntajes SOTA en VOT20, VOT22, VOTS24 y DiDi, mejorando significativamente la Robustez (Rob) y la Exactitud (Acc) al reducir los eventos de reinicio causados por la deriva.
• Eficiencia: A pesar de los pasos de razonamiento añadidos, SENTRY mantiene un rendimiento en tiempo real. En una GPU NVIDIA A100, la versión SAM2-L con SENTRY corre a 32.8 FPS (comparado con 44.0 FPS de la base), incurriendo en solo un ~25% de sobrecarga. La huella de memoria aumenta solo 0.4–0.6 GB de VRAM.
• Estudios de Ablación: Los autores demuestran que cada componente (hipótesis del decodificador, propuestas AMG, Soft-NMS, prior de Kalman y el pool de vecinos) contribuye incrementalmente al rendimiento. Se muestra que el pool de vecinos es crítico para prevenir la deriva en escenas con desorden al penalizar las trayectorias alineadas con distractores.

Significado y Reivindicaciones
El artículo afirma que SENTRY proporciona una solución unificada al problema de la deriva en el seguimiento aumentado por memoria al imponer la validez temporal en la interfaz de escritura. Los autores enfatizan que:

• La mejora proviene de escrituras de memoria verificadas en lugar de los componentes internos específicos de SAM2, lo que sugiere que el enfoque es generalizable a otros rastreadores basados en memoria.
• La consistencia temporal se trata no solo como un problema de predicción del cuadro actual, sino como una decisión de admisión de memoria explícita.
• El método logra robustez sin reentrenamiento, cambios arquitectónicos o una pesada sobrecarga computacional, lo que lo convierte en una mejora práctica de tipo "plug-and-play" para los sistemas de VOT existentes.

Los resultados sugieren que, para el seguimiento aumentado por memoria, la fiabilidad del mecanismo de actualización de la memoria es un cuello de botella más significativo que la capacidad del backbone o del propio banco de memoria.