Resumen Técnico: Agregación de Volumen de Similitud Espacio-Temporal para Reconocimiento de Acciones de Vocabulario Abierto

1. Enunciado del Problema

Los métodos recientes de Reconocimiento de Acciones de Vocabulario Abierto (OVAR) suelen depender de la agregación de características visuales en una representación global (por ejemplo, utilizando tokens [CLS]) antes de calcular la alineación con incrustaciones de texto. Aunque esto es efectivo para la generalización zero-shot, este paradigma descarta inherentemente la rica información de parches locales dentro de cada cuadro. En consecuencia, las señales espacio-temporales de alta granularidad, como las trayectorias de movimiento, las interacciones localizadas y la evolución de los patrones visuales a lo largo del tiempo, quedan oscurecidas. Los intentos existentes de aprovechar tokens locales (por ejemplo, TC-CLIP, BDC-CLIP) a menudo aún colapsan las interacciones espacio-temporales estructuradas en un único vector global antes de la alineación con el texto, fallando en modelar explícitamente la correspondencia entre los patrones visuales locales que evolucionan temporalmente y las semánticas textuales de la acción.

2. Metodología: Agregación de Volumen de Similitud (SimVA)

Los autores proponen SimVA, un marco que desplaza el paradigma de la agregación de características a la agregación de similitud. En lugar de fusionar primero las características visuales, SimVA construye un volumen denso de similitud espacio-temporal de 4 dimensiones entre tokens visuales a nivel de parche e incrustaciones de texto, preservando la evidencia local a lo largo de toda la tubería de procesamiento.

2.1 Construcción del Volumen de Similitud

Dado un video de entrada $V$ y prompts de texto de acción, el marco utiliza un modelo CLIP preentrenado para extraer:

• Incrustaciones Visuales: Incrustaciones a nivel de parche $F_{img} \in \mathbb{R}^{T \times H \times W \times D}$ para $T$ cuadros.
• Incrustaciones de Texto: Incrustaciones de clase $F_{text} \in \mathbb{R}^{N_C \times D}$ para $N_C$ categorías de acción.

Se construye un volumen de similitud de 4 dimensiones $S \in \mathbb{R}^{T \times H \times W \times N_C}$ calculando las similitudes coseno entre cada parche espacio-temporal $(t, i, j)$ y cada clase $c$. Este volumen representa la correspondencia visual-texto localizada a través del espacio y el tiempo.

2.2 Muestreo de Clases de Acción

Agreguar directamente el volumen completo es computacionalmente prohibitivo cuando $N_C$ es grande. SimVA introduce una estrategia de muestreo de clases:

1. Calcular una representación global del video $\bar{V}$ promediando los tokens [CLS] a nivel de cuadro.
2. Calcular puntuaciones de similitud global $S_{global} = \bar{V}^\top F_{text}$.
3. Seleccionar las $M$ mejores clases. Durante el entrenamiento, se añade ruido uniforme para fomentar la exploración, y se fuerza a que la clase de verdad fundamental esté incluida en el subconjunto.
   Esto reduce la dimensión de clases de $N_C$ a un tamaño manejable $M$, reduciendo el volumen a $Z_0 \in \mathbb{R}^{T \times H \times W \times M \times d_f}$.

2.3 Agregación Espacio-Temporal Estructurada

El marco procesa el volumen de similitud muestreado a través de una tubería estructurada repetida sobre $N_L$ capas:

• Agregación Espacial: Utilizando bloques Swin Transformer, el modelo refina los patrones de similitud intra-cuadro. Esto impone consistencia local entre parches que pertenecen al mismo objeto y suprime el ruido de fondo, contextualizando las similitudes locales dentro del cuadro.
• Modulación Consciente del Movimiento: Para inyectar señales de variación inter-cuadro, el modelo estima desplazamientos de movimiento entre cuadros consecutivos utilizando características de imagen de CLIP. Estos desplazamientos se normalizan para eliminar el movimiento global de la cámara y se proyectan en una señal de modulación $\gamma_t$. Esta señal escala adaptativamente las características refinadas espacialmente, enfatizando regiones con cambios dinámicos significativos (por ejemplo, objetos en movimiento) antes del modelado temporal.
• Agregación Temporal: Un bloque Mamba (Modelo de Espacio de Estados) procesa las secuencias de similitud conscientes del movimiento. A diferencia de los Transformers que atienden globalmente, el mecanismo de escaneo hacia adelante de Mamba se alinea con la progresión temporal natural de los videos. Acumula secuencialmente patrones de similitud conscientes de la transición, modelando la evolución de la evidencia específica de la acción a lo largo del tiempo mientras preserva la alineación espacio-temporal.

2.4 Objetivo de Entrenamiento

Las puntuaciones finales a nivel de video se obtienen mediante proyección lineal y agrupación promedio espacio-temporal. El objetivo de entrenamiento combina:

1. Pérdida de Agregación ($L_{agg}$): Pérdida de entropía cruzada sobre los logits de clases muestreadas.
2. Pérdida de Clasificación ($L_{cls}$): Una pérdida auxiliar calculada a partir de la alineación global video-texto (utilizando tokens [CLS]) para prevenir el olvido catastrófico y preservar el prior preentrenado.

3. Contribuciones Clave

1. Cambio de Paradigma: Introduce un marco para OVAR basado en CLIP que opera directamente en el espacio de similitud, desplazándose de la agregación de características a la agregación de similitud para preservar correspondencias espacio-temporales densas.
2. Arquitectura Escalable: Propone una estrategia de muestreo de clases eficiente en memoria que permite que la agregación de similitud escale a escenarios de vocabulario abierto grandes sin costos computacionales prohibitivos.
3. Agregación Estructurada: Diseña una tubería que integra agregación espacial (para consistencia intra-cuadro), modulación consciente del movimiento (para dinámicas inter-cuadro) y agregación temporal basada en Mamba (para modelado de evolución secuencial).
4. Validación Empírica: Demuestra efectividad en benchmarks de generalización zero-shot, few-shot y de base a novedad.

4. Resultados Experimentales

El método fue evaluado en cinco benchmarks estándar (Kinetics-400, Kinetics-600, HMDB-51, UCF-101, Something-Something V2) utilizando un backbone CLIP ViT-B/16.

• Rendimiento Zero-Shot: SimVA superó a líneas base fuertes (por ejemplo, ActionCLIP, X-CLIP, ViFi-CLIP, TC-CLIP) en todos los conjuntos de datos. En HMDB-51, UCF-101 y K600, logró resultados state-of-the-art o altamente competitivos (por ejemplo, 76.5% Top-1 en K600, 86.2% en UCF-101).
• Aprendizaje Few-Shot: En configuraciones con $K \in \{2, 4, 8, 16\}$ ejemplos por clase, SimVA superó consistentemente a los métodos existentes, indicando una adaptación robusta a tareas de video con supervisión limitada.
• Generalización de Base a Novedad: El modelo logró la mejor precisión de base en todos los conjuntos de datos y la media armónica (HM) más alta en UCF-101 y SSv2, mostrando una fuerte generalización a categorías no vistas mientras retiene el rendimiento en clases base.
• Eficiencia: A pesar de la construcción de volumen denso, SimVA mantiene un presupuesto computacional comparable a otros métodos basados en CLIP (124.6M parámetros, 315 GFLOPs), demostrando una favorable compensación entre eficiencia y rendimiento.

5. Significado y Afirmaciones

El artículo afirma que SimVA transfiere efectivamente las potentes capacidades de alineación imagen-texto de CLIP al dominio espacio-temporal modelando explícitamente cómo evolucionan los patrones visuales localizados en interacción con las semánticas textuales. Al mantener una correspondencia densa visual-texto y evitar el agrupamiento global temprano, el marco permite una discriminación precisa de acciones de alta granularidad que dependen de variaciones temporales sutiles.

Los autores afirman que la agregación en el espacio de similitud es una dirección prometedora para adaptar modelos de visión-idioma al reconocimiento de acciones en video. Reconocen una limitación respecto al presupuesto fijo de muestreo de clases, señalando que estrategias adaptativas podrían mejorar aún más la escalabilidad, pero mantienen que el enfoque actual ofrece un equilibrio robusto entre rendimiento y viabilidad computacional.