Otter: Mitigating Background Distractions of Wide-Angle Few-Shot Action Recognition with Enhanced RWKV

Resumen Técnico: Otter para Reconocimiento de Acciones con Pocos Ejemplos (FSAR) en Videos de Gran Angular

1. Planteamiento del Problema

El Reconocimiento de Acciones con Pocos Ejemplos (FSAR) busca clasificar acciones no vistas utilizando una cantidad extremadamente limitada de muestras de entrenamiento. Aunque el uso de videos de gran angular (con un campo de visión amplio, FoV > 80°) ofrece un contexto rico para entender las acciones en escenarios específicos, introduce dos desafíos críticos que degradan el rendimiento de los modelos actuales:

1. Distracciones del Fondo (Proporción reducida del sujeto): En videos de gran angular, el sujeto principal (la persona que realiza la acción) ocupa una proporción mucho menor del cuadro en comparación con el fondo. Los modelos globales tienden a captar la información masiva del fondo (ej. nieve en snowboarding) en lugar del sujeto, lo que lleva a una inversión de la información primaria y secundaria, causando errores de clasificación.
2. Relaciones Temporales Degradadas: La abundancia de información de fondo similar entre frames consecutivos oscurece la evolución del sujeto principal. Esto dificulta la reconstrucción de las relaciones temporales (dirección de la acción y alineación de frames), un componente vital para distinguir acciones similares.

Los modelos existentes, incluso aquellos basados en arquitecturas avanzadas como RWKV (Receptance Weighted Key Value), no abordan simultáneamente la necesidad de resaltar al sujeto y reconstruir la temporalidad en este contexto específico.

2. Metodología: La Arquitectura Otter

Los autores proponen Otter (CompOund SegmenTation and Temporal REconstructing RWKV), una arquitectura diseñada específicamente para mitigar las distracciones de fondo en FSAR de gran angular. Otter se basa en el modelo RWKV (que combina la eficiencia de las RNN con la capacidad de modelado global de los Transformers) e integra dos módulos principales:

• Módulo de Segmentación Compuesta (CSM - Compound Segmentation Module):

  • Objetivo: Resaltar al sujeto principal antes de la extracción de características.
  • Funcionamiento: Divide cada frame en parches (patches). Utiliza una mezcla espacial, temporal y de canales (inspirada en RWKV-5/6) para aprender pesos adaptativos para cada parche.
  • Mecanismo: Genera una máscara de pesos aprendibles que enfatiza las regiones del sujeto y suprime el fondo. Luego, reensambla los parches en sus posiciones originales. Esto permite que el modelo se centre en el "atleta" en lugar de la "nieve" circundante.

• Módulo de Reconstrucción Temporal (TRM - Temporal Reconstruction Module):

  • Objetivo: Restaurar las relaciones temporales degradadas por el fondo similar.
  • Funcionamiento: Se integra en la construcción de prototipos temporales mejorados. Realiza un escaneo bidireccional (ordenado y reverso) de las características de los frames.
  • Mecanismo: Combina los resultados de ambos escaneos mediante un promedio ponderado para reconstruir la evolución temporal de la acción, mitigando la confusión causada por fondos estáticos o repetitivos.

• Construcción de Prototipos y Entrenamiento:

  • Otter construye dos tipos de prototipos: uno temporalmente mejorado (usando TRM) y uno regular.
  • La distancia final entre la consulta y la clase se calcula como un promedio ponderado de las distancias a ambos prototipos.
  • La función de pérdida total ($L_{total}$) combina la pérdida de entropía cruzada ($L_{ce}$) con pérdidas auxiliares que fomentan la distinción entre prototipos de clases similares ($L^1_P$ y $L^2_P$).

3. Contribuciones Clave

1. Primera aplicación de RWKV en FSAR de gran angular: Otter es el primer intento de adaptar el modelo RWKV para abordar específicamente los desafíos de los videos de gran angular en tareas de pocos ejemplos.
2. Módulo CSM para Enfoque del Sujeto: Introduce una segmentación adaptativa que permite al modelo ignorar el ruido del fondo y centrarse en el sujeto, incluso cuando este es pequeño en el marco.
3. Módulo TRM para Recuperación Temporal: Diseña un mecanismo de escaneo bidireccional que reconstruye eficazmente las relaciones temporales que suelen degradarse en secuencias de gran angular.
4. Validación Exhaustiva: Demuestra que la combinación de estos módulos supera a los métodos actuales (SOTA) en múltiples benchmarks y, crucialmente, en un dataset específico de gran angular (VideoBadminton).

4. Resultados Experimentales

Los autores evaluaron Otter en benchmarks estándar de FSAR (SSv2, Kinetics, UCF101, HMDB51) y en el dataset de gran angular VideoBadminton.

• Rendimiento General (SOTA): Otter alcanzó el estado del arte en todos los conjuntos de datos probados.
  • En SSv2 (1-shot), superó al método anterior más fuerte (Manta) pasando de 63.4% a 64.7% (con backbone ResNet-50) y hasta 67.2% (con ViT).
  • En Kinetics (5-shot), logró un 96.4% con ResNet-50 y 97.3% con ViT, superando consistentemente a métodos como SOAP y Manta.
• Evaluación en Gran Angular: En el dataset VideoBadminton, Otter superó significativamente a otros métodos (MoLo, SOAP, Manta), logrando una precisión de 75.8% en configuración 5-shot (vs 67.1% de Manta), demostrando su superioridad específica en este escenario.
• Robustez:
  • Niveles de FoV: A medida que aumenta el campo de visión (FoV), el rendimiento de otros métodos cae drásticamente, mientras que Otter mantiene una tendencia de degradación mucho más estable.
  • Ruido: Otter demostró mayor robustez frente a ruido a nivel de muestra, ruido a nivel de frame y ruido visual (zoom, lluvia, iluminación).
• Eficiencia: Al basarse en RWKV, Otter ofrece una velocidad de inferencia superior a los métodos basados en Transformers (como MoLo o SOAP), siendo más rápido que Manta (basado en Mamba) en algunas configuraciones, lo que lo hace viable para aplicaciones prácticas.

5. Significado e Impacto

Este trabajo es significativo porque:

• Aborda un vacío de investigación: Reconoce que el 35% de las muestras en benchmarks actuales son de gran angular y que los métodos existentes no están optimizados para ellas.
• Solución Dual: No solo mejora la atención espacial (sujeto vs. fondo) sino que también corrige la pérdida de información temporal, dos problemas que a menudo se tratan por separado.
• Viabilidad Práctica: Demuestra que es posible lograr un alto rendimiento en condiciones de recolección de datos realistas (grandes campos de visión, pocos ejemplos) sin sacrificar la eficiencia computacional.
• Herramienta para el Futuro: Proporciona una nueva línea de base (baseline) y un conjunto de técnicas (segmentación compuesta, reconstrucción temporal bidireccional) que pueden inspirar futuras investigaciones en visión por computadora y aprendizaje con pocos ejemplos.

En conclusión, Otter representa un avance sustancial en la capacidad de las máquinas para entender acciones humanas en entornos complejos y de gran escala, superando las limitaciones de distracción de fondo que han frenado el progreso en este dominio.