A Heterogeneous Two-Stream Framework for Video Action Recognition with Comparative Fusion Analysis

Resumen Técnico: DualStreamHybrid – Un Marco Heterogéneo de Dos Flujos para el Reconocimiento de Acciones en Video

1. El Problema

La mayoría de las arquitecturas de reconocimiento de acciones basadas en el paradigma de "dos flujos" (RGB y flujo óptico) utilizan el mismo tipo de red neuronal (backbone) para ambas modalidades. El estudio argumenta que este enfoque es subóptimo porque las modalidades tienen propiedades estructurales fundamentalmente distintas:

• RGB: Contiene información de apariencia, contexto de la escena y objetos, la cual se beneficia de relaciones espaciales de largo alcance.
• Flujo Óptico: Captura patrones de movimiento local y pixel a pixel, una estructura que se alinea mejor con las operaciones de convolución.
  Además, existe una falta de investigación sistemática sobre cómo la escala del conjunto de datos (número de clases y videos) influye en la elección de la mejor estrategia de fusión entre estas modalidades.

2. Metodología (DualStreamHybrid)

Los autores proponen una arquitectura heterogénea que asigna un codificador especializado a cada flujo:

• Flujo de Apariencia (RGB): Utiliza un ViT-Tiny/16 (Vision Transformer) preentrenado en ImageNet-21k. Se elige el Transformer porque su mecanismo de auto-atención permite capturar relaciones globales en el cuadro de video de manera más eficiente que las convoluciones.
• Flujo de Movimiento (Óptico): Utiliza una MobileNetV2 entrenada desde cero. Se utiliza una CNN debido a su capacidad para procesar la coherencia espacial local del movimiento. El input es un "stack" de 20 canales (intercalando desplazamientos horizontales $u$ y verticales $v$ de 10 pares de cuadros).
• Capa de Proyección: Dado que los vectores de características tienen dimensiones distintas (192 para ViT y 1280 para MobileNetV2), se implementa una capa de proyección con activación ReLU y dropout para alinearlos en un espacio común de 192 dimensiones.
• Estrategias de Fusión: El marco evalúa cinco métodos de forma controlada:
  1. Late Fusion (Fusión tardía): Promedio de las distribuciones softmax.
  2. Concatenation (Concatenación): Unión de vectores seguida de un MLP.
  3. Cross-Attention (Atención cruzada): El flujo óptico actúa como key y value, mientras que el RGB actúa como query.
  4. Weighted Fusion (Fusión ponderada): Combinación convexa mediante dos pesos aprendibles ($\alpha_{RGB}$ y $\alpha_{flow}$).
  5. Gated Fusion (Fusión por compuerta): Un mecanismo de gating por dimensión para controlar la importancia de cada flujo.

3. Contribuciones Clave

• Diseño Heterogéneo: Rompe con la práctica común de usar backbones simétricos, demostrando que emparejar la arquitectura con la naturaleza de la señal (ViT para apariencia, CNN para movimiento) es efectivo.
• Estudio Comparativo de Fusión: Proporciona un análisis sistemático de cómo la complejidad de la fusión interactúa con el tamaño del dataset.
• Interpretabilidad: El uso de la fusión ponderada permite observar cómo el modelo asigna importancia a la apariencia vs. el movimiento según la complejidad de la tarea.

4. Resultados Principales

El modelo se evaluó en dos datasets de escalas distintas: UCF11 (11 clases) y UCF50 (50 clases).

• En UCF11 (Dataset pequeño): La Atención Cruzada (Cross-Attention) fue la ganadora con un 98.12% de precisión, superando significativamente al baseline de solo RGB (95.94%). Esto sugiere que en datasets pequeños, la interacción explícita entre modalidades es muy potente.
• En UCF50 (Dataset grande/complejo): La Fusión Ponderada (Weighted Fusion) resultó ser la más robusta con un 96.86%. A diferencia de las otras estrategias que perdieron eficacia debido a la mayor complejidad y el presupuesto limitado de entrenamiento, la fusión ponderada mantuvo una estabilidad notable.
• Análisis de Pesos: En UCF11, el modelo utiliza casi por igual ambos flujos ($\approx 0.50/0.50$). En UCF50, el modelo tiende a confiar ligeramente más en el RGB ($\approx 0.55/0.45$), lo que indica que en espacios de acción más diversos, la apariencia es un predictor más estable.

5. Significancia y Conclusiones

El trabajo demuestra que no existe una estrategia de fusión universal. La elección óptima depende de la escala del problema:

1. Para problemas con pocos datos y clases, los mecanismos de atención complejos (Cross-Attention) son superiores.
2. Para problemas de mayor escala y diversidad, los mecanismos simples y con pocos parámetros (Weighted Fusion) ofrecen mejor generalización y estabilidad.

Finalmente, el estudio identifica un "cuello de botella" práctico: la calidad del flujo óptico se ve degradada por la compresión de video (MPEG/AVI), lo que limita el potencial del flujo de movimiento, sugiriendo que futuros trabajos deberían usar estimadores de flujo basados en aprendizaje profundo (como RAFT) para maximizar el rendimiento.