Dual-View Optical Flow for 4D Micro-Expression Recognition - A Multi-Stream Fusion Attention Approach

Título: Flujo Óptico de Doble Vista para el Reconocimiento de Microexpresiones 4D: Un Enfoque de Fusión Multi-Stream con Atención

1. El Problema

El reconocimiento de microexpresiones (ME) es fundamental para la computación afectiva, pero presenta desafíos únicos debido a la naturaleza involuntaria, extremadamente breve y de baja intensidad de estos movimientos faciales.

• Limitaciones de los datos 4D: Aunque los datos 4D (mallas 3D + tiempo) ofrecen una descripción detallada de los cambios geométricos faciales, su procesamiento directo requiere arquitecturas complejas (como PointNet++ o CNNs 3D) que imponen una carga computacional prohibitiva y un gran consumo de memoria.
• Ineficacia de los métodos 2D tradicionales: Los enfoques basados en video 2D o características de puntos clave a menudo fallan en capturar movimientos espaciotemporales sutiles, especialmente bajo variaciones de iluminación o pose.
• Fusión de características estática: Las arquitecturas multi-stream existentes suelen tratar los componentes de movimiento (horizontal, vertical, magnitud) de manera igualitaria mediante concatenación simple, ignorando que diferentes microexpresiones se manifiestan con mayor fuerza en direcciones específicas (ej. cejas hacia arriba vs. estiramiento horizontal).

2. Metodología Propuesta

Los autores proponen un pipeline innovador que transforma datos 4D complejos en representaciones 2D eficientes, combinadas con una arquitectura de red neuronal profunda especializada.

• Preprocesamiento y Flujo Óptico de Doble Vista:

  • En lugar de procesar las mallas 3D directamente, el método proyecta los datos espaciotemporales en mapas de flujo óptico de doble vista (izquierda y derecha sincronizadas).
  • Se realiza un recorte de rostro secuencial para mantener la consistencia espacial.
  • Se detecta automáticamente el frame de apogeo (pico de intensidad muscular) basándose en la intensidad del movimiento, dividiendo la secuencia en dos fases: inicio-apogeo y apogeo-fin.

• Extracción de Características:

  • Para cada fase y cada vista, se calcula el flujo óptico denso (usando el algoritmo de Farneback) y se extraen tres canales complementarios: desplazamiento horizontal ($u$), desplazamiento vertical ($v$) y magnitud del movimiento ($m$).

• Arquitectura Triple-Stream MicroAttNet:

  • Tres Streams Paralelos: Cada canal de movimiento ($u, v, m$) se procesa independientemente a través de bloques convolucionales. Esto permite aprender características espaciales y sensibles al movimiento específicas para cada modalidad.
  • Módulo de Atención de Fusión (Fusion Attention): Un mecanismo adaptativo que recalibra dinámicamente la importancia de cada stream ($u, v, m$) en función de la instancia de expresión específica, permitiendo que la red priorice la dirección de movimiento más discriminativa.
  • Bloque Squeeze-and-Excitation (SE): Incorporado específicamente en el stream de magnitud para mejorar la representación de la intensidad del movimiento mediante la recalibración de canales.
  • Entrenamiento: Se utiliza Focal Loss para mitigar el desequilibrio de clases y el optimizador Adam con early stopping.

• Aumento de Datos: Se introduce una estrategia de aumento temporal consciente de la fase (Phase-Aware Temporal Augmentation), utilizando muestras tanto de la fase de ascenso como de descenso para mejorar la robustez temporal.

3. Contribuciones Clave

1. MicroAttNet: Propuesta de una arquitectura de tres ramas con un mecanismo de atención unificado, diseñada específicamente para el reconocimiento de ME en datos 4D.
2. Extracción Eficiente de Flujo Óptico 4D: Desarrollo de un método para extraer y analizar características de flujo óptico ($u, v, m$) a partir de secuencias de mallas 3D, reduciendo la dimensionalidad sin perder información geométrica crítica.
3. Estrategia de Aumento de Datos: Introducción de técnicas de aumento específicas para secuencias 4D, como la augmentación de fase apogeo-fin.
4. Validación en Desafío Internacional: Evaluación exitosa en el conjunto de datos 4DMR (el primer dataset 4D de microexpresiones espontáneas de alta calidad), logrando resultados de vanguardia.

4. Resultados

El método fue evaluado en el 4DMR IJCAI Workshop Challenge 2025, un reto de clasificación multi-etiqueta con 24 sujetos y 5 categorías emocionales.

• Rendimiento: El equipo "Red-Green-Blue" (los autores) obtuvo un puntaje UF1 Macro de 0.536, superando al baseline oficial (0.355) en más de un 50% y asegurando el primer lugar en el ranking.
• Estudios de Ablación:
  • La eliminación del módulo de Fusion Attention redujo el puntaje a 0.524.
  • La eliminación del bloque SE redujo el puntaje a 0.518.
  • La configuración completa (ambos componentes) alcanzó un puntaje interno de 0.554 (antes de la validación final del desafío), demostrando que cada componente aporta hasta 3.6 puntos de mejora en UF1.
• Optimización: Se identificó que un umbral de decisión de 0.20 para la clasificación multi-etiqueta maximiza el rendimiento.

5. Significado e Impacto

Este trabajo demuestra que es posible lograr un reconocimiento de microexpresiones de alta precisión en datos 4D sin incurrir en el costo computacional prohibitivo de las redes 3D profundas.

• Eficiencia vs. Precisión: Al proyectar datos 4D a mapas de flujo óptico 2D de doble vista, se logra un equilibrio óptimo entre la riqueza de la información geométrica y la eficiencia computacional.
• Interpretabilidad: El enfoque de triple stream con atención permite entender qué componentes de movimiento (dirección vs. intensidad) son más relevantes para cada tipo de microexpresión.
• Futuro: Los autores sugieren que, aunque el enfoque 2D es superior actualmente, el futuro reside en la fusión multimodal (combinando mallas 3D y texturas 2D) y en el diseño de modelos más especializados para capturar correlaciones espaciotemporales complejas.

En resumen, la propuesta ofrece una solución robusta, interpretable y altamente efectiva para el reconocimiento de microexpresiones en entornos de alta dimensión, estableciendo un nuevo estándar en el campo mediante el uso inteligente de flujo óptico y mecanismos de atención adaptativa.