Hierarchical Granularity Alignment and State Space Modeling for Robust Multimodal AU Detection in the Wild

Resumen Técnico: Detección Robusta de Unidades de Acción (AU) Multimodal en Entornos No Controlados

1. Planteamiento del Problema

La detección de Unidades de Acción (AU) faciales en entornos "en la naturaleza" (in-the-wild) representa un desafío formidable debido a la heterogeneidad espacio-temporal severa, las posturas de cabeza no restringidas y las dependencias complejas entre audio y visión.

• Limitaciones de los métodos actuales:
  • Extracción de características: Los codificadores visuales tradicionales (basados en CNN) tienen capacidades limitadas y pierden detalles espaciales finos necesarios para detectar micro-expresiones. Los modelos de reconocimiento de voz (ASR) suelen filtrar las señales paralingüísticas (suspiros, cambios de tono, respiración) como "ruido", descartando información crucial para el estado afectivo.
  • Modelado temporal: Las Redes Convolucionales Temporales (TCN) tienen campos receptivos restringidos, mientras que los Transformers estándar tienen una complejidad cuadrática ($O(T^2)$), lo que los hace computacionalmente inviables para videos ultra-largos.
  • Fusión multimodal: Las estrategias actuales suelen utilizar fusiones lineales superficiales que no logran sincronizar adecuadamente las modalidades de audio y visión.
  • Desequilibrio de clases: La distribución de las AU es altamente desbalanceada (muchas más muestras negativas que positivas), lo que lleva a que los modelos predigan trivialmente "ausencia de acción".

2. Metodología Propuesta

Los autores proponen un marco multimodal novedoso que integra Modelos Fundacionales y Modelos de Espacio de Estados (SSM). La arquitectura se compone de tres pilares principales:

A. Extracción de Características de Alta Fidelidad con Modelos Fundacionales
En lugar de entrenar codificadores desde cero, el sistema aprovecha modelos pre-entrenados masivos:

• Visual (DINOv2): Se utiliza un Vision Transformer auto-supervisado (DINOv2) en lugar de CNNs. Esto permite extraer representaciones densas y sensibles a detalles de alta frecuencia y micro-expresiones sin depender de fine-tuning específico para la tarea, preservando la resolución espacial crítica.
• Audio (WavLM): Se emplea WavLM, un modelo fundacional diseñado para tareas de habla completas. A diferencia de los ASR, WavLM está optimizado para extraer señales paralingüísticas (identidad del hablante, prosodia emocional) y es extremadamente robusto al ruido de fondo típico de entornos naturales.

B. Módulo de Alineación de Granularidad Jerárquica (HGA)
Para abordar la variabilidad espacial extrema, el módulo HGA alinea dinámicamente los semánticos globales con parches locales activos:

1. Extracción Guiada por Landmarks: Utiliza 68 puntos de referencia faciales para definir Regiones de Interés (RoI) anatómicas (ojos, boca, cejas).
2. Alineación por Atención: Calcula una representación local para cada RoI y la utiliza como query en un mecanismo de Atención Cruzada Multi-cabeza (MHCA) sobre la secuencia completa de parches visuales. Esto permite que las regiones locales consulten el contexto global para recuperar información no ocluida.
3. Fusión: Combina las características locales enriquecidas, las originales y el contexto global mediante un MLP para generar una representación visual alineada.

C. Modelado Temporal y Fusión con AG-SSM (Mamba)
Se introduce una arquitectura Vision-Mamba para superar las limitaciones de las TCN y Transformers:

• Complejidad Lineal: Utiliza Modelos de Espacio de Estados (SSM) para lograr un modelado temporal de campo receptivo infinito con complejidad lineal $O(T)$.
• Mecanismo Selectivo Guiado por Audio (AG-SSM): Se propone una fusión profunda donde las señales de audio guían dinámicamente las transiciones de estado del flujo visual.
  • Si se detecta una señal auditiva saliente (ej. un suspiro), el modelo ajusta sus parámetros para "recordar" intensamente el frame visual actual.
  • Si no hay cambios significativos, preserva el estado histórico.
  • Esto sincroniza las pistas paralingüísticas con los movimientos musculares sutiles.

D. Optimización de Entrenamiento: Pérdida Asimétrica (ASL)
Para resolver el desequilibrio de clases severo en el conjunto de datos Aff-Wild2:

• Se utiliza una Pérdida Asimétrica (ASL) que desacopla el enfoque para muestras positivas y negativas.
• Aplica un factor de enfocado ($\gamma$) mucho mayor a las muestras negativas fáciles para descartarlas, mientras preserva los gradientes de las AU raras y difíciles de detectar.
• Incluye un mecanismo de desplazamiento de probabilidad para eliminar el ruido de las predicciones negativas de alta confianza.
• Se complementa con Stochastic Weight Averaging (SWA) para mejorar la generalización.

3. Contribuciones Clave

1. Transición a Modelos Fundacionales: Se abandona el paradigma de codificadores limitados por capacidad, utilizando DINOv2 y WavLM para extraer representaciones robustas y de alta fidelidad en entornos complejos.
2. Alineación de Granularidad Jerárquica (HGA): Un módulo innovador que utiliza landmarks faciales como priores geométricos para alinear semánticas globales con parches locales activos, superando problemas de oclusión y postura.
3. Arquitectura Vision-Mamba (AG-SSM): Introducción de SSMs en la detección de AU, resolviendo el cuello de botella del modelado temporal ultra-largo con complejidad lineal y una fusión guiada por audio.
4. Estrategia de Pérdida Asimétrica: Una solución efectiva al desequilibrio de clases que evita el colapso hacia la clase mayoritaria y mejora la recuperación (recall) de AU raras.

4. Resultados Experimentales

• Dataset: Evaluado en Aff-Wild2, el estándar de oro para análisis afectivo en la naturaleza.
• Métrica: Puntuación F1 promedio sobre las 12 Unidades de Acción.
• Rendimiento:
  • El marco completo alcanzó un 59.45% de F1, superando significativamente a los baselines existentes.
  • Análisis de Ablación:
    • El uso de Modelos Fundacionales (FM) mejoró el F1 en un 15.91% respecto a la línea base.
    • El módulo HGA añadió un 2.77% adicional.
    • El modelo temporal AG-SSM contribuyó con un 2.64% más.
    • La Pérdida Asimétrica (ASL) fue crucial para el rendimiento final, evitando el colapso de clases.
• Reconocimiento: El enfoque logró los primeros puestos en la pista de Detección de AU de la 10ª Competencia de Análisis de Comportamiento Afectivo en la Naturaleza (10th ABAW Competition).

5. Significado e Impacto

Este trabajo establece un nuevo estado del arte (SOTA) en la detección de AU en la naturaleza. Su importancia radica en:

• Eficiencia y Escalabilidad: La adopción de Mamba permite procesar secuencias de video largas sin los costos computacionales prohibitivos de los Transformers.
• Robustez Multimodal: Demuestra que la integración profunda de señales paralingüísticas (audio) con características visuales de alta fidelidad es esencial para capturar la dinámica afectiva humana real.
• Generalización: Al utilizar modelos fundacionales y estrategias de pérdida avanzadas, el sistema es capaz de generalizar mejor a poblaciones diversas y condiciones no controladas, superando las limitaciones de los enfoques anteriores que dependían de anotaciones adicionales (como landmarks manuales) o reglas predefinidas.

En resumen, el artículo presenta una solución integral que combina la potencia de los modelos fundacionales modernos con arquitecturas de espacio de estados eficientes, resolviendo simultáneamente los problemas de representación de características, modelado temporal y desequilibrio de datos en el análisis afectivo.