Resumen Técnico: MiRA para la Comprensión de la Expresión Facial

Declaración del Problema

Comprender las expresiones faciales en videos no restringidos requiere modelar la dinámica espacio-temporal sutil, localizada y transitoria (por ejemplo, micro-arrugas, fruncidos de ceño). Sin embargo, los modelos de video basados en Vision Transformers (ViT) existentes, incluso aquellos preentrenados con objetivos de autoaprendizaje a gran escala como los Autoencoders de Máscara (MAE), tienen dificultades en este dominio. Estos modelos tienden a optimizar los movimientos globales dominantes (por ejemplo, movimientos de la cabeza) y las dinámicas groseras a nivel de escena. En consecuencia, las variaciones intra-faciales sutiles suelen ser tratadas como redundantes o eclipsadas por el movimiento global, lo que conduce a un modelado insuficiente de las claves de expresión de grano fino. Además, los mecanismos de atención estándar a menudo carecen de la sensibilidad para asignar selectivamente el enfoque a momentos faciales informativos mientras suprimen fotogramas dominados por el movimiento o redundantes.

Metodología: MiRA (Redistribución de Atención Marginal de Fotogramas)

Para abordar estas limitaciones, los autores proponen MiRA, un marco de redistribución de atención marginal de fotogramas tipo plug-in diseñado para arquitecturas ViT. MiRA mejora la selectividad espacio-temporal hacia las dinámicas faciales sutiles sin introducir parámetros entrenables adicionales. El método opera derivando estadísticas a nivel de fotograma a partir de los mapas de auto-atención para estimar la importancia marginal y redistribuir la atención en consecuencia.

1. Mecanismo Central: Reponderación de Margen de Fotograma

El método computa dos estadísticas complementarias de la matriz de atención promediada por cabezal $\bar{A}$:

• Confianza a Nivel de Fotograma ($c_t$): Mide la masa total de atención asignada a un fotograma específico $t$ a través de toda la secuencia, indicando con qué fuerza se atiende al fotograma como una clave.
• Concentración Intra-Fotograma ($H_t$): Cuantifica la concentración espacial de la atención dentro de un fotograma utilizando la entropía inversa. Una alta concentración indica atención localizada (favorable para las claves faciales), mientras que una baja concentración sugiere patrones globales difusos.

Estas estadísticas se combinan en una puntuación de importancia de margen de fotograma $f_t$. Esta puntuación se normaliza y transforma en una distribución previa objetivo $\pi_t$ utilizando una función power-softmax. Para redistribuir la atención sin destruir la estructura de consulta-clave aprendida, MiRA aplica una alineación basada en proporciones. Calcula factores de escala $\alpha_t$ basados en la relación entre la distribución previa objetivo y la confianza actual, recortando los valores para evitar desviaciones extremas. Estos factores reescalan el mapa de atención, seguido de una pequeña mezcla uniforme y una normalización por filas para asegurar distribuciones de probabilidad válidas.

2. Dos Modos Operativos

El artículo introduce dos modos para equilibrar la efectividad y la eficiencia computacional:

• Modo Exacto (Exact Mode): Este es la formulación principal que realiza la reponderación en el mapa de atención post-softmax. Requiere materializar el mapa de atención completo ($O(L^2)$), realizar la normalización por filas y retener las activaciones post-softmax para la retropropagación. Aunque es efectivo, esto incurre en una sobrecarga significativa de I/O de memoria y es incompatible con kernels fusionados como FlashAttention.
• Modo FlashLite: Para mejorar la eficiencia, este modo integra la redistribución directamente en los kernels de FlashAttention. En lugar de la reescalación post-softmax, aproxima las estadísticas necesarias a nivel de fotograma utilizando proxies de clave (específicamente, la norma $L_2$ al cuadrado de los tokens de clave) computados pre-softmax. Estos proxies estiman la saliencia y la concentración del fotograma. Los factores de escala resultantes se convierten en sesgos aditivos ($\log \alpha_t$) aplicados a los logits de atención ($Z = QK^\top/\sqrt{d_K}$) antes de la operación softmax. Esto permite que la redistribución ocurra dentro de la computación de flujo de FlashAttention, evitando la materialización del mapa de atención completo y reduciendo significativamente la I/O de memoria.

Contribuciones Clave

1. Redistribución de Atención Plug-in: Un nuevo módulo para arquitecturas ViT que mejora la sensibilidad a las dinámicas faciales sutiles mediante la redistribución de la atención basada en la confianza del fotograma y la concentración intra-fotograma, sin requerir parámetros entrenables adicionales.
2. Aproximación FlashLite: Una aproximación ligera pre-softmax que integra el mecanismo de redistribución en los kernels de FlashAttention. Esto preserva la precisión de la formulación exacta mientras reduce la I/O de memoria y mejora el rendimiento (throughput), haciéndolo adecuado para el entrenamiento a gran escala.
3. Robustez ante Condiciones No Restringidas: El enfoque demuestra mejoras consistentes sobre bases sólidas de ViT en desafíos de Reconocimiento de Expresión Facial (FER) sin depender de heurísticas específicas de la tarea (por ejemplo, alineación facial estricta o recorte), que suelen ser poco prácticas en el preentrenamiento escalable y en entornos del mundo real.

Resultados Experimentales

Los autores evaluaron MiRA utilizando VideoMAE como arquitectura base, preentrenado en VoxCeleb2 y ajustado (finetuned) en benchmarks de FER a gran escala en entornos reales: DFEW, MAFW y FERV39k.

• Ganancias de Rendimiento: MiRA supera consistentemente a las bases sólidas de ViT (incluyendo VideoMAE, VideoMAEv2 y otras variantes de MAE) en todos los conjuntos de datos. Por ejemplo, en DFEW (Fold 1), el modelo ViT-B FlashLite logró un Recuerdo Promedio No Ponderado (UAR) del 65.11% y un Recuerdo Promedio Ponderado (WAR) del 76.25%, superando la base de VideoMAE vanilla (59.94% UAR).
• Comparación con SOTA: El método alcanza el rendimiento estado del arte entre los métodos de solo video y se mantiene competitivo con enfoques multimodales que utilizan supervisión de audio o lenguaje. Notablemente, logra estos resultados sin preprocesamiento de alineación facial.
• Eficiencia: El modo FlashLite proporciona una reducción del 20% en la latencia (400.6 ms $\to$ 318.7 ms) y una ganancia de rendimiento del 26% en una GPU H100 en comparación con el modo exacto, con un rendimiento de reconocimiento casi idéntico.
• Calidad de Representación: El sondeo k-NN en conjuntos de datos de micro-expresiones (SAMM, MMEW) con características congeladas mostró que MiRA aprende representaciones que capturan mejor las dinámicas temporales sutiles en comparación con modelos de video generales y otros baselines específicos de FER.
• Análisis Cualitativo: Las visualizaciones indican que, mientras que los modelos base se enfocan en los movimientos globales dominantes (por ejemplo, giros de cabeza, límites del fondo), MiRA logra desplazar la atención hacia regiones faciales localizadas y momentos temporales informativos.

Significado y Reivindicaciones

El artículo sostiene que el modelado efectivo de la dinámica facial en videos es crítico para representar el contexto afectivo, incluso sin entradas multimodales. La importancia de MiRA radica en su capacidad para revisitar el mecanismo de auto-atención para abordar específicamente el sesgo hacia los movimientos globales dominantes inherentes a los transformers de video genéricos.

Al introducir un mecanismo de redistribución de margen de fotograma, los autores demuestran que es posible mejorar la selectividad espacio-temporal para señales sutiles sin comprometer la eficiencia de los procesos de entrenamiento modernos (vía FlashLite). El trabajo sugiere que la supresión del movimiento global de molestia y la reducción de la redundancia permite que los modelos generalicen mejor a datos diversos y no restringidos a gran escala donde la alineación explícita es poco práctica. Los autores posicionan esto como un paso hacia modelos fundacionales de video más escalables y eficientes capaces de una comprensión de grano fino.