A Two-Stage Dual-Modality Model for Facial Emotional Expression Recognition

Este trabajo propone un modelo de dos etapas y doble modalidad (audiovisual) basado en DINOv2 y Wav2Vec 2.0, que supera las líneas base oficiales en el reconocimiento de expresiones faciales del taller ABAW 10 mediante la extracción robusta de características visuales, la fusión de pistas acústicas y la suavización temporal.

Lo esencial

Imagina que intentas adivinar el estado de ánimo de una persona solo mirando un video grabado en la calle, con viento, gente pasando, mala iluminación y la cámara temblando. Es como intentar leer los labios de alguien en una fiesta ruidosa mientras el viento te quita las palabras de la boca. ¡Es un caos!

Este artículo presenta una solución inteligente para ese problema: un sistema de inteligencia artificial diseñado para "leer" las emociones humanas en videos reales y desordenados. Lo llaman un modelo de dos etapas y doble sentido (audio y visión).

Aquí te lo explico con analogías sencillas:

1. El Problema: El Caos de la Vida Real

En los laboratorios, las cámaras son perfectas y la gente mira fijamente al lente. Pero en la vida real ("en la naturaleza salvaje"), los videos tienen problemas:

• La cara puede estar borrosa o muy lejos.
• La persona puede girar la cabeza.
• A veces la cámara corta la cara (como si alguien te tapara la nariz con el dedo).
• El audio puede ser un ruido de fondo.

El sistema anterior fallaba porque no estaba preparado para este desorden.

2. La Solución: Un Equipo de Dos Etapas

El equipo de investigadores diseñó un proceso en dos pasos, como si fueran dos detectives trabajando juntos.

Etapa 1: El Entrenamiento del "Ojo Experto" (Solo Visión)

Antes de ver el video real, el sistema necesita aprender a ver emociones sin distraerse.

• El Ojo: Usan un modelo llamado DINOv2, que es como un ojo de águila muy potente que ya sabe reconocer objetos.
• El Truco del "Relleno" (PadAug): Imagina que recortas una foto de una cara y a veces se te sale un poco de la oreja o la frente. El sistema aprende a no confundirse si ve bordes negros o recortes extraños. Les enseñan a la IA a ignorar esos "bordes feos" y centrarse en la cara, como si le pusieran anteojos de sol para no distraerse con el fondo.
• Los Expertos (MoE): En lugar de tener un solo cerebro, usan un equipo de "expertos". Si la cara está triste, un experto toma el control; si está feliz, otro. Esto hace que el sistema sea muy flexible.
• Resultado: Al final de esta etapa, tienen un "ojo" que es un experto en emociones, listo para el trabajo duro.

Etapa 2: La Detección en Tiempo Real (Ojos + Oídos)

Ahora toman el video real y lo analizan paso a paso.

• Mirar desde varios ángulos: Para cada segundo del video, el sistema no mira la cara una sola vez. La mira en tres tamaños diferentes (como si hicieras zoom in, zoom normal y zoom out) y combina esa información. Así, si la cara está muy cerca o muy lejos, el sistema la entiende igual.
• Escuchar también: No solo miran. Usan un modelo de audio (Wav2Vec) que escucha la voz. A veces, la cara está oculta, pero el tono de voz grita "¡Estoy enojado!". El sistema combina lo que ve con lo que oye.
• El Filtro Inteligente (Fusión): Tienen un pequeño "director de orquesta" (un módulo de puerta) que decide: "¿En este momento debo confiar más en la cara o en la voz?". Si la cara está borrosa, escucha más la voz. Si la voz es ruido, mira más la cara.
• El Suavizado (Temporal Smoothing): A veces la IA se pone nerviosa y cambia de opinión cada milisegundo (dice "feliz", luego "enojado", luego "feliz"). Para arreglarlo, usan un filtro de "promedio". Imagina que en lugar de decidir al instante, el sistema espera a ver lo que pasó en los 100 frames anteriores y toma una decisión más calmada y estable. Es como decir: "No te preocupes por ese parpadeo, la persona sigue sonriendo".

3. ¿Por qué es genial?

• Es ligero: No necesita una supercomputadora gigante. Es eficiente.
• Es robusto: Funciona bien incluso cuando el video es malo (borroso, oscuro, con ruido).
• Es preciso: En las pruebas oficiales, logró resultados mucho mejores que los sistemas anteriores, superando la línea base oficial.

En resumen

Piensa en este sistema como un detective muy experimentado que:

1. Primero se entrenó en una escuela de detectives para aprender a ignorar las distracciones visuales.
2. Luego, en el trabajo, usa sus ojos para ver la cara desde varios ángulos y sus oídos para escuchar el tono de voz.
3. Tiene un "filtro de calma" que evita que se asuste por un ruido repentino y le permite dar una respuesta estable y correcta sobre cómo se siente la persona.

Gracias a esto, la máquina puede entender nuestras emociones en situaciones reales y caóticas, no solo en fotos perfectas de estudio.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Un Modelo de Doble Modalidad en Dos Etapas para el Reconocimiento de Expresiones Emocionales Faciales

1. Problema Abordado

El artículo se centra en el desafío de reconocimiento de expresiones (EXPR) del 10º taller y competición ABAW (Análisis de Comportamiento Afectivo en la Naturaleza). El objetivo es realizar una clasificación a nivel de fotograma de ocho categorías de emociones faciales (Neutral, Ira, Asco, Miedo, Felicidad, Tristeza, Sorpresa y Otras) a partir de videos no controlados ("in-the-wild").

Los principales obstáculos identificados en escenarios reales incluyen:

• Localización facial inexacta: Las cajas delimitadoras de rostros suelen ser inestables o imprecisas.
• Variabilidad extrema: Cambios significativos en la pose, escala del rostro y oclusiones.
• Ruido visual: Desenfoque por movimiento, iluminación variable y baja calidad de imagen.
• Inestabilidad temporal: Predicciones que fluctúan erráticamente entre fotogramas adyacentes debido a observaciones ruidosas.
• Limitaciones de los recortes oficiales: Los recortes de rostros proporcionados por el conjunto de datos oficial (Aff-Wild2) suelen tener baja resolución, perdiendo detalles finos de la expresión.

2. Metodología Propuesta

Los autores proponen un marco de trabajo dual-modal (audio-visu al) en dos etapas diseñado para ser robusto y eficiente:

Etapa I: Adaptación Visual Robusta

• Backbone: Se utiliza un codificador basado en DINOv2 ViT-L/14 preentrenado.
• Estrategia de Aumento (PadAug): Se introduce una estrategia de aumento de datos "consciente del relleno" (padding-aware). Dado que los recortes de rostros a gran escala pueden generar bordes negros (relleno) que no existen en los datos de entrenamiento estándar, PadAug simula estos bordes y perturbaciones espaciales durante el entrenamiento para reducir el desplazamiento de distribución.
• Cabeza MoE (Mixture of Experts): Se entrena una cabeza de clasificador basada en MoE (Mixture of Experts) junto con DINOv2. Esto permite que diferentes "expertos" se especialicen en diferentes patrones de expresión. Tras el entrenamiento, esta cabeza se descarta y solo se retiene el backbone adaptado.
• Datos: Se entrena en los conjuntos de datos AffectNet y RAF-DB.

Etapa II: Reconocimiento de Expresión Audio-Visual a Nivel de Fotograma

• Extracción Visual Multi-escala: Para cada fotograma objetivo, se extraen tres recortes de la cara directamente del video crudo con escalas diferentes (0.9, 1.2 y 1.5). Estos se codifican con el DINOv2 adaptado y sus características se promedian para obtener una representación visual robusta.
• Extracción de Audio: Se extraen características acústicas alineadas temporalmente utilizando Wav2Vec 2.0. Se utiliza una ventana temporal centrada de 0.50 segundos para promediar las características de audio, proporcionando pistas acústicas complementarias.
• Fusión Puerta (Gated Fusion): Las características visuales y de audio se fusionan mediante un módulo ligero de "fusión con puerta". Este mecanismo aprende a ponderar dinámicamente la contribución de cada modalidad según su fiabilidad en cada fotograma.
• Suavizado Temporal (Inference-time): Para mejorar la consistencia temporal sin añadir una columna vertebral temporal pesada, se aplica un filtrado mediano (median smoothing) sobre las predicciones de logits durante la inferencia, utilizando una ventana de 101 fotogramas.

3. Contribuciones Clave

1. Marco de Doble Modalidad en Dos Etapas: Un enfoque que desacopla la adaptación visual de la fusión multimodal, logrando un rendimiento de vanguardia con menor complejidad computacional.
2. Estrategia PadAug: Una técnica de preprocesamiento que mitiga la sensibilidad del modelo a los bordes de los recortes faciales, mejorando la robustez ante variaciones de escala en videos crudos.
3. Arquitectura Específica por Etapa:
   • Etapa I: Se enfoca en la extracción de características visuales puras y la adaptación del backbone.
   • Etapa II: Se enfoca en la integración paralela de pistas acústicas y el filtrado de características mediante un módulo de puerta.
4. Suavizado Temporal Ligero: La implementación de un método de suavizado simple pero efectivo (mediana) que mejora drásticamente la consistencia de las predicciones a nivel de fotograma sin necesidad de modelos temporales complejos.

4. Resultados

El modelo se evaluó en el conjunto de datos oficial Aff-Wild2:

• Puntuación en el conjunto de validación oficial: 0.5368 (Macro-F1).
• Validación cruzada de 5 pliegues: 0.5122 ± 0.0277 (Macro-F1).
• Comparación: Estos resultados superan significativamente a las líneas base oficiales y a métodos anteriores.
  • El modelo solo visual (con adaptación y multi-escala) alcanzó 0.4344.
  • La fusión de audio y visual elevó la puntuación a 0.5131.
  • El suavizado temporal final llevó la puntuación a 0.5368.
• Eficiencia: El enfoque logra un alto rendimiento manteniendo un tamaño de modelo ligero en comparación con arquitecturas que utilizan transformadores temporales pesados.

5. Significado e Impacto

Este trabajo demuestra que para el reconocimiento de emociones en entornos no controlados, la adaptación visual robusta y la integración multimodal estable son más críticas que la complejidad excesiva en el modelado temporal.

• Robustez: La combinación de PadAug y la fusión con puerta permite al sistema manejar eficazmente el ruido, las oclusiones y las variaciones de escala típicas de los videos reales.
• Eficiencia: Al evitar el entrenamiento de un backbone temporal pesado y utilizar un suavizado post-hoc, el método ofrece una solución práctica y escalable.
• Aprovechamiento de Modalidades: Confirma que las pistas acústicas, cuando se alinean y fusionan correctamente, proporcionan información complementaria vital para resolver ambigüedades visuales en la naturaleza.

En resumen, el artículo presenta una solución elegante y altamente competitiva para el desafío ABAW EXPR, priorizando la calidad de las características visuales adaptadas y una fusión inteligente de modalidades sobre la complejidad arquitectónica innecesaria.