Resumen Técnico: Marco Multimodal de Dos Etapas para la Predicción de la Intensidad de la Mímica Emocional

Definición del Problema

El artículo aborda la tarea de predicción de la Intensidad de la Mímica Emocional (EMI), un desafío dentro del concurso Hume-ABAW10. A diferencia del reconocimiento categórico de emociones, la EMI requiere predecir valores de intensidad continuos a través de seis dimensiones afectivas específicas: Admiración, Diversión, Determinación, Dolor Empático, Emoción y Alegría. La tarea se complica por las características de los datos "in-the-wild" (en condiciones naturales), que incluyen fuertes variaciones temporales, ausencia parcial de modalidades (específicamente texto) y distribuciones de objetivos altamente desequilibradas (por ejemplo, el Dolor Empático es predominantemente de valor cero).

Metodología

Los autores proponen un marco multimodal de dos etapas diseñado para manejar la escasez de datos y el desequilibrio de modalidades, asegurando al mismo tiempo un aprendizaje robusto de características.

1. Características de los Datos y Preprocesamiento

• Conjunto de datos: 12,660 muestras (8,072 de entrenamiento, 4,588 de validación) con longitudes de secuencia altamente variables (mediana ~65 cuadros, pero con valores atípicos de cola larga hasta 12,500 cuadros).
• Manejo de Modalidades:
  • Texto: Derivado de transcripciones utilizando un modelo GTE-base preentrenado. Las incrustaciones de texto faltantes (aproximadamente el 6% de las muestras) se manejan sustituyéndolas por vectores cero.
  • Audio: Extraído utilizando un Wav2Vec 2.0 personalizado (muestreo a 16 kHz).
  • Visual: Extraído de cuadros de rostros recortados utilizando DINOv2.
  • Movimiento: Una rama opcional que utiliza unidades de acción facial (AU) derivadas de OpenFace y características de pose de la cabeza, resumidas como una secuencia temporal de 23 dimensiones.
• Hallazgos Exploratorios: El conjunto de datos exhibe distribuciones de secuencia de cola larga, escasez significativa de etiquetas (especialmente para el Dolor Empático) y desplazamientos de distribución entre los conjuntos de entrenamiento y validación.

2. Estrategia de Entrenamiento de Dos Etapas

En lugar de entrenar un único modelo de extremo a extremo, el marco emplea un enfoque escalonado:

• Etapa 1: Preentrenamiento Unimodal: Los codificadores específicos de modalidad (Texto, Audio, Visión y Movimiento opcional) se entrenan de forma independiente hasta la convergencia.
  • Codificadores: El Texto utiliza un MLP; Audio, Visión y Movimiento utilizan agrupación temporal basada en atención para manejar secuencias de longitud variable.
  • Objetivo: Se utiliza una función de pérdida combinada de Coeficiente de Correlación de Concordancia (CCC) y Error Cuadrático Medio (MSE) ($L = 0.7 L_{CCC} + 0.3 L_{MSE}$) para abordar el desequilibrio de etiquetas y asegurar tanto la precisión de la magnitud como el acuerdo de tendencias.
• Etapa 2: Fusión y Ajuste Fino:
  • Se eliminan las cabezas de predicción unimodal, conservando las representaciones penúltimas aprendidas.
  • Un Regresor de Fusión ligero (MLP) concatena las incrustaciones de modalidad para predecir las seis puntuaciones de intensidad.
  • Adaptación: Durante la fusión, la cabeza de fusión se entrena con la tasa de aprendizaje base, mientras que los codificadores preentrenados se ajustan finamente con una tasa de aprendizaje significativamente reducida (el 5% de la tasa base) para permitir la adaptación cruzada de modalidades sin desestabilizar las representaciones unimodales.
  • Robustez: Se aplica dropout de modalidad (probabilidad $p=0.3$) durante el entrenamiento de fusión para evitar la dependencia excesiva de cualquier canal individual y simular escenarios de datos faltantes.

3. Configuraciones Experimentales

Los autores presentaron cinco sistemas que varían según:

• Composición de Modalidades: Texto-Audio-Visión (T+A+V) frente a Texto-Audio-Visión-Movimiento (T+A+V+M).
• División de Datos: División estándar 2:1 entrenamiento/validación frente a una división expandida 4:1 (incorporando muestras originales de validación al entrenamiento para aumentar el volumen de datos).
• Estrategia de Codificador: Ajuste fino conjunto frente a codificadores congelados.

Resultados Clave

• Rendimiento Unimodal: Texto y Audio proporcionaron las señales individuales más fuertes.
  • Texto: Logró la mayor correlación de Pearson promedio ($\bar{r} = 0.395$), particularmente fuerte para Admiración y Dolor Empático.
  • Audio: Se desempeñó en segundo lugar ($\bar{r} = 0.350$) con un rendimiento equilibrado en todas las dimensiones.
  • Visión y Movimiento: Se desempeñaron significativamente peor en aislamiento ($\bar{r} \approx 0.15$ y $0.13$, respectivamente), pero mostraron valor complementario para dimensiones específicas como Alegría, Diversión y Emoción.
• Rendimiento de Fusión:
  • El modelo Texto-Audio-Visión-Movimiento (T+A+V+M) en la división expandida 4:1 logró el mejor rendimiento de validación con una correlación de Pearson promedio de 0.4722.
  • Añadir la rama de movimiento proporcionó solo ganancias marginales (por ejemplo, de 0.4717 a 0.4722 en validación), lo que sugiere que actúa como una mejora auxiliar en lugar de una señal dominante.
  • El mejor rendimiento en el conjunto de prueba fue logrado por el modelo Texto-Audio-Visión (T+A+V) en la división 4:1, alcanzando una correlación de Pearson promedio de 0.57.
• Clasificación: El equipo se ubicó en tercer lugar en el Desafío Hume-ABAW10 EMI.

Contribuciones y Significado

El artículo afirma tres contribuciones principales:

1. Una Estrategia de Entrenamiento Escalonada Práctica: Un pipeline reproducible que estabiliza el aprendizaje multimodal en objetivos afectivos escasos y desequilibrados al desacoplar el preentrenamiento unimodal de la fusión cruzada de modalidades.
2. Análisis Empírico de Modalidades: Un desglose detallado de cómo diferentes modalidades contribuyen a ejes emocionales específicos, revelando que las señales semánticas (texto) y acústicas (audio) son los impulsores principales, mientras que las señales visuales y de movimiento ofrecen información selectiva y complementaria.
3. Exploración de Señales de Movimiento: Una presentación que destaca el papel del movimiento en la fusión multimodal. Aunque las ganancias fueron leves, los autores postulan que el movimiento sigue siendo una dirección prometedora para futuras exploraciones en la captura de dinámicas faciales temporales.

Los autores enfatizan que su marco ofrece una línea base simple y reproducible para la predicción de EMI. Reconocen que, aunque su método es estructuralmente más simple que el de los competidores mejor clasificados (que utilizaron mecanismos complejos de atención cruzada y optimización multiobjetivo), su enfoque escalonado aborda efectivamente los desafíos específicos de la escasez de datos y la ausencia de modalidades inherentes al conjunto de datos.