Foundation Model Embeddings Meet Blended Emotions: A Multimodal Fusion Approach for the BLEMORE Challenge

Resumen Técnico: Reconocimiento de Emociones Mezcladas y Predicción de Salencia

1. Planteamiento del Problema

El trabajo aborda el Desafío BLEMORE (FG 2026), centrado en el reconocimiento de emociones mezcladas (blended emotions) y la predicción de su salencia relativa. A diferencia de las emociones básicas discretas, las expresiones humanas a menudo implican la coexistencia de múltiples emociones con diferentes niveles de prominencia (ej. 70% ira / 30% miedo).

El desafío requiere resolver dos problemas acoplados:

1. Reconocimiento de presencia: Identificar qué emociones están presentes.
2. Reconocimiento de salencia: Determinar la prominencia relativa de cada emoción (etiquetado como 50/50, 70/30 o 30/70).

La evaluación se basa en una métrica compuesta: Score = 0.5·ACCP + 0.5·ACCS, donde ACCP es la precisión de presencia y ACCS la precisión de salencia. Un desafío crítico identificado es la conversión de salidas continuas a predicciones discretas mediante umbrales ($\alpha$ para presencia y $\beta$ para salencia), lo que introduce una sobreajuste dependiente del actor.

2. Metodología Propuesta

Los autores proponen un sistema de fusión tardía (late fusion) que combina las probabilidades de salida de seis familias de codificadores (encoders). El pipeline se ilustra en la Figura 1 del artículo y se detalla a continuación:

• A. Codificador Visual (Rostro): S4D-ViTMoE

  • Se adapta el modelo S4D (preentrenado en expresiones faciales categóricas) para emociones mezcladas.
  • Preprocesamiento: Se utilizan recortes de rostro alineados (MTCNN) para mantener la distribución de datos del preentrenamiento.
  • Entrenamiento: Se reemplaza la pérdida de entropía cruzada por divergencia KL (Kullback-Leibler) sobre etiquetas suaves (soft-labels) que preservan la proporción exacta de la mezcla (ej. [0.7, 0, 0.3...]).
  • Estrategia: Se congelan los bloques base (0-5) y se ajustan solo los adaptadores MoE y la cabeza de clasificación.

• B. Codificador de Audio: Wav2Vec2 (Selección de Capas)

  • Dado que los datos de BLEMORE consisten en vocalizaciones no lingüísticas (risas, gemidos) y no palabras, las capas superiores de Wav2Vec2 (optimizadas para fonética) son irrelevantes.
  • Innovación clave: Se extraen y promedian las capas intermedias 6–12 (que codifican prosodia y paralingüística) de un modelo Wav2Vec2 congelado.
  • Estos vectores se alimentan a un clasificador MLP ligero. Este enfoque supera al ajuste fino (fine-tuning) completo en un 22%, evitando el sobreajuste en conjuntos de datos pequeños.

• C. Codificadores de Lenguaje Corporal: TimeSformer y VideoMAE

  • Se utilizan dos transformadores de video preentrenados (TimeSformer y VideoMAE) ajustados finamente en frames de cuerpo completo (sin recorte facial) para capturar gestos y postura que complementan las señales faciales.
  • También se entrenan con pérdida KL y etiquetas suaves.

• D. Embeddings de Modelos Fundacionales (LMM): Gemini Embedding 2.0

  • Primera aplicación en reconocimiento de emociones: Se utilizan los embeddings de un modelo multimodal masivo (Gemini 2.0).
  • A pesar de la limitación de entrada de solo 2 segundos de video (frente a clips de 3-8s del dataset), los embeddings logran una precisión competitiva (ACCP = 0.317), demostrando que los LMM capturan semántica emocional rica en ventanas temporales breves.

• E. Fusión y Post-procesamiento

  • Fusión Tardía: Las probabilidades de los 12 codificadores (incluyendo baselines pre-extraídos como HiCMAE, WavLM, ImageBind) se combinan mediante un promedio ponderado optimizado ($p_{fused} = \sum w_m p_m$).
  • Post-procesamiento: Se aplican umbrales para convertir probabilidades en etiquetas discretas:
    • $\alpha$: Umbral de presencia.
    • $\beta$: Umbral de salencia (determina si la mezcla es 50/50 o 70/30).
    • Se seleccionan los mejores umbrales mediante búsqueda en cuadrícula en el conjunto de validación.

3. Contribuciones Clave

1. Adaptación de S4D-ViTMoE: Un pipeline completo para adaptar un transformador de video a emociones mezcladas usando entrenamiento con etiquetas suaves y KL.
2. Selección de Capas en Audio: Demostración de que extraer capas específicas (6-12) de modelos de audio preentrenados y congelados supera al ajuste fino completo para datos no verbales pequeños.
3. Uso de LMMs (Gemini 2.0): Introducción de embeddings de modelos fundacionales multimodales para reconocimiento de emociones, logrando resultados competitivos con muy pocos segundos de entrada.
4. Análisis de Sensibilidad de Umbrales: Cuantificación de la inestabilidad del umbral de salencia ($\beta$), que varía drásticamente entre validaciones (de 0.05 a 0.43), revelando que el estilo de expresión personal del actor es el principal cuello de botella.

4. Resultados

• Rendimiento en el Conjunto de Prueba: El sistema de 12 codificadores logró un Score de 0.279 (ACCP = 0.391, ACCS = 0.168), ubicándose en el 6º lugar del desafío.
• Comparativa: Superó significativamente a la mejor línea base del desafío (VideoMAEv2 + HuBERT, Score 0.223) y a otros baselines pre-extraídos.
• Impacto de Gemini: La inclusión de los embeddings de Gemini mejoró el Score del 0.262 al 0.279 (+6.5%) y aumentó la precisión de presencia del 0.357 al 0.391.
• Pesos de la Fusión: Los codificadores adaptados a la tarea (S4D, Wav2Vec2, Body encoders) recibieron el 62% del peso total en el ensemble, frente al 38% de las características de baselines generales.
• Hallazgo sobre Umbrales: Se confirmó que el umbral de presencia ($\alpha$) es estable, pero el de salencia ($\beta$) es altamente inestable y dependiente del actor, lo que explica la brecha entre validación y prueba.

5. Significado y Conclusiones

El trabajo demuestra que para el reconocimiento de emociones mezcladas en conjuntos de datos pequeños y no verbales:

1. La selección de capas preentrenadas es más crítica que el ajuste fino arquitectónico, especialmente en audio.
2. Los Modelos Fundacionales Multimodales (LMM) ofrecen una nueva dirección prometedora, capaz de capturar semántica emocional compleja incluso con ventanas de tiempo muy cortas.
3. El principal obstáculo no es la capacidad del modelo, sino la variabilidad inter-personal en la expresión emocional, lo que hace que los métodos de evaluación basados en umbrales fijos sean inherentemente inestables.

El código del proyecto está disponible públicamente, facilitando la reproducibilidad y futuras investigaciones en computación afectiva.