Team LEYA in 10th ABAW Competition: Multimodal Ambivalence/Hesitancy Recognition Approach

El equipo LEYA presenta un enfoque multimodal para el reconocimiento de ambivalencia y vacilación en el décimo concurso ABAW que integra dinámicas de escena, expresiones faciales, audio y texto mediante modelos avanzados, logrando un rendimiento superior al fusionar estas señales con un 71,43% de precisión en pruebas finales.

Lo esencial

¡Hola! Imagina que estás en una fiesta y ves a un amigo que parece estar dudando sobre si aceptar una invitación para bailar. No es que esté feliz (sonriendo) ni triste (llorando); es algo más complicado. Su cara dice "quizás", su voz suena vacilante y lo que dice ("no sé, tal vez...") no coincide del todo con su lenguaje corporal.

Ese estado de ambivalencia o vacilación es muy difícil de detectar para una computadora. El artículo que me has compartido explica cómo un equipo de investigadores rusos (el "Equipo LEYA") creó un "detective digital" para resolver este acertijo en el 10º concurso mundial de análisis de emociones (ABAW).

Aquí te explico cómo lo hicieron, usando analogías sencillas:

1. El Problema: Detectar la "Zona Gris"

La mayoría de las computadoras son buenas detectando emociones claras: "¡Está feliz!" o "¡Está enojado!". Pero la ambivalencia es como una niebla mental. Es cuando alguien está dividido entre dos opciones. A veces, lo que dicen no coincide con cómo lo dicen o cómo se ven.

• El reto: Crear un sistema que pueda ver esa "niebla" en videos reales, donde la gente no actúa para una cámara, sino que vive su vida.

2. La Solución: El Equipo de Cuatro Detectives

En lugar de tener un solo detective, el equipo LEYA creó un cuartel general con cuatro especialistas, cada uno mirando el video desde una perspectiva diferente. Imagina que son cuatro amigos analizando una situación juntos:

• 🎥 El Detective del Escenario (Visión de la Escena):
  Este no mira solo la cara de la persona, sino todo el entorno. ¿Se mueve la cámara de forma nerviosa? ¿El fondo cambia? Usa una tecnología llamada VideoMAE (como un ojo entrenado en miles de películas) para entender la dinámica general del video.

  • Analogía: Es como el amigo que dice: "Oye, el ambiente se siente tenso, aunque no veamos bien la cara".

• 👤 El Detective de la Cara (Expresiones Faciales):
  Este se enfoca exclusivamente en los micro-movimientos de la cara. Usa un sistema que detecta rostros y analiza si la persona está sonriendo, frunciendo el ceño o si sus expresiones son inconsistentes.

  • Analogía: Es el amigo que observa: "Mira, sus cejas se movieron de una forma rara, como si estuviera pensando dos veces".

• 🎤 El Detective de la Voz (Audio):
  Este escucha cómo se dicen las cosas, no solo qué se dicen. Analiza el tono, la velocidad y las pausas. Usa un modelo de IA llamado Mamba (que es muy bueno recordando secuencias, como una memoria musical) para entender la emoción en la voz.

  • Analogía: Es el amigo que nota: "Dijo 'sí', pero su voz tembló y hizo una pausa larga. ¡Está dudando!".

• 📝 El Detective de las Palabras (Texto):
  Este lee el guion de lo que se dice. Analiza las palabras exactas para ver si hay contradicciones o indecisión en el lenguaje.

  • Analogía: Es el amigo que lee el mensaje y dice: "Escribió 'tal vez', lo cual es una señal clara de que no está seguro".

3. La Magia: La "Sala de Juntas" (Fusión Multimodal)

Aquí está la parte más interesante. Cada detective trabaja por su cuenta y luego envía su informe a una Sala de Juntas (el modelo de fusión).

• El problema de la sala de juntas: A veces, un detective dice "¡Está feliz!" y otro dice "¡Está triste!". ¿Quién tiene razón?
• La solución del equipo: Usaron una técnica especial llamada "Prototipos". Imagina que en la sala de juntas hay dos estatuas: una que representa "Seguro" y otra que representa "Vacilante". El sistema compara el informe combinado de los cuatro detectives con estas estatuas. Si el informe se parece más a la estatua de "Vacilante", entonces el sistema decide que la persona está dudando.

Además, para estar seguros, no confiaron en un solo sistema. Crearon 5 versiones de este equipo de detectives y, al final, promediaron sus opiniones. Es como tener 5 jueces en un tribunal; si 4 dicen "culpable" y 1 dice "inocente", la decisión final es más robusta y menos propensa a errores.

4. Los Resultados: ¿Funcionó?

¡Sí, y muy bien!

• Si solo hubieran usado un detective (por ejemplo, solo la voz), acertaron alrededor del 69% de las veces.
• Cuando los cuatro detectives trabajaron juntos en la sala de juntas, acertaron el 83% de las veces en las pruebas de entrenamiento.
• En la prueba final real (donde el sistema no había visto los videos antes), lograron un 71.4%, que fue el mejor resultado del concurso.

Conclusión: ¿Qué aprendemos de esto?

La lección principal es que la verdad está en la combinación.
Para entender si alguien está dudando, no basta con escucharlo o verlo; necesitas escucharlo, verlo, leer lo que dice y observar el contexto. Al igual que en la vida real, donde entendemos mejor a una persona cuando escuchamos todas las señales a la vez, la inteligencia artificial necesita multimodalidad (varios sentidos) para ser realmente buena entendiendo la complejidad humana.

El equipo LEYA demostró que, cuando unimos la vista, el oído, la lectura y el contexto, podemos detectar esas sutiles "nieblas" de indecisión que antes eran invisibles para las máquinas.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Resumen Técnico: Reconocimiento Multimodal de Ambivalencia/Reticencia (Equipo LEYA, 10º Concurso ABAW)

1. Planteamiento del Problema

El reconocimiento de la ambivalencia y la reticencia (A/H) en videos sin restricciones es un desafío significativo en la computación afectiva. A diferencia de las emociones básicas, los estados de A/H son sutiles, dependientes del contexto y a menudo se manifiestan a través de inconsistencias entre modalidades (por ejemplo, discrepancias entre lo que se dice, cómo se dice y la apariencia facial).

• Objetivo: Predecir a nivel de video si una grabación contiene o no ambivalencia/reticencia (clasificación binaria).
• Desafío: La naturaleza multimodal del problema requiere integrar señales complejas (escena, rostro, audio, texto) y modelar las interacciones cruzadas donde la evidencia puede ser parcial o contradictoria.

2. Metodología Propuesta

El equipo LEYA propone un enfoque multimodal que integra cuatro modalidades complementarias mediante un pipeline de dos etapas: extracción de características unimodales y fusión avanzada.

A. Extracción de Características Unimodales:

1. Modelo Visual de Escena (Scene):
   • Utiliza VideoMAE (basado en ViT) preentrenado en Kinetics-400.
   • Procesa secuencias de 16 frames uniformemente muestreados.
   • Genera un embedding de escena compacto mediante pooling global promedio.
2. Modelo Visual Facial (Face):
   • Detección de rostros con YOLO y extracción de características con EmotionEfficientNetB0 (fine-tuned en AffectNet+).
   • Agrupa los embeddings de cada frame mediante pooling estadístico (media y desviación estándar) para capturar la dinámica temporal.
   • Se alimenta a una red MLP.
3. Modelo Acústico (Audio):
   • Extrae características emocionales usando EmotionWav2Vec2.0 (preentrenado en MSP-Podcast).
   • Procesa la secuencia temporal mediante un codificador Mamba (arquitectura de estado espacial) para capturar dependencias temporales, seguido de mean pooling.
4. Modelo Lingüístico (Texto):
   • Utiliza transcripciones automáticas.
   • La configuración principal emplea EmotionDistilRoBERTa fine-tuned directamente para la tarea, generando embeddings contextuales densos.

B. Modelo de Fusión Multimodal:

• Proyección: Cada embedding unimodal se proyecta a un espacio latente compartido.
• Fusión con Transformer: Los tokens de las modalidades se apilan y se procesan mediante un Transformer que utiliza atención cruzada. Se incluye una máscara binaria para manejar la ausencia de modalidades.
• Enfoque de Prototipos (Prototype-Augmented):
  • Se introduce un objetivo de clasificación basado en prototipos aprendibles.
  • La representación fusionada se compara con un conjunto de prototipos por clase.
  • La función de pérdida total combina la pérdida de clasificación principal, una pérdida auxiliar basada en prototipos y una regularización de diversidad de prototipos.
• Ensamble: La solución final se basa en un ensamble de cinco modelos de fusión con cabezas de prototipos, entrenados con diferentes semillas aleatorias para mejorar la robustez.

3. Contribuciones Clave

• Integración de la Modalidad "Escena": A diferencia de trabajos previos que se centraban principalmente en rostro, audio y texto, este trabajo incorpora explícitamente el contexto de la escena (VideoMAE) para capturar dinámicas conductuales y de incertidumbre.
• Arquitectura de Fusión Híbrida: Combina un Transformer para la interacción entre modalidades con un mecanismo de clasificación basado en prototipos, diseñado para manejar la incertidumbre y las evidencias multimodales inconsistentes.
• Uso de Mamba en Audio: La aplicación de arquitecturas de estado espacial (Mamba) para el modelado temporal de características acústicas emocionales.
• Validación Exhaustiva: Evaluación rigurosa de múltiples configuraciones unimodales y de fusión, demostrando la superioridad de la fusión sobre los baselines unimodales.

4. Resultados Experimentales

Los experimentos se realizaron en el corpus BAH (1,427 videos, 300 participantes). La métrica principal fue el Macro F1-score (MF1).

• Rendimiento Unimodal:
  • El modelo lingüístico (EmotionDistilRoBERTa) fue el mejor unimodal con un 70.02% de MF1 promedio.
  • El audio (Mamba) alcanzó 69.03%, mientras que los modelos visuales (rostro y escena) rindieron por debajo (62-63%).
• Rendimiento Multimodal:
  • Fusión Individual: El modelo de fusión con prototipos (4 modalidades) alcanzó un 83.25% de MF1 en validación, superando claramente a los baselines unimodales.
  • Rendimiento Final (Test Privado): El ensamble de cinco modelos de fusión con prototipos obtuvo el mejor resultado final en el conjunto de prueba privado con un 71.43%.
• Estudio de Ablación:
  • La combinación de Escena + Texto fue la pareja de modalidades más fuerte (80.39% MF1 promedio).
  • La fusión de las cuatro modalidades (Escena, Rostro, Audio, Texto) proporcionó la solución más efectiva globalmente.

5. Significado e Impacto

Este trabajo demuestra que el reconocimiento de ambivalencia y reticencia requiere necesariamente un enfoque multimodal robusto.

• Complementariedad: Las modalidades no son redundantes; la escena y el texto aportan señales complementarias críticas que el rostro o el audio por sí solos no pueden capturar.
• Estrategia de Fusión: La integración de mecanismos de prototipos y el uso de ensambles son estrategias clave para generalizar bien en datos no vistos y manejar la naturaleza sutil y contradictoria de la ambivalencia.
• Aplicabilidad: El enfoque tiene implicaciones directas en salud conductual digital, educación e interacción humano-computadora, permitiendo detectar momentos de indecisión o resistencia en intervenciones automatizadas.

El código fuente del equipo LEYA está disponible públicamente, facilitando la reproducibilidad y futuras investigaciones en este dominio.