Team RAS in 10th ABAW Competition: Multimodal Valence and Arousal Estimation Approach

El equipo RAS presenta en la 10.ª edición del desafío ABAW un enfoque multimodal que combina datos faciales, de comportamiento y de audio mediante arquitecturas avanzadas como Qwen3-VL y Mamba, logrando un coeficiente de correlación concordante (CCC) de 0.658 en la estimación continua de valencia y arousal en condiciones naturales.

Lo esencial

¡Hola! Imagina que tienes un equipo de detectives muy especiales llamado Equipo RAS. Su misión es adivinar cómo se siente una persona en un video, incluso si la grabación es caótica, la luz es mala o la persona se mueve mucho. A esto lo llaman "reconocimiento de emociones en la vida real".

Para lograrlo, no usan una sola pista, sino que combinan tres sentidos diferentes, como si fueran tres detectives trabajando juntos en un mismo caso. Aquí te explico cómo funciona su método, usando analogías sencillas:

1. Los Tres Detectives (Las Modalidades)

El equipo no se fía de una sola fuente de información. Tienen a tres expertos:

• El Detective de la Cara (Visual):
  Este detective solo mira la cara de la persona. Usa una cámara súper rápida que analiza cada fotograma (cada imagen del video) para ver si la persona sonríe, frunce el ceño o se ve triste.

  • La analogía: Es como un fotógrafo que toma miles de fotos por segundo y las analiza una por una para ver los cambios más pequeños en la expresión facial.

• El Detective del Comportamiento (La Inteligencia Artificial que "ve" y "lee"):
  Este es el detective más moderno. No solo mira la cara, sino que entiende el contexto completo: los gestos de las manos, cómo se mueve la cabeza, la postura del cuerpo y hasta qué hay en el fondo de la escena.

  • La analogía: Imagina que le pides a un actor experto que vea el video y te escriba un pequeño resumen de lo que siente la persona. Este detective usa una inteligencia artificial muy avanzada (llamada Qwen3) que actúa como ese actor experto, describiendo la emoción basándose en todo lo que ve, no solo en la cara.

• El Detective de la Voz (Audio):
  Este detective escucha lo que se dice (o si la persona está hablando). Pero tiene un truco: a veces el video tiene mucho ruido o la persona no habla, así que este detective es muy estricto. Solo presta atención cuando sabe que la persona está realmente hablando, ignorando los silencios o el ruido de fondo.

  • La analogía: Es como un guardia de seguridad que solo escucha si detecta que alguien está hablando de verdad, filtrando el ruido de la calle para no confundirse.

2. La Sala de Juntas (Fusión de Modalidades)

Ahora, estos tres detectives tienen que ponerse de acuerdo. A veces uno ve algo que el otro no, o uno tiene más información que el otro. El equipo RAS probó dos formas de hacer que trabajen juntos:

• Estrategia A: El "Juez Flexible" (Mixture-of-Experts)
  Imagina una reunión donde los detectives discuten. Hay un "juez" que escucha a cada uno y decide, en cada momento, a quién creer más. Si la cara está tapada, el juez le da más peso al detective de la voz. Si la voz es un ruido, el juez se fía más del detective de la cara.

  • Cómo funciona: La inteligencia artificial aprende a dar "votos" a cada detective según la situación.

• Estrategia B: El "Equipo de Campo" (Fusión Consciente de la Fiabilidad)
  En esta estrategia, el detective de la cara y el del comportamiento trabajan codo a codo, fotograma a fotograma, porque la cara cambia muy rápido. El detective de la voz actúa como un "asesor" que da contexto general, pero no interfiere en cada segundo.

  • Cómo funciona: Es como si los dos detectives visuales tomaran la decisión final, pero siempre consultando al detective de la voz para tener una visión más amplia.

3. El Resultado

El equipo probó todo esto en una competencia mundial llamada ABAW, usando videos reales de gente en situaciones caóticas (como en una calle concurrida o en un parque).

• El éxito: Al combinar a los tres detectives con sus estrategias de trabajo en equipo, lograron predecir las emociones con mucha más precisión que si hubieran usado a uno solo.
• La lección: Descubrieron que el "Detective del Comportamiento" (el que usa la IA para describir todo el video) es muy poderoso y aporta información que la simple cara no puede dar por sí sola.

En resumen:
El Equipo RAS creó un sistema que no solo "mira" la cara, sino que "observa" el cuerpo y "escucha" la voz, usando una inteligencia artificial muy lista para decidir en cada segundo quién tiene la razón. Es como tener un equipo de expertos que se complementan para entender el corazón humano, incluso cuando el entorno es difícil. ¡Y lo hicieron muy bien!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Resumen Técnico: Equipo RAS en la 10ª Competición ABAW

Título: Enfoque Multimodal para la Estimación de Valencia y Arousal (Team RAS en la 10ª Competición ABAW)
Autores: Elena Ryumina, Maxim Markitantov, Alexandr Axyonov, Dmitry Ryumin, Mikhail Dolgushin, Denis Dresvyanskiy y Alexey Karpov.
Instituciones: Centro Federal de Investigación de San Petersburgo de la Academia de Ciencias de Rusia y Universidad ITMO.

---

1. El Problema

La Reconocimiento Continuo de Emociones (ER) en términos de Valencia (placer/desagrado) y Arousal (intensidad) bajo condiciones "en la naturaleza" (in-the-wild, ITW) sigue siendo un desafío crítico. Estas condiciones presentan grandes variaciones en:

• Apariencia y pose de la cabeza.
• Iluminación y oclusiones.
• Patrones específicos del sujeto en la expresión afectiva.
• Ruido en el audio y segmentos no hablados.

Aunque los modelos multimodales basados en transformadores han avanzado, el uso de Modelos de Lenguaje Visual (VLM) para extraer representaciones orientadas al comportamiento para la predicción de VA sigue siendo poco explorado.

2. Metodología Propuesta

El equipo RAS propone un pipeline multimodal que integra tres fuentes de información complementarias: Rostro, Comportamiento y Audio.

A. Modos de Extracción de Características

1. Modo Rostro (Face):

   • Detección: Uso de un detector basado en YOLO con curación manual de identidades para asegurar una sola trayectoria por video.
   • Extracción: Uso del encoder GRADA (basado en EfficientNet-B1) para obtener embeddings a nivel de cuadro.
   • Modelado Temporal: Un modelo de regresión basado en Transformers procesa las ventanas temporales superpuestas para predecir VA.

2. Modo Comportamiento (Behavior):

   • Modelo Base: Se utiliza Qwen3-VL-4B-Instruct (un VLM multimodal) para analizar segmentos de video (16 cuadros) junto con un prompt específico que guía al modelo a describir la afectividad basándose en expresiones faciales, gestos, postura y contexto.
   • Extracción: Se obtienen embeddings de comportamiento a nivel de segmento (en configuraciones visual y multimodal).
   • Modelado Temporal: Se utiliza Mamba (un modelo de espacio de estados) para capturar dinámicas temporales a largo y corto plazo entre los segmentos, superando las limitaciones de los Transformers en secuencias largas.

3. Modo Audio:

   • Preprocesamiento: Filtrado cruzado basado en la dinámica de apertura de la boca (usando MediaPipe) para eliminar segmentos sin habla o ruidosos.
   • Extracción: Uso de WavLM-Large (pre-entrenado en MSP-Podcast). Se ajustan finamente solo las últimas 4 capas.
   • Agregación: Se utiliza pooling de estadísticas de atención sobre fragmentos de 4 segundos para generar características acústicas robustas.

B. Estrategias de Fusión Multimodal

El artículo explora dos estrategias innovadoras para combinar estas modalidades:

1. Estrategia de Fusión MoE Cruzada Dirigida (DCMMOE):

   • Proyecta todas las modalidades en un espacio latente compartido.
   • Crea "expertos" de atención cruzada para cada par ordenado de modalidades (Modelo A como consulta, Modelo B como clave/valor), capturando interacciones asimétricas.
   • Utiliza una red de gating (puerta) aprendible para ponderar adaptativamente la importancia de cada experto según la calidad de la señal en cada momento.

2. Estrategia de Fusión Audio-Visual Consciente de la Fiabilidad (RAAV):

   • Enfoque centrado en el cuadro (frame-centric).
   • Fusiona características faciales y de comportamiento mediante una puerta de fiabilidad enmascarada.
   • Trata al audio como evidencia contextual auxiliar a través de representaciones latentes de cuello de botella (bottleneck), reconociendo que el audio tiene una resolución temporal diferente a la visual.

3. Contribuciones Clave

• Integración de VLMs: Pionero en el uso de Qwen3-VL para extraer embeddings semánticos de comportamiento orientados a la afectividad, demostrando que superan a las representaciones visuales puras.
• Arquitectura Híbrida Temporal: Combinación de Transformers (para rostro) y Mamba (para comportamiento), aprovechando la eficiencia de Mamba en secuencias largas.
• Estrategias de Fusión Adaptativas: Desarrollo de DCMMOE y RAAV, que manejan dinámicamente la incertidumbre de las modalidades y la asimetría temporal entre audio y video.
• Filtrado Cruzado de Audio: Implementación de un filtro basado en la apertura de la boca para mejorar la calidad de los datos de audio en entornos ruidosos.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos Aff-Wild2 siguiendo el protocolo de la 10ª Competición ABAW. La métrica principal fue el Coeficiente de Correlación de Concordancia (CCC).

• Rendimiento Unimodal:

  • El modelo de video (GRADA + Transformer) fue el más fuerte individualmente (CCC promedio de 0.6189 en el conjunto de desarrollo).
  • El modelo de comportamiento basado en Qwen3 multimodal superó significativamente a su contraparte puramente visual.
  • El modelo de audio tuvo un rendimiento inferior individualmente, pero aportó valor en la fusión.

• Rendimiento Multimodal (Fusión):

  • La fusión de los tres modos (Video + Qwen3 Multimodal + Audio) con la estrategia DCMMOE logró un CCC promedio de 0.6487 (Valencia: 0.6100, Arousal: 0.6875).
  • La estrategia RAAV (Video + Comportamiento + Audio) obtuvo los mejores resultados generales:
    • CCC Promedio en Desarrollo: 0.6576 (Valencia: 0.6078, Arousal: 0.7073).
    • CCC Promedio en Prueba: 0.62.

5. Significado e Impacto

Este trabajo demuestra que la integración de Modelos de Lenguaje Visual (VLM) para la extracción de características de comportamiento, combinada con arquitecturas temporales modernas como Mamba, ofrece una ventaja significativa en la estimación continua de emociones.

• La estrategia RAAV destaca por su capacidad de integrar audio como contexto complementario sin imponer su resolución temporal sobre la señal visual, lo que resulta crucial para la estimación precisa de la intensidad emocional (arousal).
• Los resultados competitivos (CCC ~0.62 en prueba) validan la eficacia de fusionar representaciones de alto nivel semántico (VLM) con características de bajo nivel (rostro y audio) mediante mecanismos de atención adaptativa.
• El enfoque establece un nuevo estándar para el manejo de la incertidumbre en datos "en la naturaleza", ofreciendo una solución robusta para aplicaciones de IA afectiva en entornos reales.