💻 computer science

Multimodal Ambivalence and Hesitancy Recognition via Cross-Attention and Gated Fusion

Este artículo presenta un marco multimodal para el reconocimiento de la ambivalencia y la vacilación en video, el cual fusiona características textuales, auditivas y visuales mediante atención cruzada bidireccional y una Unidad Multimodal de Puerta (Gated Multimodal Unit) para lograr una puntuación Macro F1 de 0.7394, superando significativamente tanto a los modelos base unimodales como a los modelos zero-shot en el desafío ABAW11 en ECCV 2026.

Autores originales: Oussama Berhili, Yassine Ouzar, Larbi Boubchir

Publicado 2026-07-20

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Oussama Berhili, Yassine Ouzar, Larbi Boubchir

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando adivinar cómo se siente un amigo solo con observarlo. A veces es fácil: una gran sonrisa significa felicidad, un ceño fruncido significa tristeza. Pero, ¿qué pasa con esos momentos complicados en los que alguien está dividido? Tal vez alguien dice "estoy bien" con una voz que suena temblorosa, mientras su rostro parece que está a punto de llorar. Esta mezcla confusa de sentimientos se llama ambivalencia o vacilación. Es ese tira y afloja interno entre querer hacer algo y tener miedo de hacerlo. Los científicos que estudian las computadoras y el comportamiento humano (un campo llamado computación afectiva) están tratando de enseñar a las máquinas a detectar estas señales sutiles y confusas. Saben que observar solo una pista —como solo escuchar la voz o solo observar el rostro— a menudo no es suficiente. Para entender realmente a una persona, una computadora necesita actuar como un detective superinteligente, uniendo palabras, tono y expresiones al mismo tiempo para resolver el misterio de lo que alguien siente verdaderamente.

En este artículo, un equipo de investigadores llamados Oussama, Yassine y Larbi decidieron construir un computador superdetective para resolver exactamente este rompecabezas. Participaron en una competencia llamada ABAW11, donde el objetivo era detectar la ambivalencia y la vacilación en grabaciones de video. Comenzaron probando tres "sentidos" diferentes por separado: un cerebro que lee transcripciones de texto, un cerebro que escucha el audio y un cerebro que observa videos faciales. Descubrieron que el lector de texto era el mejor detective solitario, acertando aproximadamente el 66.6% de las respuestas (medido por una puntuación llamada Macro F1). El oyente de audio estaba muy cerca con un 62.8%, y el observador de video fue un poco más débil con un 57.3%. Curiosamente, probaron una famosa IA de "zero-shot" (una que no fue entrenada específicamente para estos datos) y solo acertó el 28.3%, demostrando que realmente necesitas entrenar tu IA específicamente para este trabajo tan difícil.

Pero la verdadera magia ocurrió cuando dejaron de permitir que los detectives trabajaran solos y los hicieron trabajar en equipo. Los investigadores construyeron un sistema especial donde los cerebros de texto, audio y video podían hablar entre sí. Utilizaron una técnica llamada atención cruzada (cross-attention), que es como dar a cada detective un walkie-talkie para preguntar a los demás: "Oye, veo una voz temblorosa aquí, ¿tu rostro ve una expresión nerviosa?" y "¿Veo una palabra dubitativa, tu audio escucha una pausa?". Esto les permitió detectar contradicciones, como cuando alguien dice "sí" pero suena inseguro. También añadieron una Unidad Multimodal Puerta (Gated Multimodal Unit), que actúa como un gerente inteligente. Si un detective está viendo un rostro borroso o escuchando un audio de mala calidad, el gerente puede decir: "Ignora esa señal ruidosa por un segundo, concentrémonos en el texto claro".

Después de entrenar a este equipo con una herramienta de búsqueda inteligente llamada Optuna para encontrar la configuración perfecta, los resultados fueron impresionantes. El equipo de tres trabajando juntos obtuvo un 73.9% en su prueba, lo que representa una mejora del 11.0% sobre el mejor detective individual. Esto sugiere que, al dejar que los diferentes sentidos se verifiquen entre sí, la computadora puede captar las pistas sutiles y conflictivas que componen la ambivalencia mucho mejor de lo que cualquier sentido podría hacerlo por sí solo. Los investigadores están seguros de que este método de trabajo en equipo explícito entre texto, sonido y video es la clave para desbloquear estas difíciles emociones humanas, y han hecho su código público para que otros también puedan probarlo.

Resumen Técnico: Reconocimiento de la Ambivalencia y la Vacilación Multimodal mediante Atención Cruzada y Fusión con Compuerta

Definición del Problema
Este trabajo aborda el desafío de detectar automáticamente la Ambivalencia y la Vacilación (A/H, por sus siglas en inglés) en grabaciones de video, una tarea central para el desafío ABAW11 en ECCV 2026. La A/H representa un estado afectivo sutil donde un individuo experimenta emociones o motivaciones conflictivas, lo que a menudo conduce a retrasos en el cambio de comportamiento. El desafío radica en que la A/H se manifiesta a través de señales complejas y, en ocasiones, contradictorias en múltiples modalidades: el uso de atenuantes léxicos (lexical hedging) en las transcripciones, variaciones prosódicas en el audio y microexpresiones en el video facial. Los autores utilizan el conjunto de datos BAH, que contiene 1,427 grabaciones de video con etiquetas binarias que indican la presencia o ausencia de A/H, para desarrollar una solución que vaya más allá del simple análisis unimodal o de la fusión ingenua.

Metodología
El enfoque propuesto es un flujo de trabajo estructurado que involucra la extracción de características, el establecimiento de líneas base unimodales y una novedosa arquitectura de fusión multimodal.

Extracción de Características: Para preservar la dinámica temporal fina, los autores evitan el agrupamiento global (global pooling) durante la extracción. En su lugar, extraen representaciones de secuencias completas de tokens utilizando tres codificadores preentrenados de vanguardia:
- Texto: F2LLM-v2-0.6B (basado en Qwen3-0.6B) procesa las transcripciones, reteniendo la secuencia completa del último estado oculto (last_hidden_state) ( $N_t \times 1024$ ).
- Audio: WavLM-Large procesa audio mono de 16 kHz, extrayendo la secuencia temporal completa ( $N_a \times 1024$ ) para capturar matices prosódicos.
- Visual: VideoMAE V2 (Base) procesa fotogramas faciales alineados (256x256). Los videos se dividen en fragmentos de 16 fotogramas, y las secuencias de tokens a nivel de parche se concatenan para preservar el contexto espacio-temporal ( $N_v \times 768$ ).
Líneas Base Unimodales: Antes de la fusión, los autores establecen líneas base robustas entrenando clasificadores clásicos (MLP, Random Forest y GBDT) en cada modalidad de forma independiente. Estos modelos se optimizan mediante Optuna (100 ensayos por clasificador) utilizando Macro F1 como métrica.
Arquitectura de Fusión Multimodal: La contribución central es un modelo de fusión que combina atención cruzada bidireccional y una Unidad Multimodal con Compuerta (GMU):
- Proyección y Codificación Posicional: Las secuencias de longitud variable de todas las modalidades se proyectan linealmente a una dimensión de incrustación compartida ( $d_{model}$ ) y se aumentan con codificaciones posicionales sinusoidales.
- Atención Cruzada Bidireccional: Un módulo MultimodalCrossAttention implementa seis pilas de atención direccional (por ejemplo, texto atendiendo a audio, audio a video, etc.). Esto permite que cada modalidad consulte y atienda a las representaciones de las otras, resolviendo ambigüedades al aprovechar señales complementarias.
- Agrupamiento (Pooling): Las secuencias de tokens contextualizadas se reducen a vectores únicos utilizando una estrategia de agrupación configurable (media, máxima o atención aprendida).
- Fusión con Compuerta (GMU): Los vectores agrupados se concatenan y se procesan mediante una GMU. Esta unidad calcula un vector de contexto para generar una compuerta sigmoidea para cada modalidad, escalando dinámicamente la contribución de cada flujo. Este mecanismo permite al modelo suprimir modalidades ruidosas o poco informativas (por ejemplo, rostros ocluidos) para instancias específicas.
- Clasificación: La representación fusionada final pasa por un MLP para producir una predicción binaria.

Contribuciones Clave

Benchmarks Unimodales Exhaustivos: El artículo establece sólidas líneas base unimodales utilizando configuraciones específicas de F2LLM, WavLM y VideoMAE, demostrando que el entrenamiento específico del dominio supera significativamente a las líneas base de cero disparos (zero-shot).
Evaluación Sistemática de Clasificadores: Un análisis comparativo de los clasificadores MLP, Random Forest y GBDT a través de las modalidades, optimizado mediante Optuna.
Arquitectura de Fusión Novedosa: La integración de la atención cruzada bidireccional con una Unidad Multimodal con Compuerta, ajustada específicamente mediante una búsqueda de 50 ensayos de Optuna, para modelar las interacciones intra y entre modalidades.
Pipeline Reproducible: Un marco modular y de código abierto que preserva las secuencias de tokens de longitud variable a lo largo del proceso, facilitando futuras extensiones a la atención cruzada o a modelos de lenguaje multimodales (LLMs).

Resultados

Rendimiento Unimodal: Las características de texto resultaron ser las más discriminativas de forma aislada, con un clasificador Random Forest que alcanzó un Macro F1 de 0.6659 en el conjunto de prueba. Esto superó sustancialmente a la línea base de cero disparos de Video-LLaVA (Macro F1: 0.2827). Las modalidades de audio y visual le siguieron con puntuaciones de Macro F1 de 0.6275 y 0.5727, respectivamente.
Rendimiento Multimodal: El modelo propuesto de Cross-Attention + GMU logró un Macro F1 de 0.7394 en el conjunto de validación. Esto representa una mejora relativa del 11.0% sobre la mejor línea base unimodal y una ganancia significativa sobre la línea base de cero disparos.
Optimización de Hiperparámetros: La mejor configuración utilizó una dimensión de incrustación compartida de 256, una sola cabeza de atención, dos capas de atención cruzada por par de modalidades y agrupación por media.

Significancia y Reivindicaciones
Los autores afirman que sus resultados confirman la hipótesis de que la interacción cruzada explícita es esencial para detectar la A/H. La ganancia de rendimiento sobre los modelos unimodales sugiere que la A/H implica señales complementarias que no se capturan mediante una sola modalidad de forma aislada. Además, el análisis de errores indica que, si bien los modelos unimodales (particularmente el de texto) son sensibles a los marcadores, pueden activarse erróneamente ante características neutras; la arquitectura multimodal ayuda a refinar la frontera de decisión aprovechando las señales ortogonales de los flujos de audio y visual.

El artículo posiciona su enfoque como un paso fundamental hacia la computación afectiva, demostrando que el modelado de las interacciones dentro y entre modalidades produce resultados superiores en comparación con la fusión tardía (late fusion) ingenua o la dependencia de una sola modalidad. Si bien el rendimiento (0.7394) se acerca a los resultados del sistema BROTHER, ganador de ABAW10, los autores señalan que la comparación directa es cautelosa debido a las diferencias en las versiones de los conjuntos de datos y las ediciones del desafío. El trabajo concluye que las mejoras futuras podrían residir en un modelado temporal más rico, la personalización y el ajuste fino eficiente en parámetros de los modelos de lenguaje multimodales.

Más como este