BAH Dataset for Ambivalence/Hesitancy Recognition in Videos for Digital Behavioural Change

Este artículo presenta el conjunto de datos BAH, un recurso multimodal con 1.427 videos de 300 participantes etiquetados por expertos para el reconocimiento automático de ambivalencia y hesitación en intervenciones digitales de cambio de comportamiento, junto con resultados de referencia que destacan la necesidad de modelos espaciotemporales adaptados.

Lo esencial

¡Hola! Imagina que tienes un amigo muy sabio, un "detective de emociones", que puede decirte exactamente cuándo alguien está dudando o si está dividido entre hacer algo y no hacerlo. Normalmente, solo los terapeutas o médicos expertos pueden hacer esto mirando a una persona a los ojos, escuchando su voz y notando si sus manos se mueven de forma nerviosa.

Pero, ¿qué pasa si quieres que una app o un robot haga lo mismo? ¡Es muy difícil!

Esta paper (artículo científico) presenta una solución genial: un nuevo "libro de entrenamiento" llamado BAH (por sus siglas en inglés: Ambivalencia/Reticencia Conductual).

Aquí te explico de qué trata, usando analogías sencillas:

1. El Problema: El "Sí, pero..." de la vida real

Imagina que alguien quiere empezar a hacer ejercicio.

• La parte positiva: "¡Quiero correr, me sentiré genial!"
• La parte negativa: "Pero... hace frío, me da pereza, y además me duele la rodilla."

Esa mezcla confusa de sentimientos se llama Ambivalencia o Reticencia. Es como estar en el medio de un río, flotando entre la corriente que te empuja hacia adelante y la que te empuja hacia atrás. Es un estado muy sutil y difícil de detectar. Si una app de salud no puede detectar este "conflicto interno", no podrá ayudar a la persona a dar el paso final.

2. La Solución: El "Simulador de Dudas" (El Dataset BAH)

Los científicos crearon algo llamado BAH. Piensa en esto como un gimnasio para entrenar a las inteligencias artificiales.

• ¿Qué hay dentro? No es solo un video cualquiera. Es una colección de 1,427 videos (unas 10 horas de contenido) grabados por 300 personas reales en Canadá.
• ¿Cómo se grabaron? Imagina que entras a una web, y un avatar (un personaje virtual amigable) te hace 7 preguntas. Algunas son fáciles ("¿Qué te gusta hacer?"), pero otras están diseñadas para sacarte esa duda: "¿Hay algo que te gustaría dejar de hacer pero no te atreves?" o "¿Algo que sabes que deberías hacer pero lo estás postergando?".
• El resultado: Las personas respondieron con sus cámaras web y micrófonos. A veces decían "sí" con la boca, pero su cara se veía triste, o su voz temblaba, o miraban hacia otro lado. ¡Esa es la "duda" que buscaban!

3. La "Brújula" de los Expertos

Para que la computadora aprenda, tres expertos humanos (psicólogos y científicos del comportamiento) vieron todos esos videos.

• Actuaron como detectives: Miraron la cara, la voz, el lenguaje corporal y lo que decían.
• Etiquetaron el momento exacto: Marcaron en el video cuándo empezó la duda y cuándo terminó.
• El secreto: Les enseñaron a la IA no solo a ver "tristeza" o "felicidad", sino a detectar inconsistencias. Por ejemplo: "La persona dice 'estoy muy emocionado' (texto), pero su voz suena lenta y triste (audio), y sus hombros están caídos (cuerpo)". ¡Esa contradicción es la clave!

4. ¿Por qué es importante? (El "Entrenamiento")

Antes de este trabajo, las computadoras eran como niños pequeños que solo podían decir "está feliz" o "está triste". No entendían los matices.

Con este nuevo dataset (BAH), los investigadores probaron varias "estrategias de entrenamiento" (modelos de IA) y descubrieron cosas interesantes:

• Ver solo la cara no basta: Si solo miras la foto de alguien, es difícil saber si duda.
• Escuchar la voz ayuda: A veces la voz delata la inseguridad.
• Leer lo que dicen es clave: Las palabras que usan (como "quizás", "tal vez", "pero...") son pistas enormes.
• El contexto es el rey: No basta con mirar un solo segundo del video. La IA necesita ver un "trozo" de tiempo (como un clip de 4 segundos) para entender la historia completa de la duda.

5. El Futuro: Tu "Entrenador Personal" Digital

El objetivo final es que, en el futuro, cuando uses una app para dejar de fumar, perder peso o aprender un idioma, el entrenador virtual pueda decirte:

"Oye, noto que estás dudando. Tu voz suena insegura y miraste hacia abajo cuando mencionaste el ejercicio. ¿Quieres que hablemos de eso?"

Esto haría que las apps de salud fueran mucho más humanas, inteligentes y efectivas, ayudando a las personas a superar sus miedos y a cambiar sus hábitos de verdad.

En resumen:
Los científicos crearon un libro de texto gigante lleno de videos de personas dudando, para enseñarle a las computadoras a entender esa parte confusa de la mente humana. Es un paso gigante para que la tecnología deje de ser un robot frío y se convierta en un compañero empático que realmente entiende cómo nos sentimos.

¡Y lo mejor es que este "libro de texto" es público, para que cualquier investigador en el mundo pueda usarlo para crear mejores herramientas de salud!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: BAH Dataset for Ambivalence/Hesitancy Recognition in Videos for Digital Behavioural Change

Autores: González et al. (ICLR 2026)

---

1. El Problema

La ambivalencia y la vacilación (A/H) son constructos psicológicos estrechamente relacionados que representan estados emocionales conflictivos y sutiles donde un individuo oscila entre actitudes positivas y negativas, o entre la aceptación y el rechazo de un cambio de comportamiento. Estas emociones son la principal razón por la que las personas retrasan, evitan o abandonan los cambios de comportamiento relacionados con la salud.

• Desafío Actual: Aunque los profesionales de la salud pueden identificar la A/H en interacciones presenciales mediante señales verbales y no verbales, integrar esta capacidad en intervenciones de salud digital es costoso y menos efectivo.
• Limitación de la IA: La mayoría de los modelos de aprendizaje automático (ML) actuales se centran en emociones básicas discretas (alegría, tristeza) o estados ordinales (dolor, estrés). No existen conjuntos de datos específicos para entrenar modelos que reconozcan la A/H, la cual es inherentemente multimodal y se manifiesta a través de discordancias sutiles entre modalidades (expresión facial, tono de voz, lenguaje corporal) o dentro de una misma modalidad.
• Necesidad: Se requiere un enfoque automatizado, rentable y adaptable para detectar la A/H en tiempo real y mejorar la personalización de las intervenciones de salud digital.

2. Metodología

A. Recolección del Dataset BAH

Los autores introducen el dataset BAH (Behavioural Ambivalence/Hesitancy), diseñado para el reconocimiento multimodal basado en participantes.

• Procedimiento: Se utilizó una plataforma web ("Automatic Expression Recognition") donde 300 participantes de 9 provincias de Canadá respondieron a 7 preguntas estructuradas diseñadas por expertos en ciencias del comportamiento para elicitar respuestas neutras, positivas, negativas, ambivalentes, willing (dispuestas), resistentes y vacilantes.
• Datos: El dataset contiene 1,427 videos (aprox. 10.60 horas) de 300 participantes. De estos, 778 videos contienen segmentos de A/H (aprox. 1.79 horas).
• Características: Los videos incluyen audio, transcripciones, rostros recortados y alineados, y metadatos demográficos. La recolección se realizó en entornos "in-the-wild" (hogares de los participantes) para maximizar la validez ecológica.

B. Anotación

• Expertos: Tres expertos en ciencias del comportamiento anotaron los datos.
• Niveles:
  • Nivel de video: Presencia global de A/H (Binario: 1 = presente, 0 = ausente).
  • Nivel de fotograma (frame): Segmentación temporal precisa con marcas de inicio y fin.
• Criterios: Se anotaron pistas (cues) en cuatro modalidades: expresiones faciales, lenguaje corporal, audio (tono, pausas) y lenguaje verbal. También se identificaron inconsistencias entre modalidades (ej. decir "sí" mientras se asiente con la cabeza negativamente).
• Acuerdo: Se reportó un acuerdo sustancial (Kappa de Fleiss = 0.65) a nivel de video y moderado (0.41) a nivel de fotograma.

C. Protocolo Experimental y Modelos

Se evaluaron modelos base (baselines) para tareas de clasificación a nivel de fotograma y video:

1. Preprocesamiento:
   • Visual: Rostros detectados con RetinaFace, alineados y redimensionados. Se probaron arquitecturas CNN (ResNet) y ViT (APViT).
   • Audio: Espectrogramas log-mel extraídos con VGGish.
   • Texto: Transcripciones generadas con Whisper y características extraídas con BERT.
2. Arquitecturas:
   • Se comparó el aprendizaje sin contexto (fotogramas independientes) vs. con contexto (ventanas temporales usando TCN - Temporal Convolutional Networks).
   • Se probaron técnicas de fusión multimodal: concatenación simple (CAN), atención cruzada (LFAN, JMT) y transformadores (MT).
3. Tareas Adicionales:
   • Zero-shot: Uso de Modelos de Lenguaje Multimodal Grandes (M-LLMs como Video-LLaVA) sin entrenamiento previo.
   • Personalización: Adaptación de dominio libre de fuente (SFUDA) y adaptación de dominio no supervisada (UDA) para adaptar modelos a usuarios individuales.

3. Contribuciones Clave

1. Dataset BAH: El primer conjunto de datos público y multimodal específico para el reconocimiento de ambivalencia y vacilación en videos, con anotaciones detalladas a nivel de fotograma y pistas de comportamiento.
2. Benchmarking Inicial: Resultados de referencia que demuestran la dificultad extrema de la tarea, estableciendo una línea base para futuras investigaciones.
3. Análisis de Modalidades: Demostración de que la A/H requiere un modelado temporal y una fusión de modalidades adaptada para capturar conflictos afectivos, ya que los modelos estándar tienen un rendimiento limitado.
4. Recursos Abiertos: Publicación del dataset, código, pesos preentrenados y guías de anotación en GitHub.

4. Resultados

• Rendimiento General: El rendimiento de los modelos base es bajo, destacando la complejidad de la tarea.
  • Solo Visual: AVGF1 (F1 promedio) ~0.51, AP (Precisión Promedio) < 0.21.
  • Multimodal: La combinación de Audio + Texto obtuvo el mejor rendimiento individual (AVGF1: 0.5586, AP: 0.2609).
  • Fusión de 3 Modalidades: La fusión de Visual + Audio + Texto no mejoró significativamente el AP (0.2548), sugiriendo que las técnicas de fusión estándar no capturan bien los conflictos entre modalidades.
• Impacto del Contexto: El uso de contexto temporal (ventanas de frames) mejoró consistentemente el rendimiento en comparación con fotogramas aislados, confirmando que la A/H es un estado sostenido y no instantáneo.
• Fusión Adaptada: Las técnicas de atención cruzada (LFAN) y concatenación (CAN) superaron a los transformadores estándar, indicando la necesidad de métodos de fusión especializados para detectar conflictos afectivos.
• Zero-shot (M-LLMs): Los modelos grandes sin entrenamiento tuvieron un rendimiento muy pobre (AVGF1 ~0.45) a menos que se les proporcionara la transcripción y una definición clara de A/H en el prompt.
• Personalización: Las técnicas de Adaptación de Dominio (especialmente el método basado en sujetos con pseudo-etiquetas) mejoraron significativamente el rendimiento sobre la línea base "Source-only", demostrando que la personalización es crucial para este tipo de datos.

5. Significado e Impacto

• Avance en Salud Digital: Este trabajo sienta las bases para crear sistemas de intervención digital que puedan detectar automáticamente la resistencia o la duda de los usuarios, permitiendo adaptar el contenido en tiempo real (ej. un entrenador virtual que cambia su estrategia al detectar vacilación).
• Nueva Dirección de Investigación: Desplaza el foco de la emoción básica a emociones compuestas y conflictivas, un área subexplorada en la computación afectiva.
• Requisitos Futuros: Los resultados indican que los futuros modelos deben centrarse en:
  1. Modelado temporal profundo para capturar la evolución de la A/H.
  2. Mecanismos de fusión especializados que detecten explícitamente la inconsistencia entre modalidades.
  3. Estrategias de personalización (adaptación de dominio) para manejar la variabilidad inter-usuario.
• Recurso Comunitario: Al hacer público el dataset BAH, se elimina la barrera de entrada para que la comunidad de ML investigue y desarrolle soluciones para la salud conductual, un campo crítico para la prevención de enfermedades no transmisibles.

En resumen, el artículo presenta un recurso fundamental y un desafío técnico significativo, demostrando que el reconocimiento de la ambivalencia humana requiere ir más allá de los enfoques estándar de clasificación de emociones, hacia modelos multimodales, temporales y personalizados.