Conflict-Aware Multimodal Fusion for Ambivalence and Hesitancy Recognition

1. Planteamiento del Problema

El artículo aborda la detección automática de Ambivalencia y Hesitación (A/H) en entrevistas clínicas. Estos son estados afectivos sutiles donde un individuo muestra señales contradictorias a través de diferentes canales (por ejemplo, decir "estoy de acuerdo" verbalmente mientras su rostro o voz muestran duda o estrés).

• Desafío Principal: A diferencia de las emociones básicas (felicidad, ira) que suelen manifestarse claramente en un solo canal, la A/H se define por la inconsistencia intermodal. Los métodos estándar de fusión multimodal suelen buscar el consenso entre modalidades, lo que puede suprimir las señales de desacuerdo que son cruciales para detectar la A/H.
• Limitación de los enfoques actuales: Los métodos dominantes basados en texto tienden a sobredetectar la A/H (alto F1-AH) pero fallan en confirmar su ausencia (bajo F1-NoAH), generando falsos positivos que desperdician tiempo clínico.
• Datos: Se utiliza el conjunto de datos BAH (del desafío ABAW10), que contiene 1.427 videos de entrevistas clínicas. El conjunto de entrenamiento es pequeño (778 videos), lo que exige un uso eficiente de representaciones preentrenadas y regularización.

2. Metodología: ConflictAwareAH

Los autores proponen un marco multimodal llamado ConflictAwareAH, diseñado explícitamente para capturar y utilizar las discrepancias entre modalidades.

A. Codificadores Multimodales

Se utilizan tres codificadores preentrenados para extraer representaciones de 768 dimensiones:

1. Video: VideoMAE-Base (entrenado en Kinetics-400), procesando 16 cuadros por clip.
2. Audio: HuBERT-Base (entrenado en LibriSpeech), capturando prosodia, pausas y vacilaciones.
3. Texto: RoBERTa-GoEmotions (ajustado finamente en un dataset de emociones), procesando la transcripción completa del video (no solo la ventana temporal muestreada), ya que la A/H es una propiedad a nivel de video.

B. Fusión Consciente del Conflicto (Core Innovation)

En lugar de simplemente concatenar las características, el modelo calcula características de conflicto explícitas basadas en diferencias absolutas elementales entre los embeddings de las modalidades:

• $c_{va} = |v - a|$ (Video vs. Audio)
• $c_{vt} = |v - t|$ (Video vs. Texto)
• $c_{at} = |a - t|$ (Audio vs. Texto)

Lógica bidireccional:

• Grandes diferencias: Señalan inconsistencia, lo que indica la presencia de A/H.
• Pequeñas diferencias: Señalan consistencia conductual, lo que ancla la clase negativa (ausencia de A/H).
  Esta característica corrige el sesgo de clase de los modelos basados solo en texto.

C. Fusión Tardía Guiada por Texto

Se implementa una estrategia híbrida:

1. Cabeza auxiliar de texto: Un clasificador paralelo que opera solo sobre la representación textual.
2. Fusión tardía: En la inferencia, la predicción final es una combinación ponderada de la salida del modelo multimodal completo ($\ell_{full}$) y la cabeza de texto ($\ell_{text}$):
   $$p = \alpha \cdot \sigma(\ell_{text}) + (1 - \alpha) \cdot \sigma(\ell_{full})$$
   Donde $\alpha = 0.6$. Esto permite aprovechar la fuerte señal lingüística mientras se mantiene la evidencia multimodal para casos ambiguos.

D. Entrenamiento y Eficiencia

• Estrategia: Se congelan los pesos de los codificadores preentrenados (o se descongelan solo las últimas 2 capas) para evitar el sobreajuste en el pequeño conjunto de datos.
• Recursos: Todo el pipeline se entrena en menos de 25 minutos en una sola GPU NVIDIA RTX 4090.
• Inferencia: Se utiliza un promedio de predicciones sobre 5 ventanas de tiempo aleatorias para cubrir mejor el contexto temporal del video.

3. Contribuciones Clave

1. Fusión Multimodal Consciente del Conflicto: Introducción de características de diferencia explícita que actúan como señales bidireccionales, mejorando significativamente la capacidad del modelo para confirmar la ausencia de A/H.
2. Fusión Tardía Guiada por Texto: Una estrategia que combina la robustez del texto con la evidencia multimodal, logrando un aumento de +4.1 puntos en Macro F1.
3. Línea Base Eficiente y Reproducible: Un sistema que supera a las líneas base publicadas por más de 10 puntos, entrenándose en tiempo récord con recursos limitados.

4. Resultados Experimentales

El modelo se evaluó en el desafío ABAW10 utilizando el conjunto de datos BAH:

• Rendimiento en el conjunto de prueba etiquetado: 0.694 Macro F1.
• Rendimiento en el leaderboard privado (no etiquetado): 0.715 Macro F1.
• Comparación: Supera a las líneas base multimodales publicadas (la mejor anterior fue 0.593) por más de 10 puntos.
• Análisis por clase:
  • El modelo solo de texto logra un alto F1-AH (0.804) pero bajo F1-NoAH (0.670), con una brecha de rendimiento de 0.134.
  • El modelo ConflictAwareAH reduce esta brecha a 0.061, mejorando el F1-NoAH en +4.6 puntos (llegando a 0.716) con una pérdida mínima en F1-AH. Esto es crucial clínicamente para reducir falsos positivos.

5. Significado e Impacto

• Relevancia Clínica: El modelo no solo detecta la ambivalencia, sino que es capaz de confirmar su ausencia de manera fiable. Esto es vital en entornos clínicos (como entrevistas motivacionales o detección de vacilación con vacunas) para evitar que los profesionales dediquen tiempo a pacientes que no muestran señales de conflicto interno.
• Validación de la Hipótesis: El trabajo demuestra empíricamente que las señales de desacuerdo entre modalidades (rostro vs. voz vs. texto) son tan informativas como el consenso, y que ignorarlas lleva a modelos sesgados.
• Eficiencia: Demuestra que es posible alcanzar un rendimiento de vanguardia en tareas afectivas complejas sin necesidad de entrenamiento masivo o múltiples GPUs, haciendo la tecnología más accesible.

En resumen, ConflictAwareAH representa un avance significativo al tratar la ambivalencia no como una emoción a "detectar", sino como un estado de conflicto intermodal a "cuantificar", logrando un equilibrio superior entre sensibilidad y especificidad.