Nuanced Emotion Recognition Based on a Segment-based MLLM Framework Leveraging Qwen3-Omni for AH Detection

Resumen Técnico: Reconocimiento de Emociones Nuanceadas Basado en un Marco MLLM Segmentado con Qwen3-Omni para la Detección de Ambivalencia y Hesitación

1. Planteamiento del Problema

El reconocimiento de emociones en videos es una tarea fundamental en la computación afectiva, con aplicaciones críticas en salud digital e intervención conductual. Sin embargo, la detección automática de estados psicológicos sutiles y complejos, específicamente la Ambivalencia y la Hesitación (A/H), presenta desafíos significativos que los sistemas tradicionales no logran resolver eficazmente:

• Naturaleza del conflicto: A/H no es una emoción básica (como felicidad o tristeza), sino un estado conflictivo donde el individuo experimenta actitudes positivas y negativas simultáneamente.
• Inconsistencias Multimodales: Estos estados se manifiestan a través de discrepancias entre modalidades (expresión facial, tono de voz, semántica textual) y fluctuaciones dentro de una misma modalidad.
• Limitaciones de los Modelos Actuales: Los enfoques baselines existentes tienen un rendimiento limitado. Además, aplicar Modelos de Lenguaje Grandes Multimodales (MLLM) directamente a videos largos es computacionalmente costoso, excede los límites de tokens y introduce ruido contextual irrelevante.
• Características Temporales: Se ha observado que las señales de A/H suelen ser segmentos temporales cortos (duración promedio de ~4.29 segundos), lo que sugiere que el modelado de ventanas temporales más pequeñas podría ser más eficiente y preciso.

2. Metodología Propuesta

El artículo propone un marco de reconocimiento que integra el modelado temporal segmentado con un MLLM avanzado. El pipeline consta de tres etapas principales:

• A. Preprocesamiento Consciente de A/H:

  • Se utiliza el conjunto de datos BAH (1,427 videos, 10.6 horas), que incluye anotaciones expertas a nivel de video y de marco temporal.
  • Si un video no contiene A/H, se mantiene completo. Si contiene A/H, se extraen únicamente los segmentos temporales anotados donde ocurre la ambivalencia/hesitación, descartando el contexto irrelevante para aumentar la densidad de señales útiles.

• B. Segmentación Temporal Basada en Clips:

  • Para abordar las restricciones de tokens y la eficiencia computacional, los videos (o segmentos extraídos) se dividen en clips de una duración máxima de 5 segundos.
  • Se utiliza una estrategia de deslizamiento uniforme: clips completos de 5s si la duración lo permite, manteniendo el clip original si es menor a 5s, y descartando colas muy cortas. Esto asegura que cada entrada capture señales emocionales locales sin saturar el modelo.

• C. Ajuste Fino (Fine-Tuning) del MLLM:

  • Modelo Base: Se emplea Qwen3-Omni-30B-A3B, un modelo de lenguaje multimodal capaz de procesar simultáneamente video, audio y texto.
  • Entrenamiento: Se utiliza el framework MS-Swift. Se comparan dos estrategias:
    1. LoRA (Low-Rank Adaptation): Ajuste eficiente de parámetros (rank 8, alpha 32) con tasa de aprendizaje $1 \times 10^{-5}$ durante 1 época.
    2. Ajuste Completo (Full Fine-tuning): Actualización de todos los parámetros con una tasa de aprendizaje más baja ($1 \times 10^{-6}$) durante 2-3 épocas.
  • Formato de Entrada: Cada clip se convierte en una conversación multimodal (video + audio + prompt) donde el modelo debe responder binariamente si el clip contiene A/H (<answer>Yes</answer> o <answer>No</answer>).

• D. Inferencia y Agregación:

  • Agregación a Nivel de Video: Si cualquier clip dentro de un video se predice como positivo (contiene A/H), el video completo se clasifica como positivo (regla de máximo: $y_{video} = \max(y_i)$).
  • Estrategia de Votación Mayoritaria (Ensemble): Para mejorar la robustez, se entrenan múltiples modelos con diferentes configuraciones (LoRA, Full Fine-tuning, variaciones de prompts). La predicción final se determina mediante una votación mayoritaria entre las predicciones de todos los modelos individuales.

3. Contribuciones Clave

1. Modelado Temporal por Clips: Propuesta de una estrategia simple pero efectiva que segmenta los videos en clips de 5 segundos, permitiendo a los modelos multimodales capturar señales locales de A/H respetando las limitaciones de tokens.
2. Adaptación de MLLM Avanzado: Implementación y ajuste fino de Qwen3-Omni-30B-A3B para la tarea de reconocimiento de A/H, aprovechando su capacidad de razonamiento multimodal para detectar conflictos emocionales sutiles entre modalidades.
3. Rendimiento Empírico Superior: Demostración de que la combinación de segmentación temporal y modelos grandes multimodales, reforzada por una estrategia de votación de múltiples modelos, supera significativamente a los enfoques anteriores.

4. Resultados Experimentales

• Conjunto de Datos: Evaluación realizada en el conjunto de prueba del dataset BAH.
• Rendimiento Individual:
  • Configuración LoRA (v1): 81.9% de precisión.
  • Ajuste completo 2 épocas (v2): 79.8%.
  • Ajuste completo 3 épocas (v3): 65.3% (indicando posible sobreajuste o inestabilidad sin el ensemble).
• Rendimiento Final (Ensemble): Al aplicar la estrategia de votación mayoritaria combinando las predicciones de los diferentes modelos entrenados, el sistema alcanzó una precisión del 85.1%.
• Este resultado supera significativamente a las líneas base existentes y a las configuraciones individuales, validando la estabilidad del método de ensemble.

5. Significado e Impacto

Este trabajo demuestra que los Modelos de Lenguaje Grandes Multimodales, cuando se combinan con estrategias de segmentación temporal adecuadas, pueden avanzar sustancialmente en la detección de estados emocionales complejos y sutiles como la ambivalencia y la hesitación.

• Eficiencia: La estrategia de clips de 5 segundos resuelve los cuellos de botella computacionales de procesar videos largos en MLLMs.
• Aplicabilidad en Salud Digital: La capacidad de detectar automáticamente estos estados conflictivos permite el desarrollo de sistemas de salud digital adaptativos y programas de cambio de comportamiento escalables, capaces de intervenir en momentos críticos donde el usuario duda o tiene conflictos internos.
• Reproducibilidad: El código fuente ha sido liberado públicamente, fomentando la investigación futura en este dominio.