BROTHER: Behavioral Recognition Optimized Through Heterogeneous Ensemble Regularization for Ambivalence and Hesitancy

1. Planteamiento del Problema

La detección automática de estados conductuales complejos como la ambivalencia y la hesitación (A/H) en entornos naturales representa un desafío significativo en la computación afectiva. A diferencia de las emociones básicas (ira, alegría), la A/H no es un estado estático, sino un conflicto interno sutil que se manifiesta a través de contradicciones y cambios temporales en el comportamiento.

Los sistemas tradicionales de reconocimiento de emociones suelen fallar en este contexto porque intentan forzar las entradas en categorías fijas, ignorando las contradicciones y los matices temporales. Además, la A/H varía considerablemente entre individuos y a menudo se expresa de manera silenciosa o sutil, requiriendo un análisis profundo de la expresión visual, el tono de voz y la elección de palabras a lo largo del tiempo. El objetivo es desarrollar un sistema robusto capaz de operar en condiciones "in-the-wild" (fuera del laboratorio), utilizando el conjunto de datos BAH (Behavioural Ambivalence/Hesitancy) de la competencia ABAW.

2. Metodología Propuesta

El enfoque propuesto, denominado BROTHER, es una tubería (pipeline) multimodal altamente regularizada que evita clasificadores emocionales preentrenados rígidos. Se estructura en cuatro fases principales:

A. Extracción de Características Multimodales

Se extraen características de cuatro modalidades distintas para capturar una representación multidimensional:

1. Visual: Se utilizan RetinaFace para la detección y alineación facial, y SigLip2 para la extracción de embeddings. Se aplican filtros de desviación absoluta mediana (MAD) para eliminar cuadros ruidosos. Las características temporales se preservan mediante el cálculo de promedios, primera y segunda derivada, resultando en un vector de 2304 dimensiones reducido a 512 mediante PCA.
2. Audio: Se emplea HuBERT para extraer características acústicas no lingüísticas (tono, ritmo) en fragmentos de un segundo, normalizando las magnitudes de los embeddings.
3. Texto: Se utiliza F2LLM para generar embeddings globales de los transcritos, aprovechando su capacidad para capturar matices coloquiales y auténticos.
4. Modalidad Estadística (Innovación Clave): Se crea una cuarta modalidad compuesta exclusivamente por características estadísticas derivadas de las otras tres.
   • Visuales/Audio: Métricas como la proporción de cuadros válidos, RMS, centroides espectrales y tasa de cruce por cero.
   • Textuales/Estrategias Conductuales: Se implementan algoritmos especializados para detectar patrones de lenguaje. Para la hesitación, se analizan frases individuales contra diccionarios de palabras de relleno, dudas y correcciones. Para la ambivalencia, se utiliza un enfoque basado en prompts para comparar el texto con polos semánticos (neutral, negativo, positivo, ambos) y medir la ambigüedad contextual.

B. Comité de Clasificación Heterogéneo

En lugar de un solo modelo, se entrena un comité de 15 combinaciones de modalidades (todas las combinaciones posibles de las 4 fuentes). Para cada combinación, se entrenan tres arquitecturas distintas:

• MLP (Perceptrón Multicapa).
• RF (Random Forest).
• GBDT (Árboles de Decisión Impulsados por Gradiente).

Se selecciona el mejor modelo para cada combinación basándose estrictamente en la pérdida de Entropía Cruzada Binaria (BCE) en el conjunto de validación, priorizando la calibración de la confianza sobre la precisión bruta. Esto resulta en un ensemble final de 15 modelos base optimizados.

C. Fusión mediante Optimización por Enjambre de Partículas (PSO)

Para combinar las predicciones de los 15 modelos, se utiliza un mecanismo de votación dura optimizado por PSO.

• Función de Aptitud (Fitness): Se diseñó una función que maximiza la media armónica de los F1 de entrenamiento y validación, pero aplica una penalización cuadrática basada en la brecha entre entrenamiento y validación ($\lambda$).
  $$\text{Fitness} = \frac{2 \cdot F1_{val} \cdot F1_{train}}{F1_{val} + F1_{train}} - (\lambda \cdot |F1_{train} - F1_{val}|)^2$$
• Objetivo: Esta penalización fuerza al sistema a generalizar, suprimiendo activamente los clasificadores redundantes o sobreajustados. Se probaron valores de $\lambda$ desde 0.0 hasta 0.8.

3. Contribuciones Clave

1. Modalidad Estadística Especializada: Introducción de una cuarta modalidad que no es una fuente de datos cruda, sino una agregación matemática diseñada específicamente para capturar variaciones temporales y patrones de lenguaje conductual (hesitación localizada y ambivalencia contextual).
2. Estrategia de Regularización Activa: Uso de PSO con una función de fitness que penaliza explícitamente la brecha entrenamiento-validación, logrando un ensemble que no memoriza el ruido de los datos de entrenamiento.
3. Comité Heterogéneo: Validación de que diferentes arquitecturas (MLP, RF, GBDT) son óptimas para diferentes subconjuntos de modalidades, siendo el Random Forest superior en combinaciones multimodales complejas.
4. Enfoque No Rígido: Evitación de clasificadores emocionales preentrenados para permitir que el modelo aprenda las relaciones complejas y matizadas de la ambivalencia sin sesgos de categorías fijas.

4. Resultados

• Rendimiento del Modelo Único: La modalidad de Texto fue el predictor independiente más fuerte (F1 Macro de 0.7275), mientras que la modalidad de Video por sí sola tuvo un rendimiento pobre (0.4704), destacando la dificultad de detectar conflicto interno solo con expresiones faciales.
• Selección del Comité: Los modelos MLP dominaron en configuraciones simples, pero los Random Forests ganaron en la mayoría de las combinaciones multimodales complejas (7 de 15), incluyendo la combinación de todas las modalidades.
• Rendimiento Final del Ensemble:
  • La configuración con una penalización de regularización de $\lambda = 0.2$ (20%) obtuvo el mejor rendimiento en el conjunto de prueba no visto.
  • Puntuación Macro F1 en Prueba: 0.7465.
  • Puntuación Ponderada F1 en Prueba: 0.7559.
• Análisis de Pesos: El PSO demostró capacidad de selección de características; a medida que aumentaba la penalización, el sistema reducía el número de modelos activos (de 12 a solo 6), concentrando el peso en las combinaciones más fiables (principalmente Texto y Texto+Video+Estadísticas).

5. Significado e Impacto

El estudio demuestra que tratar la ambivalencia y la hesitación como un conflicto temporal multimodal, evaluado mediante un comité de votación inteligente y altamente regularizado, proporciona un marco robusto para el análisis conductual en entornos reales.

La investigación subraya que, aunque el lenguaje es el ancla principal para detectar estos estados, la generalización óptima requiere la fusión dinámica de señales visuales y acústicas. El método BROTHER ofrece una solución superior a los enfoques de "caja negra" o modelos generativos pesados, logrando un equilibrio eficiente entre la complejidad de la extracción de características y la generalización del modelo, lo cual es crucial para aplicaciones prácticas en salud y análisis del comportamiento humano.