CALM-AH: An ABAW11-Calibrated Multimodal Ensemble with Reliability-Gated Multi-Expert Consensus for Video-Level Ambivalence and Hesitancy Recognition

Resumen Técnico: CALM-AH y RG-MEC para el Reconocimiento de Ambivalencia y Vacilación a Nivel de Video

Definición del Problema
El artículo aborda el desafío de reconocer la Ambivalencia y la Vacilación (A/H) en videos de entrevistas naturalistas, tal como se define en el Desafío de Reconocimiento de Video ABAW11. A diferencia del reconocimiento de emociones estándar, la A/H representa estados conductuales sutiles caracterizados por evaluaciones conflictivas, respuestas retardadas, autocorrecciones o dificultad para comprometerse con una acción. Estos estados se expresan a menudo mediante una compleja interacción de incertidumbre lingüística, pausas acústicas, variaciones prosódicas y malestar visual, que pueden estar distribuidos temporalmente y ser transmodales. La tarea requiere asignar una etiqueta binaria (presencia o ausencia de A/H) a clips de video completos en lugar de fotogramas individuales. La evaluación se realiza sobre particiones de datos disjuntas por participante, lo que significa que el sistema debe generalizar a individuos no vistos, una restricción que complica el uso de modelos de alta capacidad propensos al sobreajuste. La métrica de rendimiento principal es el Macro-F1, lo que garantiza que se otorgue la misma importancia al reconocimiento tanto de las muestras con A/H como de las que no presentan A/H.

Metodología
La solución propuesta consta de dos componentes principales: el conjunto CALM-AH y el mecanismo de Consenso de Múltiples Expertos con Puerta de Fiabilidad (RG-MEC).

1. CALM-AH (Conjunto Multimodal Calibrado):

   • Extracción de Características: El sistema extrae cuatro representaciones complementarias:
     • Textual: Codificada mediante F2LLM para capturar pistas semánticas de incertidumbre y autocorrección.
     • Acústica: Codificada mediante HuBERT para capturar información no léxica como pausas y prosodia.
     • Visual: Los rostros se detectan (RetinaFace) y se codifican fotograma a fotograma mediante SigLIP2, agregando diferencias temporales y reduciéndolas mediante PCA.
     • Conductual-Estadística: Un vector de 102 dimensiones derivado de la consistencia visual, actividad acústica, patrones de silencio e indicadores lingüísticos.
   • Construcción del Conjunto (Ensemble): Los autores construyen 15 combinaciones no vacías de estas ramas de características. Para cada combinación, entrenan tres familias de clasificadores candidatas (MLP, LightGBM Random Forest y LightGBM GBDT).
   • Calibración: La selección del modelo se basa en la menor entropía cruzada binaria de validación. Posteriormente, el umbral de decisión para cada modelo seleccionado se optimiza de forma independiente para maximizar el Macro-F1 de validación.
   • Fusión: Las 15 predicciones binarias calibradas se fusionan utilizando votación de voto duro con pesos fijos, empleando pesos transferidos del sistema BROTHER para proporcionar regularización bajo la evaluación disjunta por participante.

2. RG-MEC (Consenso de Múltiples Expertos con Puerta de Fiabilidad):

   • Arquitectura: Es un conjunto asimétrico a nivel de decisión diseñado para corregir la predicción inicial sin introducir inestabilidad. Consta de:
     • Ancla (Anchor): Un sistema de predicción inicial (que proporciona estabilidad).
     • Comité de Corrección: Tres expertos complementarios: CALM-AH (evidencia multimodal calibrada para la tarea), AffectGPT (razonamiento afectivo-multimodal) y un verificador semántico basado en GPT (que evalúa la evidencia semántica/pragmática de la incertidumbre).
   • Lógica: El sistema opera bajo un principio de puerta de unanimidad. La predicción del ancla inicial se mantiene por defecto. Esta se invalida solo si los tres expertos de corrección están de acuerdo unánimemente en la misma clase alternativa (ya sea prediciendo A/H o prediciendo No-A/H).
   • Restricción: Ningún experto individual o par de expertos puede invalidar el ancla. Este diseño limita la propagación de errores aislados mientras permite la corrección bidireccional cuando la evidencia específica de la tarea, afectiva y semántica es plenamente consistente.

Contribuciones Clave

1. CALM-AH: Un conjunto heterogéneo calibrado que integra características textuales, acústicas, visuales y conductuales-estadísticas para el reconocimiento de A/H, optimizando sistemáticamente la selección de clasificadores y los umbrales de decisión para las particiones de datos específicas de ABAW11.
2. Análisis de Fusión: Una comparación sistemática que demuestra que las decisiones de voto duro independientemente calibradas y fusionadas mediante votación de pesos fijos proporcionan una generalización más fiable que las estrategias de fusión de margen continuo, condicionadas por preguntas o lineales regularizadas en este contexto.
3. RG-MEC: Un mecanismo de consenso asimétrico en tiempo de inferencia que asigna roles no intercambiables a las fuentes de decisión. Introduce un "ancla de estabilidad" protegida por un "comité de corrección de puerta de unanimidad", asignando explícitamente la autoridad de decisión basada en la fiabilidad de la fuente en lugar de una simple votación por mayoría.

Resultados
Evaluado en el conjunto de prueba público disjunto por participante del conjunto de datos ABAW11:

• El sistema CALM-AH por sí solo logró un Macro-F1 de 0.7525, superando al ancla inicial (0.7485) y mostrando un rendimiento equilibrado en ambas clases (F1 de A/H: 0.8275; F1 de No-A/H: 0.6776).
• El sistema completo RG-MEC alcanzó un Macro-F1 de 0.7771, con mejoras en las métricas por clase (F1 de A/H: 0.8455; F1 de No-A/H: 0.7088) y una precisión general de 0.7981.
• El estudio de ablación confirmó que la regla completa de RG-MEC supera a los baselines intermedios, como una simple intersección entre el ancla y CALM-AH.

Significado y Reivindicaciones
El artículo sostiene que la contribución principal de RG-MEC no es simplemente la adición de más predictores, sino la asignación explícita de autoridad de decisión dependiente de la fuente. Al tratar al sistema inicial como un ancla de estabilidad y requerir el acuerdo unánime de un conjunto diverso de expertos de corrección para invalidarlo, el método equilibra la necesidad de corrección con la necesidad de prevenir la propagación de errores de expertos aislados. Los autores señalan que la regla RG-MEC se desarrolló como un refinamiento post-hoc específico para el desafío, informado por envíos de pruebas anteriores, y por lo tanto se reporta como una heurística de decisión específica para el contexto de la competencia en lugar de un resultado de selección de modelos de validación general. El trabajo subraya la importancia de combinar información lingüística, acústica y visual sin tratar cada desacuerdo transmodal como evidencia de ambivalencia, particularmente bajo las restricciones de una supervisión limitada a nivel de participante.