CF-Net: Conflict Fusion with Speaker Normalisation and Certainty Weighting for Ambivalence/Hesitancy Recognition

Resumen Técnico: CF-Net para el Reconocimiento de la Ambivalencia y la Vacilación

Definición del Problema
Detectar la Ambivalencia y la Vacilación (AH, por sus siglas en inglés) en videos no restringidos presenta un desafío único, distinto al reconocimiento de emociones discretas estándar. Mientras que las emociones como la felicidad o el asco suelen manifestarse como señales correlacionadas a través de las modalidades facial, vocal y textual, la AH se caracteriza por la incongruencia transmodal. Por ejemplo, las palabras de un hablante pueden expresar positividad mientras su prosodia señala vacilación, o su rostro puede permanecer neutral mientras sus elecciones léxicas transmiten duda. La señal discriminativa reside en el desacuerdo entre las modalidades, más que en un solo canal.

Este desafío se complica aún más por las restricciones del conjunto de datos BAH utilizado en la serie de desafíos ABAW AH:

1. Disjunción de Oradores: Los conjuntos de entrenamiento, validación y prueba contienen hablantes completamente diferentes. Los sistemas que codifican inadvertidamente la apariencia visual específica del hablante o el timbre de voz (filtración de identidad) fallan al generalizar al conjunto de prueba.
2. Escasez de Datos: El conjunto de entrenamiento (778 clips) es pequeño en relación con la dimensionalidad de los grandes modelos base preentrenados, lo que aumenta el riesgo de sobreajuste (overfitting).
3. Incertidumbre de la Anotación: Las etiquetas no son certezas binarias, sino que incluyen una "puntuación de certeza" por clip derivada del acuerdo de los anotadores. Los clips de baja certeza representan una ambigüedad perceptual genuina en lugar de errores de etiquetado, lo que requiere que los modelos eviten el exceso de confianza en muestras limítrofes.

Metodología: CF-Net
Los autores proponen CF-Net, una red multimodal profunda diseñada para abordar estos desafíos específicos mediante el uso de modelos base congelados, modelado explícito de conflictos y normalización de oradores.

• Extracción de Características con Modelos Base Congelados:

  • Visual: SigLIP2 (congelado) procesa recortes faciales muestreados a 30 fps, produciendo incrustaciones (embeddings) de 768 dimensiones.
  • Audio: HuBERT (congelado) procesa fragmentos de audio de 20 ms, promediados (mean-pooled) al nivel de fotograma.
  • Texto: DistilBERT (congelado) codifica el discurso transcrito manualmente en un único vector de 768 dimensiones.
  • Nota: Todos los pesos de los modelos base permanecen congelados durante el entrenamiento para prevenir el sobreajuste y la memorización de la identidad.

• Normalización por Orador:
  Antes de la codificación temporal, las características visuales y de audio se someten a una normalización de orador. Para cada orador, se calcula la media de las incrustaciones de todos sus videos y se resta de cada fotograma de cada video perteneciente a ese orador. Esto elimina el "desplazamiento de identidad" constante (apariencia/timbre) preservando las variaciones temporales dentro del orador (la señal de AH).

• Codificación Temporal:
  Las secuencias visuales y de audio normalizadas se pasan a través de GRU bidireccionales (BiGRU) independientes con agrupación por atención de MIL (Multiple Instance Learning) para generar incrustaciones de 128 dimensiones. El texto se proyecta mediante un codificador lineal simple.

• Módulo ConflictFusion:
  En lugar de una simple concatenación, CF-Net emplea un mecanismo de ConflictFusion. La representación fusionada $f$ se construye concatenando las tres incrustaciones modales ($e_v, e_a, e_t$) con sus diferencias absolutas por pares:
  $$f = [e_v; e_a; e_t; |e_v - e_a|; |e_v - e_t|; |e_a - e_t|]$$
  Esto codifica explícitamente la incongruencia transmodal, permitiendo que el modelo aprenda directamente del desacuerdo entre canales.

• Estrategia de Entrenamiento y Regularización:

  • Pérdida Focal Ponderada por Certeza: La función de pérdida pondera las muestras según las puntuaciones de acuerdo de los anotadores ($c \in [1,3]$). Las muestras de alta certeza reciben hasta 3 veces más peso de gradiente que las de baja certeza, dirigiendo al modelo hacia las señales fiables.
  • Cabeza de Certeza Auxiliar: Una cabeza de regresión auxiliar predice la puntuación de certeza del anotador a partir de la representación fusionada. Esto actúa como un regularizador, evitando que el modelo sea excesivamente confiado en muestras ambiguas donde los anotadores discrepan.
  • Aumento de Datos: Se utilizan manifold mixup y el abandono de modalidad (modality dropout, probabilidad del 15%) para regularizar aún más el modelo ante el tamaño reducido del conjunto de datos.

Contribuciones Clave

1. Arquitectura ConflictFusion: Un módulo de fusión ligero que representa explícitamente la incongruencia transmodal mediante características de diferencia absoluta por pares, diseñado para la tarea de AH donde el desacuerdo es la señal.
2. Normalización de Orador: Un paso de normalización previo a la codificación que elimina los desplazamientos de identidad del orador de las características visuales y de audio sin requerir datos de adaptación específicos del sujeto, abordando el desafío de la disjunción de oradores.
3. Entrenamiento Consciente de la Incertidumbre: La integración de una cabeza de regresión de certeza auxiliar y la pérdida focal ponderada por certeza para gestionar la inherente subjetividad y ambigüedad de las anotaciones de AH.
4. Eficiencia: Un enfoque de modelo base totalmente congelado que se entrena en menos de 15 minutos en una sola GPU de consumo mientras logra resultados competitivos.

Resultados Experimentales
Evaluado en el conjunto de datos BAH (3er desafío ABAW AH):

• Rendimiento de Validación: CF-Net alcanzó un Macro F1 de 0.7155 en el conjunto de validación de 124 clips.
• Rendimiento de Prueba: En el conjunto de prueba privado del desafío (152 clips), CF-Net alcanzó un Macro F1 de 0.7364 (AP = 0.7392).
• Generalización: Notablemente, el modelo mostró una transferencia positiva de validación a prueba (+0.021), contrastando con otros métodos de vanguardia (por ejemplo, el Equipo LEYA) que sufrieron de sobreajuste (F1 de validación 0.854 cayendo a 0.714 en la prueba).
• Ablación: El estudio confirmó que eliminar ConflictFusion (revirtiendo a la fusión de la media) redujo el rendimiento en 1.8 puntos porcentuales. La combinación de la cabeza auxiliar, la pérdida focal, el mixup y el dropout contribuyó con 3.7 puntos adicionales, mientras que la normalización del orador y el codificador BiGRU añadieron un 1.7 adicional de forma acumulativa.

Significado
El artículo posiciona a CF-Net como una solución que navega con éxito el equilibrio entre la capacidad del modelo y la generalización en un entorno de escasez de datos y disjunción de oradores. Al modelar explícitamente el desacuerdo transmodal y eliminar la filtración de identidad del orador mediante la normalización, CF-Net logra un rendimiento robusto sin los riesgos de sobreajuste asociados con el ajuste fino (fine-tuning) de extremo a extremo de modelos grandes. Los resultados demuestran que una arquitectura ligera de modelos base congelados, cuando se combina con un manejo principista de la incertidumbre de la anotación y la normalización de la identidad, puede superar o igualar a ensambles más complejos y ajustados finamente en el benchmark BAH.