Causal Supervision of Attention for Affective Behaviour Analysis

Resumen Técnico: Supervisión Causal de la Atención para el Análisis de Comportamiento Afectivo

Planteamiento del Problema
El Análisis de Comportamiento Afectivo (ABA, por sus siglas en inglés) busca permitir que las máquinas infieran estados emocales humanos a partir de señales conductuales, particularmente expresiones faciales, en entornos no restringidos ("in-the-wild"). Aunque los modelos de aprendizaje profundo han logrado avances significativos, suelen tener dificultades para generalizar a sujetos no vistos. Esta limitación surge porque los modelos frecuentemente explotan correlaciones espurias —como la identidad, la pose, la iluminación, la edad y las variaciones demográficas— en lugar de aprender claves afectivas verdaderas e invariantes. En el contexto de la 11ª Competición de Análisis de Comportamiento Afectivo in-the-wild (ABAW), este desafío se formaliza a través de un marco de Aprendizaje Multitarea (MTL) que requiere la estimación simultánea de Valencia-Arousal (VA), Reconocimiento de Expresión (EX) y Detección de Unidades de Acción (AU). La dificultad central radica en distinguir las señales relevantes para la emoción de estos factores de confusión para lograr representaciones robustas e invariantes al sujeto.

Metodología
Los autores proponen un marco de agrupación de atención inspirado en la causalidad, diseñado para mejorar tanto la selección como la representación de las claves afectivas. La arquitectura se basa en un pipeline estándar que involucra un backbone de Vision Transformer (ViT) congelado para la extracción de características, seguido de una Red Convolucional Temporal (TCN) para el modelado temporal, y cabezales de predicción específicos para cada tarea. El marco introduce tres modificaciones específicas al mecanismo de atención para mejorar la robustez y la expresividad:

1. Supervisión Causal para la Atención (CSA): Para forzar la atención en regiones faciales con un valor predictivo invariante entre sujetos, los autores integran una señal de supervisión causal. Esto implica una ruta "fáctica", donde el modelo predice basándose en pesos de atención aprendidos, y una ruta "contrafáctica", donde los pesos de atención se reemplazan por vectores normalizados aleatorios muestreados de una distribución Gaussiana. El modelo se entrena para maximizar el Efecto Directo Total (TDE) —la diferencia entre las predicciones fáctica y contrafáctica—, fomentando así que el mecanismo de atención identifique consistentemente las regiones faciales causalmente relevantes en lugar de depender de correlaciones espurias.
2. Regularización de Independencia de Covarianza Cruzada: Para abordar la redundancia entre las proyecciones de Clave ($K$) y Valor ($V$) en la atención de producto escalar escalado, los autores introducen una pérdida de regularización de covarianza cruzada. Al minimizar la norma de Frobenius de la matriz de covarianza cruzada entre las representaciones centradas de $K$ y $V$, el método fomenta una codificación de características complementaria y no redundante, permitiendo que más capacidad del modelo se dedique a información distinta y relevante para la tarea.
3. Proyección de Valor No Lineal SwiGLU: La proyección lineal estándar para el componente de Valor ($V$) es reemplazada por una transformación SwiGLU (Sigmoid Linear Unit Gated Linear Unit). Esta capa no lineal aumenta la capacidad de representación de la proyección de valor, permitiendo al modelo capturar claves afectivas más finas antes del paso de agregación basado en la atención.

Contribuciones Clave
El artículo presenta un marco unificado que integra principios de inferencia causal en los mecanismos de atención. Las principales contribuciones son:

• La introducción de la Supervisión Causal para la Atención, que utiliza la generación contrafáctica y la maximización del TDE para guiar la atención hacia regiones faciales invariantes al sujeto y relevantes para la emoción.
• La formulación de una regularización de independencia de covarianza cruzada para desacoplar las representaciones de Clave y Valor, reduciendo la redundancia de características.
• El reemplazo de las proyecciones lineales de Valor por transformaciones no lineales basadas en SwiGLU para mejorar la expresividad de las características.
• Una evaluación exhaustiva en el conjunto de datos s-Aff-Wild2 que demuestra que estos componentes mejoran colectivamente la generalización en múltiples tareas afectivas.

Resultados Experimentales
El método fue evaluado en el conjunto de datos s-Aff-Wild2 utilizando dos backbones diferentes: DINOv2 (preentrenado en imágenes de propósito general) y FRoundation (especializado en imágenes faciales). El rendimiento se midió utilizando la métrica $P$ oficial de ABAW MTL, que suma el Coeficiente de Correlación de Concordancia (CCC) medio para VA, el F1 promedio para Expresión ($F_{EX}$) y el F1 promedio para Unidades de Acción ($F_{AU}$).

• Comparación con el Baseline: Contra el baseline oficial (ConvNeXt con MixAugment, $P=0.45$), el método propuesto alcanzó puntuaciones significativamente más altas. Con el backbone FRoundation, el método alcanzó una puntuación general de 1.2214 en el conjunto de validación oficial ($CCC_{VA}=0.5123$, $F_{EX}=0.3116$, $F_{AU}=0.3974$).
• Validación Cruzada: En un protocolo de validación cruzada de cinco pliegues, el backbone FRoundation superó consistentemente a DINOv2. El método propuesto mejoró la puntuación media multitarca $P$ de 1.0524 (baseline) a 1.1948 con FRoundation, y de 0.8730 a 0.9569 con DINOv2.
• Estudio de Ablación: El estudio confirmó que cada componente contribuye al rendimiento. Si bien SwiGLU por sí solo mostró resultados mixtos dependiendo del backbone, la combinación de SwiGLU con la Supervisión Causal o la Regularización de Covarianza mejoró consistentemente el desempeño. El modelo completo (con los tres componentes activos) produjo los mejores resultados, representando ganancias de aproximadamente un 9.6% (DINOv2) y un 13.5% (FRoundation) sobre sus respectivos baselines.

Significancia
El artículo sostiene que el marco propuesto aborda con éxito el desafío de las correlaciones espurias en el análisis de comportamiento afectivo al promover una atención invariante al sujeto. Al modelar explícitamente la contribución causal de la atención y reducir la redundancia en las representaciones de características, el método produce representaciones afectivas más robustas y expresivas. Los resultados sugieren que integrar la supervisión causal y la regularización estructural en los mecanismos de atención es una estrategia efectiva para mejorar la generalización en tareas de computación afectiva no restringidas, particularmente cuando se utilizan backbones faciales especializados como FRoundation.