💻 computer science

AffectFlow-DINO: Uncertainty-Aware Multi-Task Affect Estimation via Conditional Rectified Flow

AffectFlow-DINO es un sistema de aprendizaje multitarea para el 11.º desafío ABAW que aprovecha un cabezal de flujo rectificado condicional sobre una arquitectura base DINOv3 para modelar la ambigüedad del afecto facial mediante predicciones generativas conscientes de la incertidumbre, logrando mejoras significativas en la estimación de valencia-activación, la clasificación de expresiones y la detección de unidades de acción.

Autores originales: Salah Eddine Bekhouche, Abdellah Zakaria Sellam, Fadi Dornaika, Abdenour Hadid

Publicado 2026-07-16

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Salah Eddine Bekhouche, Abdellah Zakaria Sellam, Fadi Dornaika, Abdenour Hadid

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando adivinar cómo se siente un amigo con solo mirar una sola foto de su rostro. Es un juego complicado. Una pequeña sonrisa puede significar que está feliz, o tal vez que solo está siendo cortés mientras se siente triste. Un ceño fruncido podría significar enojo, o simplemente una profunda concentración. Este es el mundo de la "computación afectiva": enseñar a las computadoras a leer las emociones humanas. Durante mucho tiempo, los científicos intentaron construir modelos que actuaran como un juez estricto, forzando cada rostro a entrar en una única caja: "Esto es 100% Felicidad" o "Esto es 100% Tristeza". Pero los rostros humanos son desordenados y ambiguos. A veces, un rostro contiene una mezcla de sentimientos, o la iluminación hace que una expresión sutil sea difícil de leer. La gran pregunta en este campo es: ¿Cómo le enseñamos a una computadora a entender que un rostro no es solo una única respuesta, sino toda una gama de posibilidades?

Este artículo presenta un nuevo sistema llamado AffectFlow-DINO, diseñado para resolver exactamente ese problema. En lugar de forzar a la computadora a elegir solo un "mejor intento" del estado de ánimo de una persona, el equipo construyó un modelo que aprende a imaginar muchos estados de ánimo posibles a la vez. Piensa en ello como un pronosticador del clima. Un modelo tradicional podría decir: "Lloverá a las 2 PM". Un modelo mejor, consciente de la incertidumbre, dice: "Hay un 70% de probabilidad de lluvia, un 20% de probabilidad de nubes y un 10% de probabilidad de sol". AffectFlow-DINO hace esto para las emociones. Utiliza un ingenioso truco matemático llamado "flujo rectificado" (rectified flow) para generar una nube de estados emocionales plausibles para cada rostro que ve. Al promediar estas posibilidades, a menudo encuentra una respuesta más precisa de lo que un modelo estándar podría lograr jamás. Los investigadores probaron su sistema en un enorme conjunto de datos de rostros del mundo real y descubrieron que, al abrazar la incertidumbre, su sistema se volvió significativamente mejor para detectar sentimientos sutiles, especialmente para emociones raras como el miedo o la tristeza que usualmente son ignoradas.

El Problema: La Trampa de "Talla Única"

Imagina que estás intentando describir una pintura compleja a un amigo por teléfono. Si te ves obligado a elegir solo una palabra para describir toda la imagen, podrías decir "Azul". Pero la pintura es en realidad una mezcla de azul, gris y una pequeña salpicadura de rojo. Si solo dices "Azul", pierdes el matiz.

En el mundo del reconocimiento facial, las computadoras han estado atrapadas en esta trampa de "una sola palabra". Miran un rostro e intentan emitir un solo número para la "Valencia" (qué tan positivo o negativo es el estado de ánimo) y la "Excitación" (qué tan emocionado o tranquilo está), además de una lista de movimientos de los músculos faciales llamados "Unidades de Acción". El problema es que, en el mundo real, los rostros son ambiguos. Un ligero tic en la boca podría ser una sonrisa, una mueca o simplemente un espasmo muscular. Un modelo de computadora estándar comprime toda esa ambigüedad en una predicción única y rígida, desechando la incertidumbre que en realidad contiene las pistas para la respuesta correcta.

La Solución: Una Máquina de "¿Qué pasaría si...?"

Los autores de este artículo decidieron dejar de preguntar a la computadora "¿Cuál es la emoción?" y empezar a preguntar "¿Cuál podría ser la emoción?".

Construyeron un sistema llamado AffectFlow-DINO. Comienza con un "cerebro" potente y pre-entrenado (un núcleo visual DINOv3) que ya es muy bueno reconociendo rostros. Pero en lugar de simplemente dejar que ese cerebro haga un solo intento, le añadieron un "motor de imaginación" especial encima. Este motor utiliza una técnica llamada Flujo Rectificado (Rectified Flow).

Aquí hay una forma sencilla de visualizar cómo funciona:

El Ruido: Imagina comenzar con un lienzo en blanco cubierto de ruido estático (como la nieve de un televisor).
El Viaje: El modelo aprende un camino directo y eficiente para convertir ese ruido en una emoción específica. Es como dibujar una línea directa desde la "confusión" hacia la "felicidad".
La Nube: Cuando el modelo ve un nuevo rostro, no dibuja solo una línea. Dibuja muchas líneas desde el ruido hacia el espacio emocional. Cada línea representa una interpretación diferente y plausible de ese rostro.
El Promedio: Finalmente, toma el promedio de todas esas líneas. Si el rostro es claramente feliz, todas las líneas apuntarán a "Felicidad", y el promedio es un "Felicidad" fuerte y seguro. Si el rostro es ambiguo, las líneas se dispersarán, y el promedio dará una respuesta matizada que captura la incertidumbre.

Los Resultados: Mejorando en lo Difícil

El equipo probó su sistema en el conjunto de datos s-Aff-Wild2, que contiene miles de imágenes estáticas de rostros del mundo real. Estas imágenes son complicadas porque a menudo están mal iluminadas, parcialmente cubiertas o muestran expresiones muy sutiles. El objetivo era predecir tres cosas a la vez:

Valencia-Excitación: Qué tan positivo/negativo y qué tan emocionado/tranquilo es la persona.
Expresiones: Qué emoción (como Alegría, Miedo, Tristeza) está presente entre ocho opciones.
Unidades de Acción: Qué doce músculos faciales específicos se están moviendo.

Los resultados fueron impresionantes. Al usar su "motor de imaginación", el modelo mejoró su capacidad para adivinar las puntuaciones de Valencia-Excitación por un margen significativo (una mejora de la puntuación de +0.058). Pero la verdadera magia ocurrió con las emociones raras.

En el mundo real, algunas emociones son muy escasas. En su conjunto de datos, el Miedo aparecía en solo un 3.8% de las imágenes etiquetadas, y la Tristeza también era bastante rara. Los modelos estándar suelen ignorar estos casos raros, adivinando "Neutral" u "Otro" la mayor parte del tiempo. El sistema AffectFlow-DINO, sin embargo, logró recuperar la capacidad de detectar estas emociones raras.

A través de un ingenioso paso de post-procesamiento (ajustando el "umbral de decisión" para cada emoción por separado) aplicado a un modelo que había sido ajustado (fine-tuned) para la tarea específica, aumentaron la capacidad del modelo para detectar el Miedo de un lúgubre 3.8% de F1 score hasta un 33.1%, y la Tristeza del 17.1% al 28.2%. Este paso de calibración específico no requirió reentrenar todo el modelo desde cero; se trató simplemente de escuchar más atentamente las señales que el modelo ya estaba aprendiendo durante el ajuste fino.

Lo que Descartaron

Los investigadores no solo probaron una cosa; probaron 26 diseños diferentes para ver qué era lo que realmente funcionaba.

Descartaron "Solo Flujo" o "Solo Determinista": Descubrieron que si solo usaban el "motor de imaginación" (Flow) sin las cabezas estándar de "un solo intento", el modelo fallaba. Inversamente, si solo usaban las cabezas estándar sin el flujo, perdían el matiz. Ambas partes deben trabajar juntas.
Descartaron soluciones simples para el desequilibrio: Intentaron que la computadora prestara más atención a las emociones raras simplemente cambiando los pesos matemáticos o usando "Focal Loss". Estos métodos no funcionaron bien por sí solos y, a veces, empeoraban el modelo en otras tareas.
Descartaron el ajuste fino de "Todo Incluido" (Kitchen Sink): Intentaron combinar todos los trucos posibles (cambiar pesos, estrategias de muestreo, etc.) todo a la vez. Sorprendentemente, este enfoque de "todo incluido" no mejoró la puntuación final; de hecho, a veces perjudicaba la capacidad del modelo para adivinar el estado de ánimo (Valencia) con precisión.

La Conclusión

El artículo sugiere que la clave para un mejor reconocimiento de emociones no es solo hacer a la computadora "más inteligente" o "más grande", sino enseñarle a sentirse cómoda con la incertidumbre. Al permitir que el modelo explore un rango de posibilidades y luego promediarlas, AffectFlow-DINO logró una puntuación de rendimiento final de 1.177, que es más del doble de la puntuación base oficial de 0.45.

Los autores concluyen que, si bien su sistema es un gran paso adelante, las mayores ganancias provinieron de dos cosas:

Ajustar el cerebro visual: Ajustar el reconocedor de rostros pre-entrenado para la tarea específica.
Calibrar los umbrales de decisión: Darse cuenta de que la computadora realmente estaba "viendo" las emociones raras, pero solo necesitaba un empujón para confiar en sus propios presentimientos.

Este trabajo sugiere que el futuro de la IA de las emociones no reside en forzar una única respuesta, sino en abrazar la realidad desordenada y multifacética de la expresión humana.

Resumen Técnico: AffectFlow-DINO

Planteamiento del Problema

La 11.ª competencia de Análisis de Comportamiento Afectivo en entornos reales (ABAA) presenta un desafiante escenario de Aprendizaje Multitarea (MTL) donde cada imagen facial estática debe ser anotada simultáneamente con tres representaciones afectivas complementarias: valores continuos de Valencia-Arosamiento (VA), una etiqueta de expresión categórica de ocho vías y doce etiquetas de Unidades de Acción (AU) binarias.

Este entorno introduce dificultades significativas:

Objetivos Heterogéneos: Las tareas difieren en el tipo de salida (regresión, clasificación de etiqueta única y detección de etiquetas múltiples) y en la densidad de supervisión.
Desequilibrio de Clases Severo: El conjunto de datos s-Aff-Wild2 exhibe un desequilibrio de 8× en las clases de expresión (dominado por Neutral, Other y Happiness) y un desequilibrio de 29× en las AUs.
Supervisión Incompleta: Las anotaciones conjuntas de las tres tareas cubren solo el 37% de los fotogramas de entrenamiento, lo que requiere un manejo robusto de las etiquetas faltantes.
Ambigüedad Perceptual: Los comportamientos faciales en entornos reales (por ejemplo, sonrisas sutiles, oclusiones parciales) a menudo corresponden a múltiples configuraciones plausibles en el espacio afectivo conjunto. Los modelos deterministas estándar colapsan esta ambigüedad en una estimación de punto único, descartando información valiosa sobre la incertidumbre.

Metodología: AffectFlow-DINO

Los autores proponen AffectFlow-DINO, un sistema de MTL a nivel de fotograma que aumenta una arquitectura determinista estándar con un cabezal de flujo rectificado condicional para modelar la distribución afectiva conjunta completa $p(y|x)$ .

Descripción General de la Arquitectura

El sistema consta de cuatro componentes primarios:

Backbone Visual: Un codificador DINOv3 ViT-S/16 congelado extrae representaciones faciales ricas. Los autores señalan que los objetivos de auto-supervisión de DINO imponen una consistencia semántica espacial, lo que lo hace adecuado para detectar activaciones musculares localizadas (AUs) en comparación con el pre-entrenamiento basado en reconstrucción como MAE.
Proyección Compartida: Un cabezal de proyección mapea las características del backbone en un embedding afectivo compacto de 768 dimensiones $z$ .
Cabezales Deterministas: Tres cabezales MLP específicos de la tarea producen predicciones de punto para VA (restringido a $[-1, 1]$ mediante tanh), Expresión (8 logits) y AUs (12 logits).
Cabezal de Flujo Rectificado Condicional: Esta innovación central aprende un mapa de transporte generativo desde un ruido Gaussiano isotrópico hacia la distribución objetivo condicional $p(y|x)$ . Toma el embedding de la imagen $z$ , un objetivo con ruido interpolado linealmente $y_t$ , y un embedding de tiempo $\gamma(t)$ para predecir la velocidad de transporte.

Representación Conjunta y Supervisión Enmascarada

El modelo unifica objetivos heterogéneos en un único vector de 22 dimensiones $y \in \mathbb{R}^{22}$ , que comprende VA (2 dimensiones), Expresión (8 dimensiones) y AUs (12 dimensiones). Durante el entrenamiento, las dimensiones categóricas y binarias se tratan como puntuaciones de valores reales no restringidos dentro de la trayectoria del flujo. Las predicciones discretas se recuperan únicamente en la inferencia mediante $\arg\max$ y umbralización de sigmoide.

Para manejar la supervisión incompleta, se aplica una máscara de validez binaria por muestra $m_i$ a todos los términos de pérdida. Esto asegura que las etiquetas faltantes no contribuyan con gradientes ni distorsionen la señal de entrenamiento del flujo. Los autores argumentan que bajo la suposición de que la ausencia de anotación es independiente de los valores afectivos reales, el enmascaramiento permite al modelo aprender la distribución conjunta completa a partir de marginales parciales.

Entrenamiento e Inferencia

Función de Pérdida: El objetivo total combina una pérdida multitareas determinista ponderada ( $\mathcal{L}_{det}$ ) y una pérdida de flujo ( $\mathcal{L}_{flow}$ ):
$\mathcal{L} = \mathcal{L}_{det} + \beta \mathcal{L}_{flow}$
La pérdida de flujo minimiza el error cuadrático entre la velocidad predicha y el campo de velocidad constante real $v^* = y - \epsilon$ .
Inferencia: En lugar de un solo paso hacia adelante, el modelo realiza un muestreo de Monte Carlo. $N$ muestras de ruido independientes se integran mediante pasos de Euler de $t=0$ a $t=1$ . La predicción final es el promedio de estas trayectorias, proporcionando tanto una estimación de punto (la media) como una medida de incertidumbre (la dispersión).

Principales Contribuciones

Objetivo MTL de Flujo Rectificado Enmascarado: Un marco novedoso que optimiza conjuntamente cabezales de tareas deterministas y una distribución condicional generativa sobre un vector afectivo de 22 dimensiones, manejando etiquetas faltantes mediante enmascaramiento.
Estudio de Ablación Sistemático: Una evaluación extensiva que abarca 26 elecciones de diseño en s-Aff-Wild2, cubriendo pesos de pérdida de flujo, eficiencia de inferencia, remedios para el desequilibrio, ajuste fino del backbone y calibración post-hoc.
Estrategias de Calibración Post-Hoc: La demostración de que la calibración de umbrales por AU y por clase de expresión puede recuperar eficazmente el rendimiento en clases raras severamente desequilibradas (ej. Fear, Sadness, AU15, AU23) sin reentrenamiento.

Resultados Experimentales

El sistema fue evaluado en el split de validación de s-Aff-Wild2. El baseline oficial del desafío logra una métrica compuesta $PMTL = 0.45$.

Rendimiento del Baseline: Un modelo puramente determinista ( $\beta=0$ ) logra un $PMTL = 0.793$. Añadir el cabezal de flujo con decodificación de flujo ( $\beta=1$ ) mejora esto a $PMTL = 0.826$, siendo el muestreo de flujo particularmente efectivo para mejorar la estimación de Valencia-Arosamiento (VA) ($CCC-V +0.058$).
Ajuste Fino del Backbone: El ajuste fino de bajo aprendizaje del backbone DINOv3 proporcionó la ganancia más significativa, elevando el mejor resultado de backbone congelado ($0.831 $) a$ PMTL = 1.045$. Curiosamente, tras el ajuste fino, la decodificación determinista superó a la decodificación de flujo, sugiriendo que el cabezal de flujo requería un nuevo ajuste.
Reajuste del Flujo: Reactivar el objetivo de flujo ( $\beta=1.0$ ) durante el ajuste fino del backbone mejoró el rendimiento determinista a $PM$ $TL = 1.073$.
Ganancias de Calibración:
- Calibración de Umbral por AU: Mejoró el $PAU$ de $0.453 $a$ 0.502$, elevando el puntaje total a $1.123$.
- Calibración de Clase de Expresión: Al ajustar los logits específicos de clase en el conjunto de validación, el modelo recuperó la señal latente para las clases raras. El F1 de Fear aumentó de $3.8\%$ a $33.1\%$ , y el de Sadness de $17.1\%$ a $28.2\%$ .
Rendimiento Final: La combinación de ajuste fino del backbone, reajuste de flujo ( $\beta=1.0$ ) y calibración post-hoc combinada logró un $PMTL = 1.177$, superando sustancialmente el baseline oficial ($0.45$) y el mejor modelo ajustado no calibrado ($1.045$).

Significado y Reivindicaciones

El artículo afirma que AffectFlow-DINO demuestra el valor de modelar el afecto facial como una distribución condicional en lugar de un mapeo determinista. Los autores destacan tres lecciones principales:

Complementariedad de Objetivos: Los objetivos de flujo y deterministas son mutuamente beneficiosos. El entrenamiento solo de flujo colapsa sin el ancla determinista, mientras que la inferencia solo determinista descarta la capacidad distributiva. El muestreo de flujo es particularmente efectivo para objetivos continuos (VA) donde la ambigüedad es mayor.
El Rol del Ajuste Fino: Aunque la adaptación del backbone es el factor dominante en las ganancias de rendimiento, la vía generativa se degrada si el cabezal de flujo no se reajusta conjuntamente durante el ajuste fino.
Desbloqueo de Señales Raras: El desequilibrio severo de clases suprime las señales aprendidas pero no las borra. Los autores afirman que la calibración post-hoc puede "desbloquear" puntuaciones F1 cercanas a cero para categorías raras (Fear, Sadness, AUs raras) con un costo de reentrenamiento de cero, sugiriendo que los límites de decisión pueden ajustarse para hacer emerger señales ya codificadas en la representación.

Los autores concluyen que cerrar la brecha con el Estado del Arte (SOTA) probablemente requiere agregación temporal y una decodificación ajustada más expresiva, señalando que su trabajo actual es estrictamente a nivel de fotograma.