💻 computer science

AffectFlow-DINO: Uncertainty-Aware Multi-Task Affect Estimation via Conditional Rectified Flow

AffectFlow-DINO est un système d'apprentissage multitâche pour le 11ème défi ABAW qui exploite une tête de flux rectifié conditionnel sur un squelette DINOv3 pour modéliser l'ambiguïté de l'affect facial à travers des prédictions génératives conscientes de l'incertitude, atteignant des gains de performance significatifs dans l'estimation de la valence-activation, la classification d'expressions et la détection d'unités d'action.

Auteurs originaux : Salah Eddine Bekhouche, Abdellah Zakaria Sellam, Fadi Dornaika, Abdenour Hadid

Publié 2026-07-16

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Salah Eddine Bekhouche, Abdellah Zakaria Sellam, Fadi Dornaika, Abdenour Hadid

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de deviner comment un ami se sent rien qu'en regardant une seule photo de son visage. C'est un jeu difficile. Un léger sourire peut signifier qu'il est heureux, ou peut-être qu'il est simplement poli alors qu'il se sent triste. Un sourcil froncé peut signifier la colère, ou simplement une profonde concentration. C'est le monde de l'« informatique affective » : apprendre aux ordinateurs à lire les émotions humaines. Pendant longtemps, les scientifiques ont essayé de construire des modèles qui agissaient comme un juge strict, forçant chaque visage dans une case unique : « Ceci est 100 % Heureux » ou « Ceci est 100 % Triste ». Mais les visages humains sont complexes et ambigus. Parfois, un visage contient un mélange de sentiments, ou l'éclairage rend une expression subtile difficile à lire. La grande question dans ce domaine est la suivante : comment enseigner à un ordinateur que le visage n'est pas seulement une réponse unique, mais toute une gamme de possibilités ?

Ce document présente un nouveau système appelé AffectFlow-DINO, conçu pour résoudre exactement ce problème. Au lieu de forcer l'ordinateur à choisir un seul « meilleur choix » pour l'humeur d'une personne, l'équipe a construit un modèle qui apprend à imaginer plusieurs humeurs possibles à la fois. Pensez-y comme à un prévisionniste météo. Un modèle traditionnel pourrait dire : « Il pleuvra à 14h ». Un meilleur modèle, conscient de l'incertitude, dira : « Il y a 70 % de chances de pluie, 20 % de nuages et 10 % de soleil ». AffectFlow-DINO fait cela pour les émotions. Il utilise une astuce mathématique ingénieuse appelée « flux rectifié » (rectified flow) pour générer un nuage d'états émotionnels plausibles pour chaque visage qu'il voit. En faisant la moyenne de ces possibilités, il trouve souvent une réponse plus précise qu'un modèle standard ne pourrait jamais le faire. Les chercheurs ont testé leur système sur un immense ensemble de données de visages du monde réel et ont découvert qu'en embrassant l'incertitude, leur système est devenu nettement meilleur pour détecter les sentiments subtils, en particulier pour les émotions rares comme la peur ou la tristesse qui sont habituellement ignorées.

Le Problème : Le Piège du « Taille Unique »

Imaginez que vous essayiez de décrire une peinture complexe à un ami par téléphone. Si vous êtes forcé de choisir un seul mot pour décrire toute l'image, vous pourriez dire « Bleu ». Mais la peinture est en réalité un mélange de bleu, de gris et d'une petite touche de rouge. Si vous dites seulement « Bleu », vous manquez la nuance.

Dans le monde de la reconnaissance faciale, les ordinateurs sont restés coincés dans ce pièpiège du « mot unique ». Ils regardent un visage et tentent de produire un nombre unique pour la « Valence » (à quel point l'humeur est positive ou négative) et l'« Arousal » (à quel point l'état est excité ou calme), ainsi qu'une liste de mouvements musculaires faciaux appelés « Unités d'Action » (Action Units). Le problème est que, dans le monde réel, les visages sont ambigus. Un léger tressaillement de la bouche peut être un sourire, une grimace ou simplement un spasme musculaire. Un modèle informatique standard écrase toute cette ambiguïté en une prédiction unique et rigide, jetant l'incertitude qui contient pourtant les indices de la bonne réponse.

La Solution : Une Machine du « Et si ? »

Les auteurs de ce document ont décidé de cesser de demander à l'ordinateur : « Quelle est l'émotion ? » pour commencer à lui demander : « Quelle pourrait être l'émotion ? »

Ils ont construit un système appelé AffectFlow-DINO. Il commence par un « cerveau » puissant et pré-entraîné (une architecture visuelle DINOv3) qui est déjà très doué pour reconnaître les visages. Mais au lieu de simplement laisser ce cerveau faire une supposition unique, ils ont ajouté un « moteur d'imagination » spécial par-dessus. Ce moteur utilise une technique appelée Flux Rectifié (Rectified Flow).

Voici une façon simple de visualiser son fonctionnement :

Le Bruit : Imaginez partir d'une toile vierge couverte de bruit statique (comme de la neige sur une télévision).
Le Voyage : Le modèle apprend un chemin direct et efficace pour transformer ce bruit en une émotion spécifique. C'est comme tracer une ligne directe de la « confusion » vers le « bonheur ».
Le Nuage : Lorsqu'il voit un nouveau visage, le modèle ne trace pas seulement une ligne. Il trace plusieurs lignes à partir du bruit vers l'espace émotionnel. Chaque ligne représente une interprétation différente et plausible de ce visage.
La Moyenne : Enfin, il prend la moyenne de toutes ces lignes. Si le visage est clairement joyeux, toutes les lignes pointeront vers « Joyeux », et la moyenne sera un « Joyeux » fort et confiant. Si le visage est ambigu, les lignes s'éparpillent, et la moyenne donne une réponse nuancée qui capture l'incertitude.

Les Résultats : Devenir Meilleur sur les Sujets Difficiles

L'équipe a testé son système sur le jeu de données s-Aff-Wild2, qui contient des milliers d'images statiques de visages du monde réel. Ces images sont difficiles car elles sont souvent mal éclairées, partiellement couvertes ou montrent des expressions très subtiles. L'objectif est de prédire trois choses à la fois :

Valence-Arousal : À quel point la personne est positive/négative et excitée/calme.
Expressions : Quelles émotions parmi huit (comme la Joie, la Peur, la Tristesse) sont présentes.
Unités d'Action : Quels muscles faciaux spécifiques parmi douze sont en mouvement.

Les résultats ont été impressionnants. En utilisant leur « moteur d'imagination », le modèle a amélioré sa capacité à prédire les scores de Valence-Arousal de manière significative (une amélioration de score de +0,058). Mais la véritable magie s'est produite avec les émotions rares.

Dans le monde réel, certaines émotions sont très rares. Dans leur ensemble de données, la Peur n'apparaissait que dans environ 3,8 % des images étiquetées, et la Tristesse était également assez rare. Les modèles standards ignorent généralement ces cas rares, prédisant « Neutre » ou « Autre » la plupart du temps. Le système AffectFlow-DINO, cependant, a réussi à récupérer la capacité de détecter ces émotions rares.

Grâce à une étape de post-traitement ingénieuse (l'ajustement du « seuil de décision » pour chaque émotion séparément) appliquée à un modèle qui avait été affiné (fine-tuned) sur la tâche spécifique, ils ont boosté la capacité du modèle à détecter la Peur d'un score F1 médiocre de 3,8 % à 33,1 %, et la Tristesse de 17,1 % à 28,2 %. Cette étape de calibration spécifique ne nécessitait pas de réentraîner tout le modèle à partir de zéro ; il s'agissait simplement d'écouter plus attentivement les signaux que le modèle affiné apprenait déjà.

Ce Qu'Ils Ont Éliminé

Les chercheurs n'ont pas seulement essayé une chose ; ils ont testé 26 choix de conception différents pour voir ce qui fonctionnait réellement.

Ils ont éliminé le « Juste Flux » ou le « Juste Déterministe » : Ils ont constaté que s'ils utilisaient uniquement le « moteur d'imagination » (Flow) sans les têtes de prédiction « une seule supposition » standard, le modèle échouait. Inversement, s'ils utilisaient uniquement les têtes standard sans le flux, ils manquaient la nuance. Les deux parties doivent travailler ensemble.
Ils ont éliminé les correctifs simples pour le déséquilibre : Ils ont essayé de faire en sorte que l'ordinateur prête plus d'attention aux émotions rares en modifiant simplement les poids mathématiques ou en utilisant une « Focal Loss ». Ces méthodes ne fonctionnaient pas bien seules et rendaient parfois le modèle moins performant sur d'autres tâches.
Ils ont éliminé l'approche « Tout le reste et rien encore » (Kitchen Sink) de l'affinage : Ils ont essayé de combiner toutes les astuces possibles (changement de poids, stratégies d'échantillonnage, etc.) en même temps. Étonnamment, cette approche n'a pas amélioré le score final ; en fait, elle a parfois nui à la capacité du modèle à prédire l'humeur (Valence) avec précision.

L'Essentiel

Le papier suggère que la clé d'une meilleure reconnaissance des émotions n'est pas seulement de rendre l'ordinateur plus « intelligent » ou plus « grand », mais de lui apprendre à être à l'aise avec l'incertitude. En laissant le modèle explorer une gamme de possibilités et en faisant ensuite la moyenne, AffectFlow-DINO a atteint un score de performance finale de 1,177, ce qui est plus du double du score de référence officiel de 0,45.

Les auteurs concluent que, bien que leur système soit une avancée majeure, les gains les plus importants proviennent de deux choses :

L'affinage du cerveau visuel : Ajuster le reconnaisseur de visages pré-entraîné à la tâche spécifique.
La calibration des seuils de décision : Réaliser que l'ordinateur « voyait » en réalité les émotions rares, mais qu'il avait simplement besoin d'un petit coup de pouce pour faire confiance à ses propres intuitions.

Ce travail suggère que l'avenir de l'IA émotionnelle ne réside pas dans l'imposition d'une réponse unique, mais dans l'acceptation de la réalité complexe et multidimensionnelle de l'expression humaine.

Résumé Technique : AffectFlow-DINO

Énoncé du Problème

La 11ème compétition ABAW (Affective Behavior Analysis in-the-wild) présente un scénario de Multi-Task Learning (MTL) exigeant où chaque image de visage statique doit être simultanément annotée avec trois représentations affectives complémentaires : des valeurs continues de Valence-Arousal (VA), une étiquette d'expression catégorielle à huit voies, et douze étiquettes d'Unités d'Action (AU) binaires.

Ce cadre introduit des difficultés significatives :

Cibles Hétérogènes : Les tâches diffèrent par leur type de sortie (régression, classification à étiquette unique et détection multi-étiquettes) et par la densité de supervision.
Déséquilibre de Classe Sévère : Le jeu de données s-Aff-Wild2 présente un déséquilibre de 8× pour les classes d'expression (dominées par le Neutre, l'Autre et le Bonheur) et de 29× pour les AU.
Supervision Incomplète : Les annotations conjointes pour les trois tâches ne couvrent que 37 % des images d'entraînement, nécessissant une gestion robuste des étiquettes manquantes.
Ambiguïté Perceptuelle : Les comportements faciaux en milieu naturel (ex: sourires subtils, occlusions partielles) correspondent souvent à plusieurs configurations plausibles dans l'espace affectif conjoint. Les modèles déterministes standards réduisent cette ambiguïté à une estimation ponctuelle unique, écartant ainsi les informations précieuses sur l'incertitude.

Méthodologie : AffectFlow-DINO

Les auteurs proposent AffectFlow-DINO, un système MTL au niveau de l'image qui augmente une architecture déterministe standard par une tête de flux rectifié conditionnel afin de modéliser la distribution jointe complète $p(y|x)$ .

Aperçu de l'Architecture

Le système comprend quatre composants principaux :

Backbone Visuel : Un encodeur DINOv3 ViT-S/16 gelé extrait des représentations faciales riches. Les auteurs notent que les objectifs auto-supervisés de DINO imposent une cohérence sémantique spatiale, ce qui le rend bien adapté à la détection des activations musculaires localisées (AU) par rapport à un pré-entraînement basé sur la reconstruction comme MAE.
Projection Partagée : Une tête de projection projette les caractéristiques du backbone dans un embedding affectif compact de 768 dimensions $z$ .
Têtes Déterministes : Trois têtes MLP spécifiques à chaque tâche produisent des prédictions ponctuelles pour la VA (contrainte dans $[-1, 1]$ via tanh), l'Expression (8 logits) et les AU (12 logits).
Tête de Flux Rectifié Conditionnel : Cette innovation centrale apprend une carte de transport générative d'un bruit gaussien isotrope vers la distribution cible conditionnelle $p(y|x)$ . Elle prend l'embedding d'image $z$ , une cible bruitée interpolée linéairement $y_t$ , et un embedding temporel $\gamma(t)$ pour prédire la vitesse de transport.

Représentation Conjointe et Supervision Masquée

Le modèle unifie les cibles hétérogènes en un vecteur unique de 22 dimensions $y \in \mathbb{R}^{22}$ , comprenant la VA (2 dims), l'Expression (8 dims) et les AU (12 dims). Pendant l'entraînement, les dimensions catégorielles et binaires sont traitées comme des scores réels non contraints au sein de la trajectoire de flux. Les prédictions discrètes ne sont récupérées qu'à l'inférence via $\arg\max$ et un seuillage sigmoïde.

Pour gérer les annotations incomplètes, un masque de validité binaire par échantillon $m_i$ est appliqué à tous les termes de perte. Cela garantit que les cibles manquantes ne contribuent pas aux gradients et ne déforment pas le signal d'entraînement du flux. Les auteurs soutiennent que sous l'hypothèse que l'absence d'annotation est indépendante des vraies valeurs affectives, le masquage permet au modèle d'apprendre la distribution jointe complète à partir de marginales partielles.

Entraînement et Inférence

Fonction de Perte : L'objectif total combine une perte multi-tâche déterministe pondérée ( $\mathcal{L}_{det}$ ) et une perte de flux ( $\mathcal{L}_{flow}$ ) :
$\mathcal{L} = \mathcal{L}_{det} + \beta \mathcal{L}_{flow}$
La perte de flux minimise l'erreur quadratique entre la vitesse prédite et le champ de vitesse constante réel $v^* = y - \epsilon$ .
Inférence : Au lieu d'une passe avant unique, le modèle effectue un échantillonnage de Monte Carlo. $N$ échantillons de bruit indépendants sont intégrés via des étapes d'Euler de $t=0$ à $t=1$ . La prédiction finale est la moyenne de ces trajectoires, fournissant à la fois une estimation ponctuelle (la moyenne) et une mesure d'incertitude (la dispersion).

Principales Contributions

Objectif MTL de Flux Rectifié Masqué : Un nouveau cadre qui optimise conjointement des têtes de tâches déterministes et une distribution conditionnelle générative sur un vecteur affectif de 22 dimensions, gérant les étiquettes manquantes via le masquage.
Étude d'Ablation Systématique : Une évaluation étendue couvrant 26 choix de conception sur s-Aff-Wild2, incluant les poids de la perte de flux, l'efficacité de l'inférence, les remèdes au déséquilibre, le fine-tuning du backbone et le calibrage post-hoc.
Stratégies de Calibrage Post-Hoc : La démonstration que le calibrage des seuils par AU et par classe d'expression permet de récupérer efficacement les performances sur les classes rares et sévèrement déséquilibrées (ex: Peur, Tristesse, AU15, AU23) sans ré-entraînement.

Résultats Expérimentaux

Le système a été évalué sur le split de validation de s-Aff-Wild2. Le baseline officiel du challenge atteint une métrique composite $PMTL = 0.45$.

Performance du Baseline : Un modèle purement déterministe ( $\beta=0$ ) atteint un $PMTL = 0.793$. L'ajout de la tête de flux avec décodage de flux ( $\beta=1$ ) améliore ce résultat à $PMTL = 0.826$, l'échantillonnage de flux boostant spécifiquement l'estimation de la Valence-Arousal (VA) ($CCC-V +0.058$).
Fine-Tuning du Backbone : Le fine-tuning à faible taux d'apprentissage du backbone DINOv3 a apporté le gain le plus significatif, élevant le meilleur résultat du backbone gelé ($0.831 $) à$ PMTL = 1.045$. Curieusement, après fine-tuning, le décodage déterministe a surpassé le décodage par flux, suggérant que la tête de flux nécessite un ré-ajustement.
Ré-ajustement du Flux : Réactiver l'objectif de flux ( $\beta=1.0$ ) pendant le fine-tuning du backbone a amélioré la performance déterministe à $PMTL = 1.073$.
Gains de Calibrage :
- Calibrage de Seuil par AU : A amélioré le $PAU$ de $0.453 $à$ 0.502$, portant le score total à $1.123$.
- Calibrage d'Expression par Classe : En ajustant les logits spécifiques aux classes sur l'ensemble de validation, le modèle a récupéré le signal latent pour les classes rares. Le F1 de la Peur est passé de $3.8\%$ à $33.1\%$ , et celui de la Tristesse de $17.1\%$ à $28.2\%$ .
Performance Finale : La combinaison du fine-tuning du backbone, du ré-ajustement du flux ( $\beta=1.0$ ) et du calibrage post-hoc combiné a atteint un $PMTL = 1.177$, surpassant substantiellement le baseline officiel ($0.45$) et le meilleur modèle fine-tuné non calibré ($1.045$).

Signification et Revendications

L'article affirme que AffectFlow-DINO démontre la valeur de modéliser l'affect facial comme une distribution conditionnelle plutôt que comme une application déterministe. Les auteurs soulignent trois leçons principales :

Complémentarité des Objectifs : Les objectifs de flux et déterministes sont mutuellement bénéfiques. Un entraînement uniquement par flux s'effondre sans l'ancrage déterministe, tandis qu'une inférence uniquement déterministe rejette la capacité distributionnelle. L'échantillonnage de flux est particulièrement efficace pour les cibles continues (VA) où l'ambiguïté est la plus élevée.
Rôle du Fine-Tuning : Bien que l'adaptation du backbone soit le facteur dominant des gains de performance, la voie générative se dégrade si la tête de flux n'est pas conjointement ré-ajustée lors du fine-tuning.
Déblocage des Signaux Rares : Un déséquilibre de classe sévère supprime les signaux appris mais ne les efface pas. Les auteurs affirment que le calibrage post-hoc peut "débloquer" des scores F1 proches de zéro pour les catégories rares (Peur, Tristesse, AU rares) avec un coût de ré-entraînement nul, suggant que les frontières de décision peuvent être ajustées pour faire émerger des signaux déjà encodés dans la représentation.

Les auteurs concluent que combler l'écart avec l'état de l'art (SOTA) nécessitera probablement une agrégation temporelle et un décodage fine-tuné plus expressif, notant que leur travail actuel est strictement au niveau de l'image (frame-level).