The Circumplex Degeneracy Behind the Rare-Class Limit in Affect Recognition

Résumé Technique : La dégénérescence circumplexe derrière la limite des classes rares en reconnaissance de l'affect

Énoncé du problème
Les systèmes de reconnaissance des expressions faciales en milieu réel (in-the-wild) atteignent systématiquement une précision utilisable sur les émotions communes, mais échouent de manière persistante sur quelques classes rares, spécifiquement la colère et la peur (sur Aff-Wild2) ou la colère et le mépris (sur AffectNet). L'interprétation standard attribue cet échec au déséquilibre des classes, suggérant des solutions comme le repondérage, l'échantillonnage équilibré ou les pertes focales (focal losses). Cependant, ces interventions basées sur la fréquence ne parviennent pas à améliorer la performance sur les classes les plus difficiles. Cet article postule que l'échec n'est pas une question de fréquence, mais de géométrie de l'affect : les classes rares sont géométriquement dégénérées (presque coïncidentes) sur le modèle circumplexe de Russell, une propriété qui limite l'efficacité de toute fonction de perte ou conception de coût.

Méthodologie
Les auteurs mènent une étude multi-tâche contrôlée sur deux benchmarks (Aff-Wild2 et AffectNet) utilisant un encodeur partagé avec des têtes spécifiques aux tâches pour la Valence-Arousal (VA), l'Expression (EXPR) et les Unités d'Action (AU).

1. Terme de Transport Optimal (OT) de Coût Circumplexe : Le principal instrument est un terme de perte structuré qui évalue le prix des confusions d'expressions en fonction de leur distance euclidienne dans le plan valence-arousal. La métrique de base est dérivée directement des propres annotations VA du jeu de données, calculant les centroïdes de classe ($\mu_c$) et utilisant la distance $D_{cc'} = \|\mu_c - \mu_{c'}\|$ comme coût de transport.
2. Comparaisons Contrôlées : Pour isoler si les gains de performance proviennent de la géométrie de l'affect spécifique ou simplement de la présence d'une pénalité non triviale, les auteurs introduisent deux contrôles critiques rarement utilisés dans cette littérature :
   • Coût Uniforme : Remplace les distances circumplexes structurées par une valeur constante, réduisant le terme OT à une pénalité de confiance générique.
   • Coût Permuté : Mélange les indices de classe pour préserver le multiensemble des distances par paires, mais détruit la géométrie sémantique.
3. Métriques de Structure d'Erreur : Puisque le Macro-F1 standard est invariant à la classe erronée prédite, les auteurs introduisent des métriques sensibles à la géométrie : Sévérité de l'Erreur (distance circumplexe moyenne des erreurs de classification), Préservation du Quadrant, et Précision Pondérée par l'Affect.
4. Analyse Représentationnelle : L'étude compare des encodeurs de visage auto-supervisés (FSFM) à des encodeurs de visage et de langage (FaRL) ainsi qu'à des modèles généraux de vision-langage (SigLIP 2) pour déterminer si l'espace des caractéristiques encode déjà la structure circumplexe.
5. Augmentation par Unités d'Action (AU) : Une expérience construit un coût de base à partir de signatures d'AU pour séparer explicitement les paires dégénérées (ex: colère vs peur), testant si un coût doté d'une résolution géométrique plus élevée peut surmonter les limitations de la représentation.

Résultats Clés

• Le gain de score est générique, non géométrique : Le terme OT à coût circumplexe améliore le score multi-tâche officiel (PMTL) et l'Expression Macro-F1 sur les deux jeux de données. Cependant, le contrôle par coût uniforme reproduit entièrement ces gains. Sur Aff-Wild2, le coût uniforme est statistiquement indiscernable du coût circumplexe ($p=0,625$) ; sur AffectNet, le coût uniforme surpasse significativement le coût circumplexe ($+0,057$ par rapport à la base contre $+0,052$ pour le circumplexe). Cela indique que l'amélioration du score est un artefact de l'ajout d'une pénalité de confiance générique, et non de la géométrie de l'affect elle-même.
• Le façonnage de l'erreur dépend du jeu de données : Bien que le gain de score soit générique, la géométrie circumplexe reforme la structure de l'erreur sur Aff-Wild2, rendant les erreurs subsistantes affectivement plus proches de la vérité (plus faible sévérité de l'erreur, $p=0,031$). Cet effet ne survit pas sur AffectNet, où un biais visuel (le mépris confondu avec le bonheur) submerge le signal géométrique.
• La limite des classes rares est stable : Les paires dégénérées (colère-peur sur Aff-Wild2 ; colère-mépris sur AffectNet) résistent à toutes les interventions. Les pertes basées sur la fréquence, le terme de transport, et même un coût augmenté par les AU (qui sépare avec succès les paires dans la matrice de coût) échouent à récupérer les scores F1 de ces classes.
• Origine Représentationnelle : L'échec est identifié comme étant représentationnel. Les encodeurs vision-langage (FaRL) encodent déjà la structure circumplexe dans leurs caractéristiques, rendant le terme de perte géométrique redondant. Inversement, les encodeurs de visage auto-supervisés (FSFM) manquent de cet alignement. Crucialement, même lorsque la géométrie du coût est rendue parfaitement séparable (via les signatures d'AU), le modèle ne peut pas séparer les classes, prouvant que le goulot d'étranglement réside dans la représentation des caractéristiques, et non dans le pondérage de la perte.

Contributions Clés

1. Isolation des Effets Géométriques : Le papier démontre que les bénéfices apparents de la supervision par géométrie de l'affect sont souvent des effets de régularisation génériques. Il établit les contrôles par coût permuté et uniforme comme des standards nécessaires pour évaluer les pertes à coût structuré en reconnaissance de l'affect.
2. Diagnostic de l'Échec des Classes Rares : Les auteurs diagnostiquent l'échec persistant des expressions rares comme une dégénérescence circumplexe. Cette dégénérescence est une limite représentationnelle ; aucun design de coût ne peut fabriquer la séparabilité que la représentation des caractéristiques ne possède pas.
3. Nouvelles Métriques et Contrôles : Le papier introduit la sévérité de l'erreur, la préservation du quadrant et le contrôle par coût permuté pour distinguer le façonnage de l'erreur géométrique de la régularisation générique, fournissant un compte rendu honnête de là où les effets géométriques apparaissent et de là où ils ne le font pas.
4. Analyse Représentationnelle : À travers des comparaisons contrôlées des domaines de pré-entraînement, l'étude montre que la capacité d'un modèle à utiliser la géométrie de l'affect dépend de savoir si le domaine de pré-entraînement (ex: vision-langage vs auto-supervisé) a déjà encodé cette structure.

Signification et Revendications
L'article conclut que le progrès sur les expressions rares ne peut être atteint en "re-tarifant" les confusions via de meilleures fonctions de perte ou des géométries de coût. Au lieu de cela, la solution nécessite des représentations capables de distinguer les classes. Les auteurs soutiennent que le domaine a trop attribué le succès à la supervision géométrique alors qu'il s'agit souvent d'un effet de pénalité générique, et que la véritable barrière à la reconnaissance des émotions rares est l'effondrement de ces classes dans l'espace des caractéristiques dû à leur dégénérescence circumplexe. L'étude préconise de déplacer l'attention de l'ingénierie de la perte vers le développement de représentations de caractéristiques capables de résoudre ces paires dégénérées, potentiellement en fusionnant des signaux orthogonaux (comme les Unités d'Action) au niveau des caractéristiques plutôt qu'au niveau de la perte.