The Circumplex Degeneracy Behind the Rare-Class Limit in Affect Recognition

Technische Samenvatting: De Circumplex-degeneratie achter de Limiet van Zeldzame Klassen in Affectherkenning

Probleemstelling
Systemen voor gezichtsuitdrukkingsherkenning in de praktijk (in-the-wild) behalen consequent bruikbare nauwkeurigheid voor veelvoorkomende emoties, maar falen hardnekkig op enkele zeldzame klassen, specifiek woede en angst (op Aff-Wild2) of woede en minachting (op AffectNet). De standaardinterpretatie schrijft dit falen toe aan klasse-imbalans, waarbij oplossingen zoals herweging, gebalanceerde sampling of focal losses worden gesuggereerd. Deze frequentiegebaseerde interventies falen echter in het verbeteren van de prestaties op de moeilijkste klassen. Dit artikel stelt dat het falen niet een kwestie is van frequentie, maar van affect-geometrie: de zeldzame klassen zijn geometrisch degeneratief (bijna samenvallend) op Russells circumplex-model van emotie, een eigenschap die de effectiviteit van elke verliesfunctie of kostenontwerp begrenst.

Methodologie
De auteurs voeren een gecontroleerde multi-task studie uit op twee benchmarks (Aff-Wild2 en AffectNet) met behulp van een gedeelde encoder met taakspecifieke koppen voor Valence-Arousal (VA), Expressie (EXPR) en Action Units (AU).

1. Circumplex-Cost Optimal Transport (OT) Term: Het primaire instrument is een gestructureerde verliesterm die de kosten van expressie-confusies prijst op basis van hun Euclidische afstand in het valence–arousal-vlak. De grondmetriek wordt direct afgeleid van de eigen VA-annotaties van de dataset, waarbij de klassencentroids ($\mu_c$) worden berekend en de afstand $D_{cc'} = \|\mu_c - \mu_{c'}\|$ wordt gebruikt als de transportkost.
2. Gecontroleerde Vergelijkingen: Om te isoleren of de prestatiewinst voortkomt uit de specifieke affect-geometrie of louter uit de aanwezigheid van een niet-triviale straf, introduceren de auteurs twee cruciale controles die zelden in deze literatuur worden gebruikt:
   • Uniforme Kosten: Vervangt de gestructureerde circumplex-afstanden door een constante waarde, waardoor de OT-term wordt gereduceerd tot een generieke vertrouwensstraf (confidence penalty).
   • Permutatiekosten: Herschikt de klasse-indices om de multiset van paarwijze afstanden te behouden, maar vernietigt de semantische geometrie.
3. Error-Structure Metrics: Omdat de standaard Macro-F1 invariant is voor welke foutieve klasse wordt voorspeld, introduceren de auteurs geometrie-bewuste metrieken: Error Severity (gemiddelde circumplex-afstand van misclassificaties), Quadrant Preservation en Affect-Weighted Accuracy.
4. Representatie-analyse: De studie vergelijkt face self-supervised encoders (FSFM) met face vision-language encoders (FaRL) en algemene vision-language modellen (SigLIP 2) om te bepalen of de feature-ruimte de circumplex-structuur al codeert.
5. Action Unit (AU) Augmentatie: Een experiment construeert een grondkost op basis van AU-signaturen om de degeneratieve paren (bijv. woede versus angst) expliciet te scheiden, waarbij wordt getest of een kost met een hogere geometrische resolutie de beperkingen van de representatie kan overwinnen.

Belangrijkste Resultaten

• Scorewinst is Generiek, Niet Geometrisch: De circumplex-kost OT-term verbetert de officiële multi-task score (PMTL) en de Expression Macro-F1 op beide datasets. Echter, de uniforme kosten-controle reproduceert deze winsten volledig. Op Aff-Wild2 is de uniforme kost statistisch ononderscheidbaar van de circumplex-kost ($p=0.625$); op AffectNet presteert de uniforme kost significant beter dan de circumplex-kost ($+0.057$ t.o.v. de basis versus $+0.052$ voor circumplex). Dit geeft aan dat de verbetering in score een artefact is van het toevoegen van een generieke vertrouwensstraf, en niet van de affect-geometrie zelf.
• Error Shaping is Dataset-Afhankelijk: Hoewel de scorewinst generiek is, vormt de circumplex-geometrie de foutstructuur wel degelijk opnieuw op Aff-Wild2, waardoor de overgebleven fouten affectief dichter bij de waarheid liggen (lagere error severity, $p=0.031$). Dit effect overleeft niet op AffectNet, waar een visuele confound (minachting die wordt verward met geluk) het geometrische signaal overstemt.
• De Limiet van Zeldzame Klassen is Stabiel: De degeneratieve paren (woede–angst op Aff-Wild2; woede–minachting op AffectNet) weerstaan alle interventies. Frequentiegebaseerde losses, de transportterm en zelfs een AU-geaugmenteerde kost (die de paren succesvol scheidt in de kostenmatrix) falen in het herstellen van de F1-scores van deze klassen.
• Oorsprong van de Representatie: Het falen wordt geïdentificeerd als representatief. Vision-language encoders (FaRL) coderen de circumplex-structuur al in hun features, waardoor de geometrische verliesterm redundant is. Daarentegen missen face self-supervised encoders (FSFM) deze uitlijning. Cruciaal is dat zelfs wanneer de kost-geometrie perfect scheidbaar wordt gemaakt (via AU-signaturen), het model de klassen niet kan scheiden, wat bewijst dat de bottleneck in de feature-representatie ligt en niet in de loss-weging.

Belangrijkste Bijdragen

1. Isolatie van Geometrische Effecten: Het artikel toont aan dat de schijnbare voordelen van affect-geometrie supervisie vaak generieke regularisatie-effecten zijn. Het vestigt gehusselde en uniforme-kost-controles als noodzakelijke standaarden voor het evalueren van gestructureerde-kost losses in affectherkenning.
2. Diagnose van het Falen van Zeldzame Klassen: De auteurs diagnosticeren het hardnekkige falen van zeldzame expressies als een circumplex-degeneratie. Deze degeneratie is een representatieve limiet; geen enkel kostenontwerp kan de scheidbaarheid creëren die de feature-representatie mist.
3. Nieuwe Metrieken en Controles: Het artikel introduceert error severity, quadrant preservation en de shuffled-cost controle om onderscheid te maken tussen geometrische foutvorming en generieke regularisatie, wat een eerlijk verslag geeft van waar geometrische effecten wel en niet optreden.
4. Representatie-analyse: Door gecontroleerde vergelijkingen van pretraining-domeinen laat de studie zien dat het vermogen van een model om affect-geometrie te benutten afhangt van de vraag of het pretraining-domein (bijv. vision-language versus self-supervised) die structuur al heeft gecodeerd.

Betekenis en Claims
Het artikel concludeert dat vooruitgang op het gebied van zeldzame expressies niet kan worden bereikt door het "herprijzen" van confusies via betere verliesfuncties of kosten-geometrieën. In plaats daarvan vereist de oplossing representaties die de klassen onderscheiden. De auteurs stellen dat het vakgebied de succesvolle resultaten te veel heeft toegeschreven aan geometrische supervisie, terwijl het vaak een generiek penalty-effect is, en dat de werkelijke barrière voor het herkennen van zeldzame emoties de ineenstorting van deze klassen in de feature-ruimte is vanwege hun geometrische degeneratie. De studie pleit voor een verschuiving van de focus van loss-engineering naar het ontwikkelen van feature-representaties die in staat zijn om deze degeneratieve paren te ontwarren, mogelijk door orthogonale signalen (zoals Action Units) op feature-niveau te fuseren in plaats van op loss-niveau.