A Shared Latent for Partially-Labeled Multi-Task Facial Affect Recognition

Technische Samenvatting: Een gedeelde latente ruimte voor gedeeltelijk gelabelde multi-task gezichtsuitdrukking-herkenning

Probleemstelling
Het artikel behandelt de uitdaging van automatische herkenning van gezichtsuitdrukkingen in de vrije natuur, specifiek binnen de context van de ABAW (Affective Behavior Analysis in-the-wild) benchmark op de s-Aff-Wild2 dataset. De kernmoeilijkheid ligt in de gedeeltelijke en ongelijkmatige labeling van de trainingsdata: slechts 3-37% van de frames bevat annotaties voor alle drie de heterogene taken tegelijkertijd—continue valentie–arousal regressie, discrete expressieclassificatie en multi-label gezichtsuitdrukking (action unit, AU) detectie.

Bestaande benaderingen behandelen deze ontbrekende labels doorgaans door de loss voor ongelabelde frames te maskeren, pseudo-labels te imputeren via een teacher-model, of door de distributie van labels te matchen. De auteurs stellen dat deze methoden waardevolle cross-task signalen die aanwezig zijn in gedeeltelijk gelabelde frames, verwaarlozen. Bovendien zijn de taken long-tailed, waarbij zeldzame expressies en AU's een onevenredig groot gewicht dragen in de macro-gemiddelde evaluatiemetriek. Ten slotte verbiedt de benchmark pretraining op Aff-Wild2, wat dwingt tot het vertrouwen op externe pretraining-strategieën waar de keuze van de representatie cruciaal is.

Methodologie
Het voorgestelde systeem herformuleert gedeeltelijk gelabelde multi-task learning als marginalisatie over een gedeelde affectieve latente variabele. In plaats van ontbrekende labels te behandelen als een overlast die gemaskeerd of ingevuld moet worden, behandelt het model ze als niet-geobserveerde variabelen in een generatief proces.

1. Gedeelde affectieve latente ruimte: De architectuur maakt gebruik van een enkele stochastische bottleneck (een 96-dimensionale latente variabele $z$) waaruit alle drie de task-decoders putten. Een frame dat slechts voor één taak is geannoteerd, beperkt nog steeds de posterieure distributie van deze latente variabele, waardoor de representatie die door de andere decoders wordt gebruikt, vorm krijgt.

   • De objectieffunctie is de Evidence Lower Bound (ELBO) van de marginale waarschijnlijkheid. De standaard gemaskeerde loss verschijnt hierbij op natuurlijke wijze terug als de reconstructieterm van deze bound.
   • De latente variabele wordt geregulariseerd via een Kullback–Leibler (KL) divergentie term tegen een standaard normale prior, waarbij de gewicht $\beta$ tijdens de training wordt geanneald.

2. Backbone en temporele modellering:

   • Het systeem maakt gebruik van twee conforme, met AffectNet geïnitialiseerde ViT-B/16 backbones (één self-supervised model voor het gezicht, één masked autoencoder).
   • Een geleerde bidirectionele GRU verwerkt vensters van 64 frames om de temporele dynamiek te vangen, en voert deze features in de gedeelde latente ruimte in.
   • Ensemble-strategie: Het uiteindelijke systeem middelt de voorspellingen van de twee backbones. Cruciaal is dat de auteurs ontdekten dat dit alleen werkt als de tweede backbone een "near-peer" is met gedecorreleerde fouten; een aanzienlijk zwakkere encoder leidt niet tot verbetering van de prestaties.

3. Taakspecifieke assemblage:

   • Expressie: Afgeleid van het gedeelde latente model dat draait op beide backbones.
   • Valentie–Arousal en Action Units: Afgeleid van per-taak specialisten (temporele modellen die specifiek voor elke taak zijn getraind) die gemiddeld zijn over de twee backbones.
   • Initialisatie: De encoder wordt geïnitialiseerd met gewichten die zijn gefinetuned op externe AffectNet-data (expressie en valentie–arousal) voordat deze wordt aangepast aan Aff-Wild2, met als doel de representatie van zeldzame klassen te verbeteren.

Belangrijkste bijdragen

• Formulering: Het artikel beschouwt gedeeltelijk gelabelde multi-task learning als marginalisatie over een gedeelde latente variabele, waardoor taken op het niveau van de representatie worden gekoppeld in plaats van op het niveau van de loss of voorspelling. Dit transformeert de gedeeltelijke labelstructuur in een bron van cross-task supervisie.
• Representatie versus Loss: Door middel van gecontroleerde experimenten laten de auteurs zien dat het aanhoudende falen op zeldzame expressies een eigenschap is van de representatie, en niet van de loss-functie. Standaard herwegting of loss-shaping technieken (bijv. Focal loss, logit adjustment) lossen het probleem niet op; alleen het verbeteren van de representatie (via externe initialisatie of een tweede gedecorreleerde view) hels de kwestie.
• Ensemble-condities: Het artikel identificeert dat het middelen van twee backbones de prestaties alleen verbetert wanneer de tweede encoder een "near-peer" is met gedecorreleerde fouten. Een grotere maar zwakkere encoder levert geen winst op.
• Gecontroleerde analyse: De studie biedt een rigoureuze verantwoording van wat de prestaties drijft, waarbij matched-control negatieven worden gebruikt om de bijdrage van elk component (latente variabele, temporeel model, backbone diversiteit) te isoleren.

Resultaten
Op de s-Aff-Wild2 validatiesplit:

• Totale score: Het geassembleerde systeem bereikt een PMTL (Partial Multi-Task Learning) score van 1.679.
• Expressie: De gedeelde latente ruimte verhoogt de expressie macro-F1 van 0.403 (dedicated specialist) naar 0.446. Deze winst is statistisch significant en wordt niet behaald door standaard gemaskeerde-loss modellen of mean-teacher baselines.
• Action Units: De tweede backbone verhoogt de AU macro-F1 van 0.543 naar 0.556, waarmee een plafond wordt doorbroken dat externe AU-data (FACS corpora) niet konden verplaatsen.
• Valentie–Arousal: Verbeteringen worden waargenomen, maar blijven binnen de ruis-marge van de bootstrap-analyse.
• Generalisatie: De winst in expressie vertoont een bescheiden, regime-afhankelijke replicatie op AffectNet onder gesimuleerde gedeeltelijke labels en wordt overgedragen naar samengestelde emoties op RAF-DB, wat suggereert dat de latente ruimte de affectieve representatie effectief organiseert.

Betekenis en Claims
Het artikel claimt dat de primaire drijfveer van succes in deze benchmark de kwaliteit van de affectieve representatie is en hoe gedeeltelijke labels worden gebruikt om deze vorm te geven, in plaats van loss-balancering of voorspellingsniveau-fusie.

• Falen van zeldzame klassen: Het onvermogen om zeldzame expressies (specifiek het paar angst–woede) te classificeren, wordt toegeschreven aan het feit dat de representatie deze klassen in de affectieve ruimte doet instorten, een beperking die loss-herweging niet kan oplossen.
• Gedeeltelijke labels als supervisie: Het werk betoogt dat het maskeren van gedeeltelijke labels signaal wegwerpt; marginalisatie over een gedeelde latente ruimte herstelt dit signaal als een fundamentele doelstelling.
• Bescheiden reikwijdte: De auteurs zijn bescheiden over hun claims en merken op dat de uiteindelijke score een "in-sample endpoint" is die is geselecteerd op de validatieset. Ze erkennen dat het plafond voor action-units ondoorbroken blijft en dat de generalisatie naar andere datasets eerder exploratief dan conclusief is. Het werk dient als een gecontroleerde verantwoording van de factoren die de prestaties drijven, waarbij de nadruk ligt op het feit dat het falen bij zeldzame klassen representatief is, en niet een kwestie van loss-shaping.