Weakly Supervised Learning for Facial Affective Behavior Analysis : A Review

Deze paper biedt een gestructureerd overzicht en kritische synthese van zwak toezichthoudende leermethoden voor de analyse van affectief gezichtsgedrag, waarbij een taxonomie wordt gepresenteerd, bestaande methoden voor classificatie en regressie worden geëvalueerd, en toekomstige uitdagingen voor robuuste, schaalbare systemen worden geïdentificeerd.

De kern

De Grote Dilemma: De "Gouden Handtekening" van Emoties

Stel je voor dat je een detective bent die probeert te achterhalen wat mensen voelen door alleen naar hun gezicht te kijken. Dit noemen we Faciale Affectieve Gedragsanalyse (FABA).

In de ideale wereld zou elke foto of video van een gezicht perfect gelabeld zijn door een expert: "Dit is een glimlach, intensiteit 5 op 10, en hier is de spier in de wang die beweegt." Maar in de echte wereld is dat een droom. Het kost duizenden euro's en maanden van training om zo'n expert te vinden. Bovendien zijn emoties vaak vaag: is die frons boosheid of gewoon concentratie?

Omdat we geen duizenden perfecte labels hebben, moeten we een andere weg inslaan. Dat is waar Weakly Supervised Learning (WSL) of "Zwak Begeleid Leren" om de hoek komt kijken.

Wat is "Zwak Begeleid Leren"?

Stel je voor dat je een kind leert om dieren te herkennen, maar je hebt geen tijd om elke foto met de naam te voorzien.

• Perfecte supervisie (de oude manier): Je wijst op een foto en zegt: "Dit is een hond."
• Zwakke supervisie (de nieuwe manier): Je zegt alleen: "In deze hele video van de tuin is ergens een hond te zien."

Het kind (het computerprogramma) moet nu zelf uitvinden waar in die video de hond zit en welke spierbewegingen daar bij horen. Het moet werken met onvolledige, vaag of zelfs soms foutieve informatie.

De 4 Manieren om met "Slechte" Informatie te Werken

De auteurs van dit artikel hebben een soort "landkaart" gemaakt van hoe je met deze onvolmaakte informatie omgaat. Ze verdelen het in vier categorieën:

1. Onnauwkeurig (Inexact): "De Globale Schets"

   • Vergelijking: Je krijgt een foto van een heel feest en de tekst "Iemand is hier blij". Je weet niet wie, en je weet niet op welk moment.
   • De oplossing: De computer zoekt naar het moment waarop de meeste mensen lachen of de meest opvallende glimlach, en gebruikt dat als bewijs. Het is alsof je in een drukke zaal naar de lachende persoon zoekt om te weten dat er een feest is.

2. Onvolledig (Incomplete): "De Puzzel met Ontbrekende Stukjes"

   • Vergelijking: Je hebt een puzzel, maar slechts 10% van de stukjes heeft een label. De rest is leeg.
   • De oplossing: De computer kijkt naar de gelabelde stukjes en probeert de rest te raden door te kijken naar patronen. Als twee stukjes er heel veel op lijken, zullen ze waarschijnlijk hetzelfde label hebben. Het is als het invullen van een kruiswoordraadsel op basis van de letters die je al hebt.

3. Onnauwkeurig (Inaccurate/Noisy): "De Verkeerde Wegwijzers"

   • Vergelijking: Je krijgt een kaart, maar sommige pijlen wijzen de verkeerde kant op. Misschien is "boos" per ongeluk gemarkeerd als "blij".
   • De oplossing: De computer leert om niet blindelings te vertrouwen op elke aanwijzing. Het zoekt naar patronen die consistent zijn. Als 90% van de "boze" gezichten echt boos lijken, maar 10% niet, dan weet de computer dat die 10% waarschijnlijk fout is. Het leert om de ruis te filteren.

4. Indirect (Proxy): "De Vertaler"

   • Vergelijking: Je wilt weten wat iemand voelt, maar je mag niet naar het gezicht kijken. Je moet het afleiden uit wat ze zeggen.
   • De oplossing: Als iemand zegt "Wat een geweldige dag!", is de kans groot dat ze blij zijn. De computer gebruikt tekst of geluid als een proxy (tussenpersoon) om te leren wat het gezicht doet, zonder dat er direct een label op het gezicht staat.

Wat hebben ze ontdekt?

De auteurs hebben gekeken naar de beste methoden om deze problemen op te lossen. Hier zijn de belangrijkste inzichten, vertaald naar alledaags taal:

• Tijdsbewustzijn is cruciaal: Emoties gebeuren niet in een statische foto; ze zijn een film. Een goede computer moet niet alleen kijken naar wat er gebeurt, maar ook wanneer. Het moet begrijpen dat een glimlach begint, piekt en weer verdwijnt.
• Samenwerking tussen spieren: Het gezicht werkt als een orkest. Als de mondhoeken omhoog gaan, gaan vaak ook de wangen omhoog. De slimste modellen leren deze samenwerking tussen verschillende spiergroepen (Action Units) te begrijpen, in plaats van ze apart te bekijken.
• Gebruik van "Zelflerende" modellen: In plaats van alles van nul te leren, gebruiken moderne methoden modellen die al zijn getraind op enorme hoeveelheden data (zoals foundation models). Dit is alsof je een student neemt die al duizenden boeken heeft gelezen, en hem alleen nog maar even moet uitleggen wat je precies wilt dat hij doet.

Waarom is dit belangrijk voor de toekomst?

Dit onderzoek is een stap in de richting van computers die echt menselijk gedrag kunnen begrijpen in de echte wereld, waar alles rommelig en onvolmaakt is.

• Medische toepassingen: Denk aan het detecteren van pijn bij patiënten die niet kunnen praten (bijvoorbeeld baby's of mensen met dementie), zonder dat er urenlang durende labels nodig zijn.
• Autonoom rijden: Een auto die ziet dat de bestuurder moe of gestrest is, en dan automatisch de temperatuur verlaagt of een rustig liedje afspeelt.
• Eerlijkheid: De auteurs waarschuwen ook dat we oppassen moeten. Als de data "slecht" is, kan de computer ook vooroordelen leren (bijvoorbeeld: "mannen zijn boos, vrouwen zijn blij"). Ze pleiten voor eerlijke systemen die rekening houden met verschillende huidskleuren en culturen.

Conclusie

Kortom: dit artikel is een handleiding voor hoe we computers kunnen leren om menselijke emoties te lezen, zelfs als we geen perfecte instructies hebben. Het is alsof we een detective opleiden die kan werken met vaag getuigenverhaal in plaats van een perfecte getuige. Door slimme wiskunde en het gebruik van indirecte signalen, kunnen we toch betrouwbare systemen bouwen voor de echte wereld.

Technische samenvatting

Titel: Zwak toezicht leren voor analyse van gezichtsaffectief gedrag: Een overzicht

Auteurs: R. Gnana Praveen, Patrick Cardinal en Eric Granger.

---

1. Probleemstelling

De analyse van gezichtsaffectief gedrag (FABA - Facial Affective Behavior Analysis) is cruciaal voor toepassingen zoals mens-computerinteractie, medische diagnose en autonoom rijden. Hoewel diep leren (DL) grote vooruitgang heeft geboekt, staat de training van accurate modellen voor FABA voor een groot obstakel: de afhankelijkheid van grote, volledig geannoteerde datasets.

• Kosten en Complexiteit: Het verkrijgen van hoogwaardige annotaties (zoals Action Units of AUs volgens het FACS-systeem) vereist gespecialiseerde expertise en is extreem tijdrovend (bijv. bijna een uur voor één minuut video).
• Ambiguïteit: Zelfs bij experts bestaat er onenigheid over subtiele gezichtsbewegingen en intensiteitsniveaus. Dit leidt tot "ruis" in de labels.
• Beperkingen van bestaande surveys: Bestaande overzichten focussen voornamelijk op volledig toezicht (fully supervised learning), wat niet realistisch is voor veel real-world scenario's waar perfecte labels ontbreken.

Oplossingsrichting: Het artikel onderzoekt Zwak Toezicht Leren (WSL - Weakly Supervised Learning). Dit paradigma maakt het mogelijk om modellen te trainen met "zwakke" annotaties (bijv. videoniveau labels in plaats van frame-level, onvolledige labels, of ruisachtige labels), waardoor de afhankelijkheid van dure, handmatige annotatie wordt verminderd.

---

2. Methodologie en Taxonomie

De auteurs presenteren een gestructureerde taxonomie van WSL-scenario's voor FABA, ingedeeld op basis van het type zwakke annotatie en de specifieke affectieve taak (classificatie of regressie).

De vier hoofdcatagorieën van zwak toezicht zijn:

1. Onnauwkeurige (Inexacte/Global) Annotaties:

   • Definitie: Labels zijn beschikbaar op een grof niveau (bijv. het hele filmpje heeft een emotie-label), maar niet per frame of regio.
   • Challenge: Het koppelen van het globale label aan de relevante frames of gezichtsregio's.
   • Methoden: Veelgebruikte technieken zijn Multiple Instance Learning (MIL) (waarbij een video een "zak" van frames is en het model de meest representatieve frames moet vinden) en attention-mechanismen. Voor AU-detectie worden relationele redeneringen gebruikt om afhankelijkheden tussen verschillende AUs te modelleren.

2. Onvolledige (Incomplete/Sparse) Annotaties:

   • Definitie: Annotaties zijn slechts beschikbaar voor een klein subset van de data (bijv. slechts enkele frames in een video of slechts een paar AUs per beeld).
   • Challenge: Het generaliseren van gelabelde naar ongelabelde data zonder fouten te versterken.
   • Methoden: Semi-supervised learning technieken zoals pseudo-labeling (het gebruiken van modelvoorspellingen als labels voor ongelabelde data) en consistency regularization (het garanderen dat het model stabiele voorspellingen geeft onder verschillende data-augmentaties). Er wordt ook gebruik gemaakt van multi-label learning met ontbrekende labels.

3. Onnauwkeurige (Inaccurate/Noisy) Annotaties:

   • Definitie: De beschikbare labels bevatten fouten of subjectieve onzekerheid (bijv. door meningsverschillen tussen annotatoren).
   • Challenge: Het leren van robuuste representaties die de echte affectieve signalen scheiden van de labelruis.
   • Methoden:
     • Label Refinement: Het selecteren van "schone" steekproeven en het herzien van labels op basis van onzekerheidsschattingen.
     • Label Distribution Learning (LDL): In plaats van harde labels, worden zachte verdelingen gebruikt die onzekerheid coderen.
     • Ensembling: Het combineren van voorspellingen van meerdere modellen om ruis te filteren.

4. Indirecte (Proxy) Annotaties:

   • Definitie: Het gebruik van gerelateerde, maar indirecte signalen als supervisie (bijv. tekstuele beschrijvingen, dialoogtranscripten of taalmodellen) in plaats van directe emotie-labels.
   • Challenge: Het modelleren van zwakke cross-modale correlaties (bijv. tussen tekst en gezicht).
   • Methoden: Vision-Language modellen (zoals CLIP-varianten) die visuele features aligneren met tekstuele beschrijvingen van emoties of AUs.

---

3. Belangrijkste Bijdragen

Het artikel levert vier kernbijdragen:

1. Gestructureerde Taxonomie: Een nieuw raamwerk dat WSL-scenario's voor FABA categoriseert op basis van annotatietype en taak, wat onderzoekers helpt om relevante methoden te lokaliseren.
2. Kritische Synthese: Een uitgebreide review van state-of-the-art methoden voor zowel classificatie (emotie- en AU-herkenning) als regressie (intensiteitsschatting), met een analyse van hun sterke punten en beperkingen.
3. Vergelijkende Analyse: Een systematische samenvatting van prestaties op veelgebruikte datasets (zoals RAF-DB, DISFA, BP4D, UNBC-McMaster) en evaluatieprotocollen, inclusief tabellen met prestatiegegevens.
4. Toekomstperspectief: Een discussie over open uitdagingen en toekomstige onderzoeksrichtingen, met een focus op schaalbaarheid en real-world toepasbaarheid.

---

4. Resultaten en Kritische Analyse

De auteurs analyseren de prestaties van verschillende methoden op basis van de taxonomie:

• Temporele Modellering: Voor videobased FABA is expliciete temporele modellering (bijv. via RNNs, Transformers of 3D-CNNs) essentieel, vooral bij onnauwkeurige annotaties. Methoden die temporele consistentie en progressie (onset-apex-offset) modelleren, presteren beter dan die welke alleen op piekframes vertrouwen.
• Relatie tussen AUs: Voor AU-detectie is het modelleren van de onderlinge afhankelijkheid tussen AUs (co-occurrence en mutual exclusivity) cruciaal. Methoden die Graph Neural Networks (GNNs) of Transformers gebruiken om deze relaties dynamisch te leren, overtreffen statische, handgemaakte regels.
• Pseudo-labeling en Onzekerheid: Bij onvolledige annotaties is de kwaliteit van pseudo-labels bepalend. Moderne methoden gebruiken onzekerheidsschatting en class-aware filtering om te voorkomen dat het model fouten leert van onbetrouwbare labels. Hybridbenaderingen (combinatie van pseudo-labeling en consistency regularization) tonen de beste resultaten.
• Indirect Supervisie: Het gebruik van taalmodellen (LLMs) en tekstuele beschrijvingen als proxy-labels is een veelbelovende richting die de behoefte aan menselijke annotatie drastisch kan verminderen, hoewel de kwaliteit van de tekstuele data en de alignatie tussen tekst en beeld kritiek zijn.
• Regressie (Intensiteit): Het schatten van intensiteit is moeilijker dan classificatie. Methoden die ordinaal structuur (bijv. MI-DORF) combineren met diepe spatiotemporale features, tonen betere generalisatie dan traditionele handgemaakte features.

---

5. Betekenis en Toekomstige Richtingen

Deze survey benadrukt dat WSL een onmisbare paradigmaverschuiving is voor het realiseren van robuuste FABA-systemen in de echte wereld, waar perfecte annotaties onhaalbaar zijn.

Toekomstige onderzoeksvlakken die worden geïdentificeerd:

• Few-Shot Learning (FSL): Het combineren van WSL met FSL om modellen te laten adapteren naar zeldzame emoties of nieuwe domeinen met zeer weinig labels.
• Multimodale Learning: Het integreren van audio, tekst, thermische beelden en optische flow om de zwakke visuele supervisie aan te vullen en de robuustheid te vergroten.
• Fairness: Het adresseren van bias in zwakke labels (bijv. gender- of ras-bias) die vaak onbewust worden versterkt door pseudo-labeling strategieën.
• Micro-expressies: Het toepassen van WSL voor het detecteren van zeer korte, onvrijwillige gezichtsbewegingen, waar frame-level annotatie bijna onmogelijk is.
• Grootte Taalmodellen (LLMs): Het gebruik van LLMs als "label-refiners" om ruwe annotaties om te zetten in zachte, betrouwbare targets en rationele uitleggen te genereren.
• Unificatie: De ontwikkeling van een unificerend raamwerk dat classificatie, regressie en AU-detectie tegelijkertijd kan behandelen onder verschillende soorten zwakke supervisie, mogelijk met behulp van foundation models.

Conclusie:
Het artikel concludeert dat de overgang van handmatige, dichte annotatie naar data-gedreven, zwak toezicht leren essentieel is voor de volgende generatie affectieve computing systemen. Door de juiste combinatie van temporele modellering, relationele redenering en onzekerheidsbewustzijn, kunnen robuuste systemen worden gebouwd die schaalbaar en ethisch verantwoord zijn.