Technische Samenvatting: Van Action Units naar Emoties

Probleemstelling

Gezichtsuitdrukkingherkenning (Facial Expression Recognition, FER) wordt beperkt door praktische uitdagingen zoals variaties in verlichting, houdingsverschillen en een tekort aan geannoteerde data. Bestaande deep learning-modellen lijden vaak aan een gebrekkige cross-domein adaptiviteit, overfitting en onvoldoende interpreteerbaarheid. Bovendien bieden Multimodale Large Language Models (MLLM's) weliswaar geavanceerd semantisch begrip, maar missen ze vaak de gevoeligheid om subtiele geometrische vervormingen van het gezicht en micro-expressies waar te nemen. Traditionele end-to-end fine-tuning van MLLM's op "video-label"-signalen verwaarloost vaak de fijnmazige intermediaire representaties (Action Units) die ten grondslag liggen aan emotionele expressies, wat leidt tot suboptimale redeneerketens.

Methodologie

Het artikel stelt een Two-Stage Fine-Tuning Framework met Decision-Level Fusion voor, ontworpen om de brug te slaan tussen laag-niveau gezichtsperceptie en hoog-niveau emotionele semantiek.

1. Two-Stage Progressive Fine-Tuning

De kernstrategie deelt FER op in twee sequentiële leerniveaus om "triple decoupling" te bereiken: perceptie van redenering, domein-agnostische kennis van domein-specifieke kennis, en fysieke observaties van emotie-labels.

• Fase 1: AU-Detectie Fine-Tuning (Perceptie)

  • Data: Maakt gebruik van de CAS(ME)³ dataset, die frame-niveau Action Unit (AU) annotaties biedt.
  • Taak: Herformuleert AU-herkenning als een Visual Question Answering (VQA) taak. Het model krijgt de instructie om actieve AUs te identificeren op basis van visuele input, waarbij gebruik wordt gemaakt van de voorkennis van het Facial Action Coding System (FACS).
  • Model: Het multimodale grote model Qwen3-VL-32B-Instruct wordt gefinetuned met behulp van LoRA (Low-Rank Adaptation) om slechts een kleine subset van parameters (Query en Value matrices) bij te werken, waardoor de vooraf getrainde visuele-semantische kennis behouden blijft terwijl AU-detectie wordt geleerd.
  • Doel: Om robuuste, domein-agnostische perceptuele vermogens voor subtiele gezichtsmicro-bewegingen te vestigen.

• Fase 2: Expressieherkenning Fine-Tuning (Redenering)

  • Data: Stap over naar de FER-2013 dataset (statische afbeeldingen met emotie-labels maar zonder AU-annotaties).
  • Taak: Het model, geïnitialiseerd met gewichten uit Fase 1, wordt verder gefinetuned om gedetecteerde AU-combinaties in kaart te brengen naar emotiecategorieën. De outputvorm vereist dat het model redeneert van AUs naar het uiteindelijke emotie-label, waarbij de VQA-structuur behouden blijft.
  • Strategie: Alleen nieuwe LoRA-adapters voor emotieherkenning worden geoptimaliseerd; de visuele encoder en de Fase 1-adapters blijven bevroren om de AU-naar-emotie redeneerketen te bewaren.

2. Decision-Level Fusion

Om de beperkingen van pure grote modellen in het waarnemen van fijnmazige geometrische vervormingen aan te pakken, integreert het framework de gefinetunede Qwen3-VL met OpenFace 3.0, een gespecialiseerd lichtgewicht CNN-gebaseerd FER-model.

• Mechanisme: Een gewogen lineaire interpolatie voegt de waarschijnlijkheidsverdelingen ($P_{VLM}$ en $P_{OpenFace}$) van de twee modellen samen:
  $$P_{final} = \alpha \cdot P_{OpenFace} + (1 - \alpha) \cdot P_{VLM}$$
• Ratio: OpenFace 3.0 biedt gevoeligheid voor lokale gezichtskenmerken (landmarks) en geometrische kenmerken, terwijl de gefinetunede MLLM hoog-niveau semantisch begrip en contextueel redeneren biedt.

Belangrijkste Bijdragen

1. Validatie van Large Model Baselines: Systematisch de zero-shot en few-shot prestaties van Qwen3-VL-32B-Instruct op FER geëvalueerd, waarmee een sterke baseline is vastgesteld.
2. AU-Gestuurde Two-Stage Fine-Tuning: Een curriculum leerparadigma geïntroduceerd waarbij het model eerst AU-detectie leert op CAS(ME)³ voordat het naar emoties mapt op FER-2013. Dit stelt het model in staat om AU-inferentiecapaciteiten te verwerven en te redeneren via een interpreteerbare keten ("eerst AU-inferentie, dan emotievoorspelling").
3. Heterogene Model Samenwerking: De haalbaarheid van decision-level fusion tussen een groot multimodaal model en een gespecialiseerd klein model (OpenFace 3.0) aangetoond, wat hun complementaire sterktes valideert.
4. Robuuste Empirische Prestaties: Getoond dat het voorgestelde framework de niet-gefinetunede baselines en standalone gespecialiseerde modellen aanzienlijk overtreft, met name door de recall voor minderheidsklassen te verbeteren en de interpreteerbaarheid te vergroten.

Experimentele Resultaten

Experimenten zijn uitgevoerd op de FER-2013 testset met gebruik van metrieken zoals Accuracy (ACC), Precision, Recall en F1-Score.

• Prestaties vs. Baselines:
  • De Fine-tuned Qwen3-VL behaalde 66,73% nauwkeurigheid, een verbetering van 8 procentpunt ten opzichte van de niet-gefinetunede baseline (58,73%).
  • Het Fused Model (Qwen3-VL + OpenFace 3.0) behaalde 67,37% nauwkeurigheid.
  • Vergeleken met traditionele CNN's presteert het gefuseerde model licht boven GoogLeNet (67,04%) maar blijft achter bij ResNet-50 (69,33%), VGG-16 (68,75%) en DenseNet (69,38%).
  • Ondanks het niet overtreffen van de optimale gespecialiseerde CNN-modellen in algehele nauwkeurigheid, vertoonde het gefuseerde model een superieure Weighted Precision (69,47%), vergelijkbaar met ResNet50 (69,84%).
• Voordelen van Fusie:
  • Het gefuseerde model vertoonde een significante verbetering in Macro-Recall (62,71%) vergeleken met het pure grote model (58,64%), wat wijst op een beter vermogen om minderheidsklassen (bijv. afkeer, angst) te vangen.
  • Vergeleken met alleen OpenFace 3.0 (48,02% nauwkeurigheid), verbeterde het gezamenlijke framework de nauwkeurigheid met 19,35 procentpunt (40,3% relatieve verbetering).
• Interpreteerbaarheid: Het model slaagde erin natuurlijke taalverklaringen te genereren die specifieke AU-activaties (bijv. AU4, AU7) koppelen aan emotieoordelen, wat een traceerbare redeneerketen biedt die afwezig is in "black-box" CNN's.

Betekenis en Claims

Het artikel claimt dat de voorgestelde twee-fasen fine-tuning strategie effectief onderscheidende kenmerken oproept voor subtiele gezichtsgeometrische vervormingen en lage-intensiteit expressies van grote visuele modellen, die normaal gesproken moeite hebben met dergelijke fijnmazige details.

De auteurs stellen dat hoewel pure grote visuele modellen beschikken over een indrukwekkend hoog-niveau semantisch begrip, ze inherente beperkingen vertonen in het waarnemen van subtiele gezichtsvervormingen. De voorgestelde methode pakt dit aan door:

1. Interpreteerbaarheid te vergroten: Het gebruik van AUs als intermediaire representaties maakt traceerbare modeloutputs mogelijk, wat het vertrouwen vergroot.
2. Robuustheid te verbeteren: De decision-level fusie compenseert het gebrek aan fijnmazige ruimtelijke priors in grote modellen, wat de prestaties op minderheidsklassen aanzienlijk verbetert en bias naar hoofdklassen vermindert.
3. Een Nieuwe Weg te Bieden: De studie biedt een technisch paradigma voor het construeren van zeer robuuste en interpreteerbare FER-systemen door gebruik te maken van de complementaire sterktes van MLLM's en gespecialiseerde geometrische modellen, gevalideerd door empirische resultaten die substantiële winsten laten zien ten opzichte van de standalone inferentie van elk modeltype.

De auteurs concluderen dat hoewel de huidige nauwkeurigheid de absolute beste gespecialiseerde CNN's nog niet evenaart, het framework een duidelijke superioriteit demonstreert in voorspellingsvertrouwen, architecturale interpreteerbaarheid en het potentieel voor synergetische toepassingen van grote modellen in affective computing.