Personalized Feature Translation for Expression Recognition: An Efficient Source-Free Domain Adaptation Method

Dit paper introduceert SFDA-PFT, een lichtgewicht methode voor bronvrije domeinaanpassing die een voorgetraind model aanpast aan ongelabelde neutrale doelgegevens door gebruik te maken van gepersonaliseerde feature-translatie in de latentruimte, waardoor privacybehoud wordt gewaarborgd en de prestaties voor gezichtsuitdrukkingsherkenning worden verbeterd zonder brondata of beeldsynthese.

De kern

De Slimme Vertaler: Hoe een AI je gezichtsuitdrukkingen begrijpt zonder je privacy te schenden

Stel je voor dat je een super-leraar hebt die gespecialiseerd is in het lezen van gezichtsuitdrukkingen. Deze leraar is getraind op duizenden foto's van mensen in een laboratorium. Hij kan perfect zien of iemand blij, boos of verdrietig is. Maar er is een probleem: als deze leraar naar een nieuw persoon kijkt in de echte wereld, raakt hij de draad kwijt. Waarom? Omdat iedereen anders is. Iedereen heeft een ander gezicht, een andere huidskleur en maakt expressies op een unieke manier. De leraar is te star en ziet alleen de verschillen, niet de emotie.

Om dit op te lossen, willen we de leraar "personaliseren" voor die nieuwe persoon. Maar hier komt de knelpunt: we mogen de foto's van de nieuwe persoon niet opslaan of delen (om privacyredenen), en we hebben ook geen tijd om duizenden foto's van die persoon te maken. We hebben vaak maar één korte video van iemand met een neutraal gezicht (een rustig gezicht zonder emotie).

De onderzoekers van dit paper hebben een slimme oplossing bedacht, genaamd SFDA-PFT. Hier is hoe het werkt, vertaald naar een verhaal:

1. Het oude probleem: De "Fotograaf" vs. De "Vertaler"

Vroeger probeerden andere methoden dit op te lossen door een fotograaf te gebruiken.

• De aanpak: De computer probeerde het neutrale gezicht van de nieuwe persoon te "herschrijven" in een foto die eruitzag als een van de mensen waar de leraar al van leerde.
• Het nadeel: Dit is als proberen een zwart-witfoto te kleuren door er met de hand verf overheen te smeren. Het gaat vaak mis, het ziet er onnatuurlijk uit, en het kost enorm veel tijd en rekenkracht. Het is alsof je een hele nieuwe foto moet schilderen om maar één klein detail te veranderen.

2. De nieuwe oplossing: De "Geheime Code" (SFDA-PFT)

In plaats van te proberen een nieuwe foto te schilderen, werken de onderzoekers met geheime codes (de "latent space" of feature space).

Stel je voor dat elke gezichtsuitdrukking een recept is.

• De Emotie: Het is de smaak van het gerecht (bijv. "bitter" voor verdriet).
• De Persoon: Het is de chef-kok die het maakt (bijv. "Chef Jan" of "Chef Marie").

De oude methoden probeerden het hele gerecht opnieuw te koken (een nieuwe foto maken). De nieuwe methode, SFDA-PFT, doet iets slimmers:

1. De Leraar (Bron): De leraar kent de recepten voor alle smaken (emoties) al perfect.
2. De Vertaler (Translator): Ze bouwen een kleine, slimme "vertaler" die alleen de stijl van de chef-kok kan veranderen, zonder de smaak van het gerecht aan te raken.
   • Voorbeeld: De vertaler neemt het recept van "Chef Jan" (de nieuwe persoon) en past het aan zodat het lijkt alsof "Chef Marie" (een persoon waar de leraar van houdt) het heeft gekookt. Maar de smaak (de emotie) blijft exact hetzelfde!

3. Hoe werkt het in de praktijk?

• Stap 1: Oefenen. De vertaler traint eerst op de bekende mensen. Hij leert hoe hij het gezicht van "Chef Jan" kan omzetten naar "Chef Marie", terwijl hij zorgt dat de emotie (bijv. "boos") niet verandert. Hij leert het verschil tussen "wie het is" en "wat hij voelt".
• Stap 2: De Test. Nu komt de nieuwe persoon met een neutraal gezicht. De computer pakt de "code" van dit neutrale gezicht en laat de vertaler deze omzetten naar de stijl van een persoon die de leraar al kent.
• Stap 3: Het Resultaat. De leraar kijkt naar deze omgezette code en denkt: "Ah, dit is een boos gezicht!" Omdat de vertaler alleen de stijl heeft aangepast en de emotie heeft bewaard, herkent de leraar het direct.

Waarom is dit zo geweldig?

• Snel en Lichtgewicht: Het is alsof je een brief vertaalt in plaats van een hele nieuwe film te draaien. Het kost heel weinig rekenkracht.
• Privacy-vriendelijk: Je hoeft de foto's van de nieuwe persoon niet op te slaan of te sturen. Alles gebeurt lokaal op het apparaat.
• Stabiel: Omdat je geen nieuwe foto's "schildert" (wat vaak rare artefacten geeft), blijft de emotie zuiver. De computer ziet echt wat er gebeurt, niet wat de computer heeft verzonnen.

Samenvatting in één zin:

De onderzoekers hebben een slimme "vertaler" bedacht die de stijl van een nieuw gezicht aanpast aan wat een AI al kent, zonder de emotie te veranderen en zonder dat er nieuwe foto's hoeven te worden gemaakt of opgeslagen. Hierdoor kunnen AI-systemen in de zorg of bij interactie met mensen veel beter en veiliger werken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Personalized Feature Translation for Expression Recognition: An Efficient Source-Free Domain Adaptation Method", geschreven in het Nederlands.

Titel: Personalized Feature Translation for Expression Recognition (SFDA-PFT)

Publicatie: ICLR 2026
Auteurs: Masoumeh Sharafi et al. (ETS Montreal, Concordia University, Queen's University)

---

1. Het Probleem

Gezichtsgebruikherkenning (Facial Expression Recognition - FER) wordt veel gebruikt in affectieve computing, maar presteert vaak slecht in de praktijk vanwege:

• Inter-subject variabiliteit: Mensen vertonen emoties op verschillende manieren, wat leidt tot een distributiewijziging tussen trainingsdata (bron) en testdata (doel).
• Privacy en Beperkingen: Traditionele domeinadaptatiemethoden vereisen toegang tot gelabelde brondata tijdens de aanpassing, wat vaak onmogelijk is in privacygevoelige sectoren zoals de zorg.
• Beperkte Doeldata: Bestaande Source-Free Domain Adaptation (SFDA) methoden gaan er vaak van uit dat er doeldata beschikbaar is voor alle expressieklassen. In de realiteit is het echter vaak alleen mogelijk om neutrale video's van een nieuwe gebruiker te verzamelen (bijv. voor kalibratie), terwijl data met specifieke emoties ontbreekt.
• Inefficiëntie van Bestaande Oplossingen: Huidige data-gebaseerde SFDA-methoden gebruiken vaak generatieve modellen (zoals GANs) om doelafbeeldingen in de bronstijl te vertalen. Dit is computatie-intensief, instabiel, en vereist vaak expressieve doeldata die niet beschikbaar is.

2. Methodologie: SFDA-PFT

De auteurs stellen SFDA-PFT (Source-Free Domain Adaptation with Personalized Feature Translation) voor. In plaats van afbeeldingen te vertalen, werkt deze methode direct in de latente feature-ruimte.

Kernarchitectuur:

• Bronmodel: Een feature-extractor ($F$) en een classifier ($C$), beide bevroren tijdens de adaptiefase.
• Translator ($T$): Een lichtgewicht netwerk dat wordt toegevoegd aan de feature-extractor. Het is een kopie van de bron-encoder met extra, aanpasbare lagen.

Twee Fasen van Training:

1. Bron Pre-training (Subject Swapping):

   • De translator wordt getraind op gelabelde brondata.
   • Doel: Het leren van een mapping tussen de features van verschillende bronpersonen terwijl de expressie behouden blijft.
   • Verliesfuncties:
     • Expressie-consistentie ($L_{expr}$): Minimaliseert de Kullback-Leibler-divergentie tussen de classificatie van de originele features en de vertaalde features. Dit zorgt ervoor dat de emotie niet verandert.
     • Stijl-bewustheid ($L_{style}$): Matcht de lage-orde statistieken (gemiddelde en variantie per kanaal) van de vertaalde features met die van een andere bronpersoon. Dit leert het model om subject-specifieke kenmerken (geometrie, textuur) te scheiden van expressie.

2. Doel Adaptatie (Personalisatie):

   • Voor een nieuwe doelgebruiker wordt alleen een kleine set neutrale frames gebruikt.
   • Alleen de lichte aanpasbare lagen van de translator ($T$) worden gefine-tuned. De bron-features en classifier blijven bevroren.
   • Doel: De translator aanpassen zodat de neutrale doeldata wordt vertaald naar de feature-distributie van de bron, zonder dat er expressieve doeldata nodig is.
   • Verliesfunctie: Alleen expressie-consistentie wordt gebruikt (zelfdistillatie), omdat de identiteit van de doelgebruiker al vaststaat en geen extra matching vereist.

Inference:
Tijdens het testen worden de features van de doelgebruiker door de aangepaste translator geleid en vervolgens door de bevroren bron-classifier geclassificeerd. Er is geen pixel-level beeldgeneratie nodig.

3. Belangrijkste Bijdragen

1. Feature-gebaseerde Vertaling: Een nieuwe SFDA-methode die werkt in de feature-ruimte in plaats van de pixel-ruimte, wat instabiliteit en hoge rekentijd van generatieve beeldmodellen elimineert.
2. Werken met Neutrale Data: De methode is ontworpen voor het specifieke scenario waarbij alleen neutrale doeldata beschikbaar is, wat realistisch is voor privacygevoelige toepassingen.
3. Efficiëntie en Privacy:
   • Geen toegang tot brondata vereist tijdens adaptatie.
   • Geen opslag van doeldata nodig.
   • Zeer lichtgewicht: alleen een klein deel van de parameters wordt bijgewerkt.
   • Geen extra parameters tijdens inferentie.
4. Uitgebreide Validatie: Experimenten op vier uitdagende video-FER datasets (BioVid, StressID, BAH, Aff-Wild2) tonen consistent superieure prestaties.

4. Resultaten

De auteurs vergelijken SFDA-PFT met state-of-the-art SFDA-methoden (zoals SHOT, DSFDA, SFDA-IT) op vier datasets:

• Prestaties: SFDA-PFT behaalt de hoogste F1-scores en nauwkeurigheid op alle datasets.
  • Op BioVid (pijnherkenning): 78.31% F1 (vs. 68.48% voor de beste concurrent DSFDA).
  • Op StressID (stressherkenning): 69.92% F1 (vs. 66.00% voor DSFDA).
  • Op Aff-Wild2 (in-the-wild): 54.46% F1.
• Efficiëntie:
  • SFDA-PFT vereist tot 100x minder parameters en 17x minder FLOPs dan beeldvertalingsmethoden (zoals SFDA-IT).
  • De adaptatie-tijd per batch is sub-seconden (0.95s) vergeleken met minuten voor andere methoden.
• Robuustheid: De methode presteert beter in scenario's met sterke klasse-ongelijkheid en ruis, omdat het geen artefacten introduceert zoals beeldgeneratiemodellen doen.

5. Betekenis en Conclusie

SFDA-PFT biedt een praktische en kosteneffectieve oplossing voor het personaliseren van FER-modellen in de echte wereld, met name in sectoren zoals gezondheidszorg waar privacy en beperkte data cruciaal zijn.

• Technische Impact: Het bewijst dat feature-ruimte adaptatie superieur is aan beeldgeneratie voor SFDA, vooral wanneer expressieve doeldata ontbreekt.
• Toepasbaarheid: De methode is lichtgewicht, stabiel en schaalbaar, waardoor deze direct inzetbaar is op randapparatuur (edge devices) of in privacygevoelige omgevingen zonder dat er gevoelige brondata of doeldata hoeft te worden gedeeld of opgeslagen.
• Toekomst: De resultaten suggereren dat toekomstige personalisatiestrategieën zich moeten richten op het ontrafelen van identiteit en expressie in de feature-ruimte in plaats van in de pixel-ruimte.

De code is openbaar beschikbaar gesteld, wat de reproduceerbaarheid en adoptie van de methode verder faciliteert.