PriorProbe: Recovering Individual-Level Priors for Personalizing Neural Networks in Facial Expression Recognition

Technische Samenvatting: PriorProbe voor het personaliseren van neurale netwerken in gezichtsuitdrukkingherkenning

Probleemstelling
Het aanpassen van kunstmatige intelligentie aan individuele gebruikers is cruciaal voor gepersonaliseerde besluitvorming, maar het vastleggen van individueel-specifiek gedrag blijft een aanzienlijke uitdaging. Hoewel state-of-the-art diepe neurale netwerken (DNN's) menselijk gedrag gemiddeld kunnen voorspellen, hebben ze moeite met het vastleggen van individuele perceptuele oordelen, met name bij subtiele of ambigue gezichtsuitdrukkingen waar de interpersoonlijke variabiliteit hoog is.

Formeel kan gezichtsuitdrukkingherkenning worden gemodelleerd als Bayesiaanse inferentie: $P(e|f) \propto P(e)P(f|e)$, waarbij $P(e)$ de individuele a priori veronderstelling (prior) is over emotionele staten en $P(f|e)$ de waarschijnlijkheid (likelihood) is van het observeren van expressie $f$ gegeven emotie $e$. Wanneer stimuli ambigu zijn, wordt de likelihood-term oninformatief en domineren individuele verschillen in priors $P(e)$ de inferentie. Bestaande methoden voor het personaliseren van DNN's staan voor twee fundamentele hindernissen:

1. Data-schaarste: Trainen op individueel niveau is vaak kostbaar en onhaalbaar vanwege de noodzaak voor grote, representatieve datasets.
2. Modeldegradatie: Het fine-tunen van DNN's op schaarse, ruisgevoelige individuele data brengt het risico met zich mee van overfitting en catastrofaal vergeten (catastrophic forgetting) van geleerde representaties.

Bovendien falen traditionele cognitieve wetenschappelijke methoden voor het oproepen van priors vaak in het uniek identificeren ervan, of ze introduceren systematische biases door de likelihood-functie te behandelen als een vrije parameter of een arbitraire mapping.

Methodologie
De auteurs introduceren PriorProbe, een nieuwe benadering voor elicitatie die gebaseerd is op Markov Chain Monte Carlo met Mensen (MCMCP). In tegenstelling tot personalisatie op parameterniveau (bijv. het fine-tunen van gewichten), herstelt PriorProbe fijnmazige, individueel-specifieke cognitieve priors en likelihoods om de inferentieruimte van een neuraal netwerk te informeren zonder de gewichten ervan te wijzigen.

De methodologie bestaat uit drie kerncomponenten:

1. DistFace (Disentangled Affect-Identity Space):
   Om ongeënteerde sampling mogelijk te maken, hebben de auteurs een gecontroleerde generatieve ruimte geconstrueerd waarin de affectieve gezichtsuitdrukking is ontkoppeld (disentangled) van de gezichtsidentiteit.

   • Architectuur: Een hybride Variational Auto-Encoder (VAE) bestaande uit:
     • Encoder: Drie vooraf getrainde takken extraheren kenmerken: ResEmoteNet (expressie), FMAE-IAT (Action Units, identiteit-adversarieel) en ArcFace (identiteit).
     • Latente Ruimte: Deze kenmerken worden in afzonderlijke sub-latente ruimtes gemapt ($V_{af}$ voor affect, $V_{id}$ voor identiteit).
     • Denoising: Een denoising auto-encoder comprimeert de 128-dimensionale affect-ruimte naar een 16-dimensionale zuivere affect-ruimte voor efficiënte sampling.
   • Training: Het model werd getraind op de BU-4DFE dataset met behulp van reconstructie-, identiteitsbehoud- en affectbehoud-verliezen om te garanderen dat de affect-tak de expressie stuurt terwijl de identiteit-tak de identiteit stuurt.

2. PriorProbe Elicitatieprocedure:
   PriorProbe opereert binnen de 16-dimensionale affect-ruimte met een blok Metropolis–Hastings algoritme met een mens-in-de-lus. Het wisselt af tussen twee soorten trials om gezamenlijk te samplen uit de individuele likelihood $P(f|e)$ en de prior $P(e)$:

   • Face Trials: Deelnemers krijgen een emotie-categorie $e$ te zien en twee gezichtsopties ($f, f'$). Zij selecteren het gezicht dat de categorie het beste vertegenwoordigt. Om sampling te versnellen, wordt een Independent Metropolis–Hastings (IMH) schema gebruikt waarbij een "Gatekeeper" (ResEmoteNet) gezichten voorstelt die waarschijnlijk tot de doelcategorie behoren.
   • Categorization Trials: Deelnemers krijgen een gezicht $f$ te zien en twee emotie-categorieën ($e, e'$). Zij selecteren de beste beschrijving. De proposal-distributie voor categorieën wordt eveneals geleid door de Gatekeeper.
   • Recovery: De resulterende Markov-keten convergeert op de gezamenlijke distributie $\pi(f, e)$. Individuele priors $P(e)$ worden hersteld door de gesamplede categorieën te herwegen met $1/G_e(e|f)$, waarbij $G_e$ de waarschijnlijkheidstoewijzing van de Gatekeeper is, wat effectief corrigeert voor de proposal-bias.

3. Integratie en Evaluatie:
   De herstelde individuele priors worden geïntegreerd met een state-of-the-art DNN (ResEmoteNet) binnen de inferentieruimte. Het systeem wordt geëvalueerd op een taak van het classificeren van nieuwe, ambigue stimuli (afbeeldingen waar de betrouwbaarheid van de DNN $<0,25$ is). Het doel is om te bepalen of het integreren van individuele priors de afstemming van het model met menselijke classificatie op ambigue stimuli verbetert, zonder de prestaties op ground-truth labels te verslechteren.

Belangrijkste Bijdragen

• PriorProbe Framework: Een algemene, interpreteerbare methode voor het efficiënt herstellen van fijnmazige, individueel-specifieke mentale representaties (priors en likelihoods), waarbij de noodzaak voor massale individuele datasets of gewichtsmodificatie wordt vermeden.
• DistFace Dataset/Model: Een generatief model dat gezicht-affect ontkoppelt van identiteit, wat een "zuivere affect-ruimte" biedt die essentieel is voor ongeënteerde prior-elicitatie in gezichtsuitdrukkingstaken.
• Empirische Validatie: Een uitgebreid menselijk experiment dat aantoont dat neurale netwerken die geïnformeerd zijn door herstelde priors, de classificatie op ambigue stimuli beter voorspellen dan het netwerk alleen of netwerken die alternatieve bronnen voor priors gebruiken.

Resultaten
In een experiment met 55 deelnemers hebben de auteurs individuele priors over zeven basisemoties hersteld.

• Individuele Verschillen: De herstelde priors vertoonden substantiële heterogeniteit tussen deelnemers, wat bevestigt dat individuen over verschillende cognitieve biases beschikken met betrekking tot emotionele categorieën.
• Prestatiewinst: Het integreren van door PriorProbe afgeleide priors in het neurale netwerk leverde substantiële prestatiewinsten op bij het voorspellen van individuele classificaties op ambigue stimuli.
• Robuustheid: De personalisatie verbeterde de afstemming met individuele menselijke oordelen zonder de inferentieprestaties van het model op onambigue (ground-truth) stimuli te verslechteren.

Betekenis en Claims
Het artikel claimt een algemeen, interpreteerbaar en robuust framework te bieden voor het personaliseren van diepe neurale netwerken. Door de focus te verschuiven van parameter-niveau adaptatie naar het herstel van cognitieve priors, adresseert PriorProbe de beperkingen van data-schaarste en catastrofaal vergeten. De auteurs stellen dat deze benadering een gefundeerde route biedt voor het ontwikkelen van digitale systemen die werkelijk gepersonaliseerde assistentie leveren, met name in domeinen zoals gezichtsuitdrukkingherkenning waar individuele perceptuele verschillen significant zijn en standaardmodellen deze niet kunnen vastleggen. Het werk demonstreert dat individuele cognitieve priors accuraat geëlitieerd kunnen worden en effectief gebruikt kunnen worden om de voorspellende kracht van AI-systemen voor specifieke gebruikers te vergroten.