PriorProbe: Recovering Individual-Level Priors for Personalizing Neural Networks in Facial Expression Recognition

Sintesi Tecnica: PriorProbe per la personalizzazione di reti neurali nel riconoscimento delle espressioni facciali

Definizione del problema
L'adattamento dell'intelligenza artificiale agli utenti individuali è fondamentale per un processo decisionale personalizzato, eppure catturare il comportamento specifico del singolo rimane una sfida significativa. Sebbene le reti neurali profonde (DNN) allo stato dell'arte possano prevedere il comportamento umano in media, esse faticano a catturare i giudizi percettivi individuali, in particolare riguardo alle espressioni facciali sottili o ambigue dove la variabilità interpersonale è elevata.

Formalmente, il riconoscimento delle espressioni facciali può essere modellato come inferenza bayesiana: $P(e|f) \propto P(e)P(f|e)$, dove $P(e)$ è la credenza a priori di un individuo sugli stati emotivi e $P(f|e)$ è la verosimiglianza di osservare l'espressione $f$ dato l'emozione $e$. Quando gli stimoli sono ambigui, il termine di verosimiglianza diventa poco informativo e le differenze individuali nei priori $P(e)$ dominano l'inferenza. I metodi esistenti per personalizzare le DNN affrontano due ostacoli fondamentali:

1. Scarsità di dati: L'addestramento su dati a livello individuale è spesso costoso o impraticabile a causa della necessità di dataset ampi e rappresentativi.
2. Degradazione del modello: L'affinamento (fine-tuning) delle DNN su dati individuali sparsi e rumorosi rischia l'overfitting e l'oblio catastrofico delle rappresentazioni apprese.

Inoltre, i metodi tradizionali della scienza cognitiva per l'elicitazione dei priori spesso non riescono a identificarli in modo univoco o introducono bias sistematici trattando la funzione di verosimiglianza come un parametro libero o una mappatura arbitraria.

Metodologia
Gli autori introducono PriorProbe, un nuovo approccio di elicitazione basato su Markov Chain Monte Carlo con Persone (MCMCP). A differenza della personalizzazione a livello di parametri (ad esempio, il fine-tuning dei pesi), PriorProbe recupera priori cognitivi e verosimiglianze fini e specifici dell'individuo per informare lo spazio di inferenza di una rete neurale senza modificarne i pesi.

La metodologia si compone di tre componenti principali:

1. DistFace (Spazio Disgiunto Affetto-Identità):
   Per consentire un campionamento non influenzato, gli autori hanno costruito uno spazio generativo controllato in cui l'affetto facciale è disgiunto dall'identità facciale.

   • Architettura: Un VAE (Variational Auto-Encoder) ibrido composto da:
     • Encoder: Tre rami pre-addestrati estraggono le caratteristiche: ResEmoteNet (espressione), FMAE-IAT (Unità d'Azione, avversario dell'identità) e ArcFace (identità).
     • Spazio Latente: Queste caratteristiche sono mappate in distinti sottospazi latenti ($V_{af}$ per l'affetto, $V_{id}$ per l'identità).
     • Denoising: Un autoencoder di denoising comprime lo spazio dell'affetto a 128 dimensioni in uno spazio dell'affetto puro a 16 dimensioni per un campionamento efficiente.
   • Addestramento: Il modello è stato addestrato sul dataset BU-4DFE utilizzando perdite di ricostruzione, preservazione dell'identità e preservazione dell'affetto per garantire che il ramo dell'affetto guidi l'espressione mentre il ramo dell'identità guidi l'identità.

2. Procedura di Elicitazione PriorProbe:
   PriorProbe opera all'interno dello spazio dell'affetto a 16 dimensioni utilizzando un algoritmo Metropolis–Hastings a blocchi con un essere umano nel ciclo (human-in-the-loop). Alterna due tipi di prove per campionare congiuntamente la verosimiglianza $P(f|e)$ e il priori $P(e)$ di un individuo:

   • Prove sul Volto (Face Trials): I partecipanti vedono una categoria emotiva $e$ e due opzioni di volto ($f, f'$). Selezionano il volto che meglio rappresenta la categoria. Per accelerare il campionamento, viene utilizzato uno schema di Metropolis–Hastings Indipendente (IMH) in cui un "Gatekeeper" (ResEmoteNet) propone volti probabilmente appartenenti alla categoria target.
   • Prove di Categorizzazione (Categorization Trials): I partecipanti vedono un volto $f$ e due categorie emotive ($e, e'$). Selezionano la descrizione migliore. La distribuzione di proposta per le categorie è anch'essa guidata dal Gatekeeper.
   • Recupero: La catena di Markov risultante converge sulla distribuzione congiunta $\pi(f, e)$. I priori individuali $P(e)$ vengono recuperati ricalibrando le categorie campionate tramite $1/G_e(e|f)$, dove $G_e$ è la probabilità assegnata dal Gatekeeper, correggendo efficacementamente il bias della proposta.

3. Integrazione e Valutazione:
   I priori individuali recuperati sono integrati con una DNN allo stato dell'arte (ResEmoteNet) all'interno dello spazio di inferenza. Il sistema è valutato su un compito di classificazione di stimoli nuovi e ambigui (immagini in cui la confidenza della DNN è $<0.25$). L'obiettivo è determinare se l'incorporazione dei priori individuali migliori l'allineamento del modello con la classificazione umana su stimoli ambigui senza degradare le prestazioni sulle etichette di verità fondamentale (ground-truth).

Contributi Chiave

• Framework PriorProbe: Un metodo generale e interpretabile per recuperare rappresentazioni mentali fini e specifiche dell'individuo (priori e verosimiglianze) in modo efficiente, evitando la necessità di enormi dataset individuali o la modifica dei pesi.
• Dataset/Modello DistFace: Un modello generativo che disgiunge l'affetto facciale dall'identità, fornendo uno "spazio dell'affetto puro" essenziale per un'elicitazione imparziale dei priori nelle attività di espressione facciale.
• Validazione Empirica: Un esperimento umano completo che dimostra come le reti neurali informate dai priori recuperati migliorino la previsione delle scelte individuali su stimoli ambigui rispetto alla rete da sola o a reti che utilizzano fonti di priori alternative.

Risultati
In un esperimento con 55 partecipanti, gli autori hanno recuperato i priori individuali su sette emozioni di base.

• Differenze Individuali: I priori recuperati hanno mostrato una sostanziale eterogeneità tra i partecipanti, confermando che gli individui possiedono distinti bias cognitivi riguardo alle categorie emotive.
• Guadagni di Prestazione: L'integrazione dei priori derivati da PriorProbe nella rete neurale ha prodotto sostanziali guadagni di prestazione nella previsione delle classificazioni individuali su stimoli ambigui.
• Robustezza: La personalizzazione ha migliorato l'allineamento con i giudizi umani individuali senza degradare le prestazioni di inferenza del modello su stimoli non ambigui (ground-truth).

Significatività e Rivendicazioni
Il documento sostiene di fornire un framework generale, interpretabile e robusto per la personalizzazione delle reti neurali profonde. Spostando l'attenzione dall'adattamento a livello di parametri al recupero dei priori cognitivi, PriorProbe affronta i limiti della scarsità di dati e dell'oblio catastrofico. Gli autori affermano che questo approccio offre una via principesca per sviluppare sistemi digitali in grado di offrire un'assistenza genuinamente personalizzata, particolarmente in domini come il riconoscimento delle espressioni facciali dove le differenze percettive individuali sono significative e i modelli standard non riescono a catturarle. Il lavoro dimostra che i priori cognitivi a livello individuale possono essere eluiti accuratamente e utilizzati efficacemente per potenziare il potere predittivo dei sistemi IA per utenti specifici.