A Shared Latent for Partially-Labeled Multi-Task Facial Affect Recognition

Immagina di cercare di insegnare a un robot a comprendere le emozioni umane semplicemente guardando i volti. Non si tratta solo di individuare un sorriso o un broncio; si tratta di decodificare un complesso puzzle in tre parti che avviene simultaneamente. Primo, c'è il "misuratore di umore", una scala continua che misura quanto una persona si senta positiva o negativa e l'intensità di quel sentimento. Secondo, c'è il "libro delle etichette", che cerca di dare un nome all'emozione specifica, come "rabbia" o "sorpresa". Terzo, c'è la "mappa muscolare", che traccia i piccoli movimenti involontari dei muscoli facciali che avvengono anche quando cerchiamo di nascondere i nostri sentimenti.

La parte complicata è che, nel mondo reale, raramente otteniamo un esempio da manuale perfetto. A volte un video clip ha una valutazione dell'umore ma non i dati muscolari; altre volte, ha una mappa muscolare ma non un'etichetta dell'emozione. È come cercare di risolvere un puzzle dove mancano la maggior parte dei pezzi, e quelli che hai sono sparsi in scatole diverse. La maggior parte dei programmi per computer gestisce questo problema ignorando i pezzi mancanti o indovinando cosa potrebbero essere, ma questo articolo pone una domanda audace: e se smettessimo di ignorare i vuoti e usassimo invece i pezzi mancanti per aiutare a completare l'immagine? Gli autori propongono un nuovo modo per insegnare ai computer che anche un indizio parziale su un'emozione può aiutare a comprenderle le altre, trasformando un dataset disordinato e incompleto in uno strumento di apprendimento potente.

---

Il puzzle dei pezzi mancanti

I ricercatori hanno affrontato un problema che chiamano "apprendimento multi-task con etichettatura parziale". Pensatelo come una classe dove un insegnante pone tre domande diverse a un singolo studente: "Come si sente?" (Umore), "Cosa sta dicendo?" (Espressione) e "Quali muscoli si stanno muovendo?" (Unità d'Azione). In un mondo perfetto, ogni studente risponde a tutte e tre le domande. Ma nel mondo reale (specificamente, un dataset chiamato s-Aff-Wild2), solo circa il 37% degli studenti risponde a tutte e tre le domande. Il resto ne risponde solo una o due.

Tradizionalmente, i programmi per computer che gestiscono questo problema semplicemente scartano le domande che non possono rispondere per un determinato studente. Se uno studente risponde solo alla domanda sull' "Umore", il programma ignorerà interamente le domande su "Espressione" e "Muscoli" per quello studente. Gli autori hanno capito che questo era uno spreco. Hanno sostenuto che anche se uno studente risponde a una sola domanda, quella risposta dice comunque qualcosa all'insegnante sulla personalità complessiva dello studente.

Il magico "Segreto Condiviso"

Per risolvere il problema, il team ha inventato un trucco astuto che chiamano "Latente Condiviso" (Shared Latent). Immaginate un taccuino segreto e invisibile che ogni studente deve compilare prima di rispondere a qualsiasi domanda. Questo taccuino contiene un riassunto compresso del vero stato emotivo dello studente.

Ecco la magia: anche se uno studente risponde solo alla domanda sull' "Umore", la sua risposta lo costringe ad aggiornare quel taccuino segreto. Poiché anche le domande su "Espressione" e "Muscoli" si basano su quello stesso taccuino, la risposta sull' "Umore" aiuta indirettamente il computer a imparare come indovinare le altre due domande in seguito. È come se dicessi a un amico il tuo colore preferito, ma quel singolo fatto aiutasse l'amico a indovinare il tuo cibo e la tua musica preferiti perché ti conosce abbastanza bene da collegare i punti.

Trattando le risposte mancanti non come errori da eliminare, ma come indizi da "marginalizzare" (una parola matematica elegante per dire mediare tra le possibilità), il computer apprende una comprensione molto più ricca dell'emozione umana.

Il potere di due occhi

Il paper ha scoperto anche qualcosa di sorprendente su come costruire il "cervello" del computer. Di solito, gli scienziati cercano di creare un unico cervello super intelligente. Ma qui, il team ha scoperto che usare due cervelli leggermente diversi che lavorano insieme era meglio, ma con un avvertimento.

Hanno provato a usare due diversi tipi di riconoscitori di volti pre-addestrati (chiamati backbone). Quando facevano la media delle risposte di questi due, i risultati miglioravano. Tuttavia, questo funzionava solo se i due cervelli erano "quasi-pari" (near-peers), ovvero se erano approssimativamente ugualmente intelligenti ma commettevano errori diversi. Se usavano un cervello super intelligente e uno più debole, la media non aiutava. Era come avere due detective: se sono entrambi acuti ma guardano gli indizi in modo diverso, risolvono il caso più velocemente. Se uno è un genio e l'altro è un novizio, il genio viene trascinato verso il basso.

Cosa ha funzionato e cosa no

I risultati sono stati impressionanti, ma gli autori sono stati molto cauti nel dire cosa non ha funzionato, il che è altrettanto importante.

• La buona notizia: Sul compito di espressione (nominare l'emozione), il loro nuovo metodo ha elevato il punteggio da 0.403 (usando uno specialista standard) a 0.446. Si è trattato di un salto significativo che altri metodi non riuscivano a raggiungere.
• Il limite delle Unità d'Azione: Per il compito di tracciamento muscolare, sono riusciti a superare un precedente limite, portando il punteggio da 0.543 a 0.556. Questo è accaduto perché il secondo cervello "quasi-pari" ha aiutato, non perché hanno aggiunto più dati.
• Il misuratore di Umore: Il punteggio continuo dell'umore (valenza-arousal) è rimasto pressoché invariato, oscillando intorno a 0.641. Gli autori hanno notato che questo rientrava nel "rumore", il che significa che il miglioramento non era statisticamente significativo.
• Cosa è fallito: Hanno provato ad aggiungere più dati esterni (come dataset provenienti da altri studi) per aiutare il tracciamento muscolare, ma non ha spostato l'ago della bilancia. Hanno anche provato un metodo popolare chiamato "Mean Teacher" (dove un computer insegna a se stesso), ma non ha migliorato il compito di denominazione dell'emozione. Ciò ha dimostrato che il problema non riguardava il modo in cui pesavano le domande, ma la qualità del "taccuino segreto" (la rappresentazione) stesso.

Il verdetto

Il paper conclude che il motivo per cui i computer faticano con le emozioni rare (come "paura" o "disgusto") non è che abbiano bisogno di regole matematiche migliori o di più dati. È perché il modo in cui "vedono" il volto non è abbastanza dettagliato da separare quelle emozioni difficili. Usando il "Latente Condiviso" per costringere il computer a imparare dai segnali parziali, e accoppiando due cervelli intelligenti ma diversi, sono riusciti a costruire un sistema che vede le connessioni invisibili tra umore, espressione e movimento muscolare.

Il punteggio finale che hanno ottenuto sul loro set di test era 1.679. Sebbene sia un risultato forte, gli autori sono umili: ammettono che questo è un endpoint "in-sample" (testato su dati per cui hanno calibrato il modello) e che il vero test sarà vedere se questa idea del taccuino "Segreto Condiviso" funziona su altri dataset non visti. I primi test su altri dataset suggeriscono che funzioni, ma solo in condizioni specifiche. Il viaggio per leggere perfettamente i volti umani continua, ma questo articolo ha consegnato ai ricercatori una nuova, potente torcia per vedere le lacune nell'oscurità.