CLERF: Contrastive LEaRning for Full Range Head Pose Estimation

Immagina di cercare di insegnare a un robot a comprendere il linguaggio del corpo umano. Vuoi che sappia esattamente come una persona inclina la testa, se sta guardando un uccello in alto, un telefono in basso o se sta ruotando su se stessa in un cerchio. Questo compito è chiamato Stima della Posa della Testa (Head Pose Estimation - HPE), ed è un grande affare per tutto, dai videogiooli in realtà virtuale alle auto a guida autonoma che devono sapere se un pedone le sta guardando. Per insegnare questo a un computer, di solito gli mostriamo migliaia di foto di volti. Ma ecco la parte complicata: nel mondo reale, è incredibilmente raro trovare due foto di persone diverse che guardano esattamente nella stessa direzione. È come cercare di trovare due sconosciuti in uno stadio affollato che stiano fissando entrambi lo stesso identico granello di polvere sul soffitto. Poiché queste coppie "corrispondenti" sono così difficili da trovare, un potente metodo di insegnamento chiamato "apprendimento contrastivo" — che funziona confrontando cose simili per imparare cosa le rende uguali — è rimasto bloccato nel fango per questo specifico lavoro.

Ora, entra in scena un team di ricercatori che ha deciso di costruire un ponte sopra questo divario fangoso. Hanno creato un nuovo framework chiamato CLERF (Contrastive LEaRning for Full Range Head Pose Estimation). Invece di aspettare che l'universo fornisca loro foto corrispondenti, hanno usato un tipo speciale di IA generativa per creare le proprie foto "gemelle" al volo. Si sono inoltre resi conto che la maggior parte dei cervelli robotici esistenti è terribile nel gestire foto anche solo leggermente inclinate o capovolte; se ruoti una foto di 10 gradi, il robot si confonde. CLERF, invece, è costruito per gestire l'intero mondo a 360 gradi, comprese le teste sottosopra, e rimane calmo anche quando le foto diventano un po' disordinate.

Il Probleo: L' "Ago nel Pagliaio" delle Pose della Testa

Pensa alla stima della posa della testa come all'insegnare a uno studente a riconoscere le direzioni. Se gli mostri solo foto di persone che guardano dritto davanti a sé o leggermente di lato, diventerà un esperto in quello. Ma se gli chiedi di identificare qualcuno che guarda dritto in alto, dritto in basso o persino sottosopra, potrebbe fallire perché non ha mai visto quelle angolazioni prima d'ora.

I ricercatori hanno scoperto che cercare di usare l' "apprendimento contrastivo" per questo intero intervallo di movimento era quasi impossibile. In termini semplici, l'apprendimento contrastivo è come un gioco del "trova le differenze" dove il computer impara confrontando un'immagine "target" (l'ancora) con un "match" (il positivo) e un "mismatch" (il negativo). Per imparare bene, il computer ha bisogno di vedere molte coppie di persone che guardano nella stessa direzione. Ma nel vasto spazio 3D dei movimenti della testa, trovare due persone che guardano esattamente nella stessa direzione è statisticamente quasi impossibile — meno dello 0,02% di probabilità. Senza questi match, il computer non può imparare le sottili differenze tra gli angoli.

La Soluzione: Lo Specchio Magico e la Stanza Rotante

Per risolvere questo, gli autori hanno costruito un trucco intelligente in due fasi.

Fase 1: Lo Specchio Magico (Gemelli Sintetici)
Invece di dare la caccia a persone reali che guardano nello stesso modo, hanno usato un "GAN consapevole del 3D" (un tipo di IA in grado di generare immagini 3D realistiche) per creare un gemello sintetico. Immagina di avere la foto di una persona che guarda leggermente a sinistra. L'IA genera una foto falsa di una persona diversa che sta guardando esattamente in quella stessa direzione. Ora, il computer ha una coppia "positiva" perfetta (un match) da studiare. Questo risolve il problema dell' "ago nel pagliaio" creando gli aghi ogni volta che ne viene bisogno.

Fase 2: La Stanza Rotante (Trasformazioni Geometriche)
I ricercatori si sono resi conto che avere dei match non era sufficiente; avevano bisogno di insegnare al computer a gestire qualsiasi angolo, compresi quelli strani come le teste sottosopra. Hanno applicato "flip" matematici e "rotazioni" alle loro immagini. Pensa a prendere una foto e far ruotare la stanza intorno ad essa. Se ruoti una foto di una persona che guarda a sinistra di 180 gradi, ora sta guardando a destra. Ruotando e capovolgendo matematicamente queste immagini, potevano coprire l'intera sfera dei movimenti della testa, da -180 a 180 gradi, assicurando che il computer vedesse ogni possibile angolazione.

Fondamentalmente, hanno dimostrato che se ruoti o capovolgi una coppia di immagini corrispondenti nello stesso modo, sono ancora un match. Questo ha permesso loro di usare l'apprendimento contrastivo in modo efficace, insegnando al computer che una testa che guarda a sinistra è fondamentalmente diversa da una testa che guarda a destra, anche se l'immagine è sottosopra.

Cosa Hanno Scoperto: Il Robot che Non si Vertigina

Il team ha testato il loro nuovo modello, CLERF, contro i migliori modelli esistenti utilizzando dataset di test standard. Ecco cosa è successo:

• Sulle Foto Normali: Quando testato su foto standard e dritte, CLERF è andato bene quanto i top model. Non era una bacchetta magica che rendeva tutto perfetto istantaneamente, ma ha saputo stare al passo.
• Sulle Foto Leggermente Inclinate: È qui che è avvenuta la magia. Quando i ricercatori hanno preso le foto di test e le hanno ruotate di 10 gradi o capovolte (creando quelle che chiamavano versioni "leggermente aumentate" o SA), i vecchi modelli hanno iniziato a inciampare. La loro precisione è scesa significativamente. CLERF, invece, è rimasto solido come una roccia. È stato circa 0,5 - 1,3 gradi più accurato del secondo miglior modello su queste immagini leggermente ruotate.
• Sulle Foto Grandemente Ruotate: Quando hanno testato i modelli su immagini pesantemente ruotate o capovolte (le versioni "Full Range" o FA), la differenza è stata enorme. I modelli esistenti, anche quelli che sostenevano di gestire l'intero intervallo, si sono confusi e i loro errori sono aumentati di oltre 10 gradi. CLERF, d'altra parte, ha gestito questi angoli folli con facilità, superando la concorrenza di un margine enorme.

I ricercatori hanno anche visualizzato come il computer "vedeva" il mondo. Hanno mostrato ai modelli un video di una persona che ruota in un cerchio completo. I vecchi modelli vedevano la persona che ruotava come un ammasso sfocato e confuso dove i punti di inizio e fine sembravano troppo simili. CLERF, invece, vedeva un cerchio chiaro e fluido, distinguendo perfettamente tra angoli vicini e angoli lontani.

La Conclusione

Il paper suggerisce che, generando le proprie immagini "gemelle" e facendo ruotare matematicamente i dati, hanno insegnato con successo a un computer a comprendere le pose della testa in un modo che nessuno ha mai fatto prima. Non hanno solo creato un modello che funziona bene su foto perfette; hanno creato un modello abbastanza robusto da gestire la realtà disordinata, ruotata e sottosopra del mondo reale. Sebbene non abbiano sostenuto di aver risolto ogni problema nella visione artificiale, hanno dimostrato che questo nuovo approccio consente un modello "full range vero" capace di prevedere accuratamente qualsiasi posa della testa, incluse quelle che hanno precedentemente messo in difficoltà i migliori sistemi di IA.