Immagina di essere un detective che cerca di risolvere un mistero, ma il tuo unico indizio è il feed sgranato e tremolante di una telecamera di sicurezza. Non stai cercando un ladro; stai cercando un conducente che sta per addormentarsi al volante. Questo è il mondo dei Sistemi di Monitoraggio del Conducente (DMS), un campo dell'informatica dedicato a mantenerci al sicuro osservando come ci muoviamo mentre guidiamo. Per anni, questi sistemi si sono affidati a trucchi semplici, come contare quanto tempo i tuoi occhi rimangono chiusi o controllare se stai sbandando. Ma la vera storia è scritta nei minuscoli, involontari tic dei nostri muscoli facciali. Gli scienziati chiamano questi piccoli movimenti "Unità d'Azione" (AU). Pensa a un'AU come a un singolo comando muscolare atomico—come il tic specifico che avviene quando sbadigli, o il sottile irrigidimento delle palpebre quando combatti contro il sonno. La sfida è che all'interno di un'auto l'illuminazione cambia dal sole accecante al buio totale, la testa oscilla avanti e indietro e, a volte, si indossano occhiali da sole. È un ambiente caotico dove un computer deve individuare un tic muscolare che dura meno di un secondo, spesso nascosto tra ombre o vetri.

Questo articolo presenta un nuovo tipo di detective digitale chiamato "Twin Cycle Autoencoder" (TCA). Inveve di guardare solo un singolo fotogramma per indovinare cosa prova un conducente, questo sistema utilizza due astuti "cicli" per apprendere la storia di un volto nel tempo. Il primo ciclo, la branca "Spaziale", impara a riconoscere i movimenti muscolari ignorando chi è la persona o cosa indossa. Il secondo ciclo, la branca "Temporale", agisce come un montatore che viaggia nel tempo, guardando il video in avanti e poi all'indietro per assicurarsi che la storia del movimento abbia senso in entrambe le direzioni. Obbligando questi due cicli a concordare tra loro, il sistema impara a individuare anche i segni più lievi di affaticamento, come un battito di ciglia lento o una bocca socchiusa, anche quando la telecamera fatica. I ricercatori hanno testato il sistema su dataset standard e su un simulatore di guida del mondo reale, scoprendo che il loro sistema "gemello" è molto più bravo a cogliere questi segni sottili e fugaci di sonnolenza rispetto ai metodi precedenti, ed è abbastanza veloce da poter essere utilizzato in un'auto reale oggi stesso.

Il Problema: L'abitacolo caotico dell'auto

Rilevare la sonnolenza in un'auto è notoriamente difficile. In un laboratorio tranquillo, una telecamera può facilmente individuare uno sbadiglio. Ma all'interno di un veicolo in movimento, il mondo è un groviglio di sfide. Il sole potrebbe colpire direttamente l'obiettivo, per poi entrare improvvisamente in un tunnel buio. Il conducente potrebbe girare la testa per controllare un angolo cieco o indossare occhiali da sole che nascondono gli occhi. Inoltre, i segni di affaticamento sono spesso incredibilmente sottili. Un conducente potrebbe non essere ancora addormentato; potrebbe solo sperimentare una micro-espressione di stanchezza—un piccolo tic della fronte o un battito di ciglia breve, quasi invisibile. Questi segnali sono così deboli e brevi che i vecchi modelli informatici, che di solito guardano un fotogramma alla volta, spesso li perdono completamente. Faticano anche perché non ci sono abbastanza dati etichettati; è costoso e difficile ottenere migliaoli di ore di video di guida in cui ogni singolo tic muscolare sia stato manualmente contrassegnato da un esperto.

La Soluzione: Il Twin Cycle Autoencoder

Gli autori propongono una soluzione chiamata Twin Cycle Autoencoder (TCA). Per capire come funziona, immagina di cercare di insegnare a un robot a riconoscere una specifica mossa di danza, ma non hai un video della danza, solo un mucchio di foto casuali.

1. Le Due Braccia (I Gemelli)
Il TCA è costruito come una coppia di gemelli che si specializzano in diverse abilità ma lavorano insieme:

• Il Gemello Spaziale (Il rilevatore di "Somiglianze"): Questa branca guarda un singolo fotogramma di un video. Il suo compito è quello di eliminare tutto ciò che non è il movimento muscolare. Ignora l'identità del conducente, la sua acconciatura o se indossa un cappello. Si concentra puramente sull' "Unità d'Azione"—la specifica forma del muscolo. Utilizza un trucco a "ciclo": cerca di ricostruire il volto partendo dai dati muscolari. Se riesce a ricostruire il volto correttamente, significa che ha catturato le informazioni muscolari giuste.
• Il Gemello Temporale (Il montatore del "Viaggio nel Tempo"): Questa branca guarda una breve clip di video (circa 1,6 secondi). Guarda il volto muoversi in avanti nel tempo, e poi prova a riprodurre il video al contrario. Utilizza un trucco a "ciclo" anche qui: se il movimento ha senso andando in avanti, deve avere senso anche andando all'indietro. Questo aiuta il sistema a comprendere il ritmo di uno sbadiglio o di un battito di ciglia, piuttosto che solo un'immagine statica di una bocca aperta.

2. La Stretta di Mano (Allineamento Latente)
Questi due gemelli non lavorano in isolamento. Sono collegati da un meccanismo di "stretta di mano". Il sistema forza la comprensione che il Gemello Spaziale ha del volto in un momento specifico a corrispondere alla comprensione che il Gemello Temporale ha del movimento nello stesso istante. Ciò assicura che l' "aspetto" e il "movimento" raccontino la stessa storia. Se il Gemello Temporale vede l'inizio di uno sbadiglio, il Gemello Spaziale deve concordare che la bocca si sta aprendo, anche se l'illuminazione è scarsa.

3. Imparare senza un Insegnante (Auto-supervisione)
Uno degli aspetti più potenti di questo sistema è il modo in cui apprende. Di solito, per addestrare un'IA, serve un enorme dataset dove gli esseri umani abbiano etichettato ogni singolo tic muscolare. Ma nella guida, tali dati sono scarsi. Il TCA aggira questo problema utilizzando l'apprendimento "auto-supervisionato". Può osservare ore di video di guida non etichettati (dove nessuno ha marcato le AU) e usare i suoi trucchi a "ciclo" per imparare le regole del movimento facciale da solo. Impara come appare un volto "normale" e come si muove, semplicemente guardando il video andare avanti e indietro. Solo in seguito utilizza una piccola quantità di dati etichettati per perfezionare la sua capacità di individuare segni specifici di affaticamento.

Cosa hanno scoperto

I ricercatori hanno testato il loro sistema "Gemello" contro diversi altri metodi popolari, inclusi sistemi che guardano singoli fotogrammi, sistemi che utilizzano filtri video 3D e sistemi che utilizzano reti a grafo. Li hanno testati su benchmark standard (DISFA e BP4D) e su un dataset di guida naturalistica registrato in un simulatore con veri conducenti.

• Migliore nel rilevare il sottile: Il TCA ha superato costantemente gli altri metodi. È stato particolarmente bravo a rilevare AU a bassa intensità o molto veloci, come l'AU45 (chiusura degli occhi) e l'AU43 (chiusura lenta degli occhi), che sono segni chiave di sonnolenza. È andato bene anche con l'AU26 (caduta della mascella), che indica lo sbadiglio.
• Il potere del Tempo: Quando hanno rimosso la branca "Temporale" (il montatore del viaggio nel tempo), le prestazioni del sistema sono diminuite significatamente. Questo ha dimostato che osservare il movimento nel tempo è cruciale per individuare la fatica.
• Il potere dell'Auto-apprendimento: Quando hanno confrontato una versione del TCA che utilizzava il pre-addestramento auto-supervisionato (imparare da video non etichettati) rispetto a una che non lo faceva, la versione pre-addestrata era molto più efficace. Ciò suggerisce che il sistema ha imparato con successo schemi utili dalle ore di filmati di guida non etichettati, colmando il divario causato dalla mancanza di dati etichettati.
• Velocità nel Mondo Reale: Il sistema non era solo accurato; era veloce. Testato su un computer embedded (NVIDIA Jetson Xavier NX) che potrebbe essere inserito in un'auto, il sistema girava a 28,4 fotogrammi al secondo. Questo è sufficientemente veloce per fornire avvisi in tempo reale a un conducente, superando i 10–15 fps solitamente considerati necessari per i sistemi di sicurezza.

I Limiti e i Passi Futuri

Il sistema non è perfetto. I ricercatori hanno scoperto che quando i conducenti indossavano occhiali da sole, il sistema faticava significativamente con le AU relative alla parte superiore del volto (come sopracciglia o palpebre). Gli occhiali da sole bloccavano la visuale e il sistema non riusciva a "indovinare" il movimento basandosi solo sulla parte inferiore del volto. Tuttavia, rimaneva robusto per le azioni della parte inferiore del volto come lo sbadiglio, poiché la bocca era comunque visibile.

L'articolo conclude che questo approccio "Twin Cycle" è una via percorribile per il monitoraggio del conducente di prossima generazione. Suggerisce che combinando i cicli spaziali e temporali, e utilizzando l'apprendimento auto-supervisionato per sfruttare al meglio i dati non etichettati, possiamo costruire sistemi che siano sia accurati che pratici per le auto reali. Il lavoro futuro si concentrerà sull'insegnare al sistema come gestire meglio le occlusioni (come gli occhiali da sole) e sul combinare i segnali facciali con altri dati, come i movimenti del volante, per ottenere un quadro ancora più chiaro della fatica del conducente.