Skeleton-based Zero-Shot Spatio-Temporal Action Localization via Weakly-Supervised Pretraining

Nel mondo della visione artificiale, insegnare alle macchine a comprendere il movimento umano è una sfida fondamentale con profonde implicazioni per la robotica, la sicurezza e la sorveglianza automatizzata. Per decenni, i ricercatori si sono affidati a due strategie principali per risolvere questo enigma. La prima strategia osserva l'intera scena, analizzando colori, illuminazione e lo sfondo per intuire cosa stia accadendo. La seconda strategia ignora completamente l'ambientazione, concentrandosi solo sullo scheletro in movimento di una persona: la specifica disposizione di articolazioni e arti. Sebbene il primo approccio sia intuitivo, spesso fallisce quando lo sfondo cambia o quando l'illuminazione è scarsa. Il secondo approccio, che traccia lo scheletro, è molto più robusto contro questi cambiamenti ambientali, ma ha storicamente sofferto di un problema diverso: richiede una quantità enorme di lavoro umano per essere insegnato. Per addestrare un computer a riconoscere un'azione specifica, come una persona che cade o combatte, i ricercatori dovevano tradizionalmente disegnare meticolosamente dei riquadri attorno a ogni persona in ogni singolo fotogramma di migliaia di video e etichettare esattamente ciò che stavano facendo. Questo processo è così costoso e dispendioso in termini di tempo che limita la capacità di insegnare nuovi movimenti ai computer rapidamente.

Un team di ricercatori ha ora sviluppato un nuovo metodo che evita questo pesante onere di etichettatura manuale, permettendo ai computer di imparare a individuare nuove azioni senza aver visto un singolo esempio di esse in precedenza. Il loro approccio, dettagliato in uno studio recente, introduce un sistema che impara da descrizioni video ampie e generali piuttosto che da annotazioni fotogramma per fotogramma. Invece di essere istruito che "questa persona sta tirando un pugno esattamente in questo secondo", il sistema viene addestrato su video interi con semplici etichette testuali che descrivono l'attività generale, come "giocare a golf" o "guidare". Utilizzando una tecnica che allinea i dati visivi degli scheletri umani con le descrizioni testuali delle azioni, il sistema impara un linguaggio universale del movimento. Una volta addestrato, può guardare un video contenente persone che eseguono un'azione che non ha mai visto prima e identificare accuratamente sia chi la sta compiendo, sia cosa stia facendo. I ricercatori hanno dimostrato che questo metodo non solo eguaglia l'accuratezza dei sistemi addestrati con enormi quantità di etichette dettagliate, ma si rivela anche significativamente più resiliente quando la qualità del video è scarsa o lo sfondo è affollato.

Il nucleo di questa innovazione risiede in un intelligente spostamento nel modo in cui il computer elabora le informazioni, un meccanismo che gli autori chiamano "Skeleton-Language feature Pooling Switching". Immaginate un sistema che prima impara a comprendere l'atmosfera generale di una stanza ascoltando un riassunto della conversazione e poi, quando gli viene chiesto di identificare un parlatore specifico, sposta il proprio focus per ascoltare le singole voci. Nella fase di addestramento, il computer guarda un video e raccoglie tutti i dati dello scheletro di tutte le persone presenti nel clip in un unico riassunto. Successivamente, confronta questo riassunto con l'etichetta testuale fornita per l'intero video. Ciò consente al sistema di apprendere la connessione tra un tipo di movimento e una parola senza bisogno di sapere esattamente chi si sta muovendo o quando. Tuttavia, quando il sistema passa alla fase di test, cambia marcia. Smette di guardare il video nel suo insieme e invece isola individualmente lo scheletro di ogni persona. Poiché ha già appreso la connessione tra i modelli di movimento e le parole durante la fase di addestramento, può ora guardare lo scheletro di una singola persona e chiedersi: "Questo assomiglia alla descrizione testuale di 'tirare un pugno'?". Questo passaggio permette al sistema di individuare azioni specifiche per persone specifiche senza essere mai stato mostrato un video in cui quelle persone specifiche fossero state etichettate.

Per far sì che ciò funzioni in scene complesse dove più persone si muovono contemporaneamente, i ricercatori hanno dovuto risolvere un problema complicato: come insegnare al computer a distinguere tra persone diverse quando riceve un'unica etichetta per l'intero video. Se un video mostra una persona che corre e un'altra che cammina, e l'etichetta è semplicemente "esercizio fisico", il computer potrebbe confondersi su quale movimento appartenga a quale etichetta. Per risolvere il problema, il team ha introdotto una tecnica chiamata "Scene-Mixed Discriminative Contrastive Learning". Questo metodo prende frammenti da diversi video e li mescola artificialmente durante il processo di addestramento. Creando un ambiente caotico in cui molteplici azioni avvengono fianco a fianco, il sistema è costretto a imparare le sottili differenze tra di esse. Impara a capire che il movimento di una persona che corre è distinto dal movimento di una persona che salta, anche quando appaiono nello stesso contesto mescolato. Ciò assicura che, quando il sistema incontra un video reale con più persone, possa assegnare con fiducia l'azione corretta alla persona corretta.

I risultati di questo approccio sono stati testati contro diversi dataset standard utilizzati per valutare quanto bene i computer riescano a trovare e classificare le azioni nei video. Su un dataset contenente ventiquattro diverse azioni, il nuovo metodo ha raggiunto un'accuratezza del 34,1 percento, superando i precedenti metodi debolmente supervisionati che si affidavano ad addestramenti meno sofisticati. Ancora più impressionante, testato su un dataset progettato specificamente per tracciare persone che cadono, il nuovo sistema ha raggiunto un'accuratezza del 73,3 percento, battendo significativamente i metodi esistenti che si basano sul tracciamento delle posizioni delle persone nel tempo. I ricercatori hanno anche scoperto che il loro sistema è molto più robusto rispetto alla scarsa qualità del video. Quando i video in input erano sfocati o presentavano fotogrammi mancanti, le prestazioni dei sistemi che si affidano all'aspetto visivo sono scese drasticamente, mentre il sistema basato sullo scheletro ha mantenuto la sua alta accuratezza. Ciò suggerisce che, concentrandosi sulla struttura del corpo piuttosto che sull'aspetto della scena, il sistema può funzionare in modo affidabile in condizioni reali in cui le telecamere potrebbero essere instabili o la luce scarsa.

Un altro risultato critico è stato l'efficienza del sistema. Mentre molti modelli moderni di intelligenza artificiale in grado di comprendere video e testo richiedono miliardi di parametri e una potenza di calcolo massiccia per funzionare, questo nuovo metodo opera con un modello contenente solo circa 70 milioni di parametri. Nonostante sia molto più piccolo, ha raggiunto un'accuratezza dell'84,0 percento su un dataset di azioni violente, superando modelli molto più grandi e complessi. Inoltre, il sistema è incredibilmente veloce, elaborando i video a una velocità di circa 1900 fotogrammi al secondo, ovvero circa 240 volte più velocemente di alcuni dei grandi modelli linguistici utilizzati per compiti simili. Questa combinazione di alta accuratezza, basso costo computazionale e la capacità di apprendere nuove azioni senza un addestramento costoso suggerisce una via pratica per l'implementazione di sistemi di sorveglianza intelligente e robotica che possano adattarsi a nuove situazioni senza richiedere un team di esseri umani per passare settimane a etichettare i dati.

Lo studio conclude che, spostando l'attenzione dall'costosa etichettatura fotogramma per fotogramma a un processo di apprendimento più flessibile guidato dal testo, è possibile costruire sistemi che comprendano l'azione umana con un livello di sofisticatezza precedentemente riservato ai modelli pesantemente supervisionati. I ricercatori hanno dimostrato che è fattibile addestrare un computer a riconoscere azioni non viste insegnandogli la relazione tra i movimenti del corpo e il linguaggio, piuttosto che costringerlo a memorizzare ogni possibile variazione di un evento specifico. Questo approccio non solo riduce il costo e il tempo necessari per sviluppare nuovi sistemi di riconoscimento delle azioni, ma crea anche modelli che sono più robusti e adattabili alla natura disordinata e imprevedibile del mondo reale. Man mano che la tecnologia matura, potrebbe abilitare una nuova generazione di applicazioni che monitorano la sicurezza, assistono nell'analisi sportiva o guidano i robot, il tutto senza il costo proibitivo dell'annotazione manuale dei dati che da tempo rappresenta un collo di bottiglia nel settore.