Label-Efficient Transfer Learning for Human Action Recognition Using Pretrained VideoMAE

Nel mondo della visione artificiale, insegnare alle macchine a comprendere il movimento umano è stato a lungo un rompicapo di immensa complessità. Per decenni, i ricercatori hanno cercato di costruire sistemi in grado di guardare un video e identificare ciò che una persona sta facendo, che si tratti di un servizio a tennis, una stretta di mano o una caduta. I primi tentativi si basavano su regole create manualmente, dove gli ingegneri definivano manualmente l'aspetto del movimento, ma questi sistemi spesso fallivano quando l'angolo della telecamera cambiava o lo sfondo diventava caotico. Il campo è cambiato con l'arrivo del deep learning, che ha permesso ai computer di apprendere questi schemi direttamente dai dati video grezzi. Tuttavia, questo nuovo approccio è arrivato con un prezzo elevato: richiedeva enormi quantità di video etichettati, dove gli esseri umani osservavano meticolosamente ore di filmati e taggavano ogni azione. Questo processo è lento, costoso e spesso impossibile per compiti specializzati dove gli esperti sono rari. Per risolvere questo problema, gli scienziati si sono rivolti all'apprendimento auto-supervisionato, un metodo in cui un computer impara da vasti oceani di video non etichettati cercando di prevedere le parti mancanti dell'immagine, insegnando efficacemente a se stesso la struttura del movimento senza l'aiuto umano. La domanda che rimane è se questi sistemi auto-appresi siano davvero pronti per il mondo reale, dove i dati etichettati sono spesso limitati, o se abbiano ancora bisogno di una forte mano di supervisione umana per funzionare correttamente.

Un ricercatore del Siddaganga Institute of Technology in India si è posto l'obiettivo di rispondere a questa domanda testando un tipo specifico di modello auto-supervisionato chiamato VideoMAE. Immaginate uno studente che ha letto ogni libro in una biblioteca ma non ha mai sostenuto un esame; il ricercatore voleva vedere quanto bene potesse rispondere alle domande d'esame se gli fossero state date solo poche risposte d'esempio da studiare. Nel suo studio, ha utilizzato un modello VideoMAE pre-addestrato, che aveva già imparato a comprendere i video ricostruendo le sezioni mascherate di migliaia di clip non etichettate. Ha "congelato" il cervello di questo modello in modo che non potesse imparare nulla di nuovo e vi ha collegato un classificatore semplice e leggero sopra. Questa configurazione gli ha permesso di testare la comprensione pura dell'azione umana alimentando il modello con diverse quantità di dati di addestramento etichettati, che andavano da una minuscola frazione all'intero dataset. Ha testato questo approccio su due benchmark ben noti per il riconoscimento dell'azione umana: UCF101, che contiene un insieme diversificato di sport e attività quotidiane, e HMDB51, una collezione più difficile di clip da film e database pubblici che presenta movimenti di telecamera complessi e sfondi variati.

I risultati hanno rivelato una via chiara e pratica per l'utilizzo di questi modelli avanzati. Quando il ricercatore ha fornito al sistema solo il dieci per cento dei dati etichettati disponibili, esso è riuscito comunque a identificare le azioni con una precisione notevole. Sul dataset UCF101, il modello ha raggiunto un tasso di riconoscimento di quasi l'ottantotto per cento con solo quella piccola porzione di esempi etichettati. Man mano che aumentavano la quantità di dati etichettati al venticinque per cento e poi al cinquanta per cento, l'accuratezza saliva costantemente, superando il novantadue per cento quando veniva utilizzato l'intero dataset. La scoperta più significativa, tuttavia, non è stata solo che il modello funzionasse con pochi dati, ma che i benefici dell'aggiunta di più dati iniziassero a svanire rapidamente. Una volta che il sistema aveva accesso alla metà dei campioni di addestramento etichettati, l'aggiunta dell'altra metà produceva solo un piccolo miglioramento nelle prestazioni. Ciò suggerisce che l'addestramento auto-supervisionato aveva già catturato la stragrande maggioranza delle informazioni visive e temporali necessarie per comprendere il movimento umano, lasciando al semplice classificatore pochissimo lavoro per adattarsi al compito specifico.

La storia è stata leggermente diversa, ma altrettanto rivelatrice, quando il ricercatore ha testato il dataset più difficile HMDB51. Poiché questi video erano più disordinati, con telecamere instabili e sfondi complessi, il modello è partito con un'accuratezza inferiore di circa il cinquantadue per cento usando solo il dieci per cento delle etichette. Tuttavia, man mano che aggiungevano più dati etichettati, il sistema migliorava molto più drasticamente rispetto al dataset più facile, raggiungendo infine un'accuratezza superiore al sessantatré per cento con la supervisione completa. Ciò ha indicato che, sebbene la base auto-supervisionata fosse forte, più l'ambiente del mondo reale era caotico e complesso, più preziosi diventavano alcuni extra esempi etichettati. Nonostante ciò, il sistema raggiungeva comunque un alto livello di prestazione con solo metà dei dati, dimostrando che il modello auto-appreso aveva appreso una rappresentazione robusta dell'azione che poteva gestire una significativa varietà visiva senza bisogno di una guida manuale completa.

Oltre ai punteggi finali, il ricercatore ha esaminato attentamente come il sistema apprendeva e quali risorse consumava. Ha scoperto che il processo di addestramento era stabile e prevedibile in tutti i livelli di supervisione, con il modello che convergevano fluidamente senza comportamenti erratici. In termini di potenza di calcolo, l'approccio era altamente efficiente. Poiché la parte principale del modello era congelata e veniva addestrato solo il piccolo strato superiore, la quantità di memoria del computer richiesta rimaneva quasi costante, indipendentemente da quanti dati etichettati venissero utilizzati. Il tempo necessario per l'addestramento aumentava con più dati, semplicemente perché il computer doveva elaborare più esempi, ma l'impronta di memoria non cresceva. Ciò significa che il metodo è scalabile e non richiede costosi aggiornamenti hardware solo per gestire un dataset più grande. Lo studio ha anche esaminato quali azioni il modello sbagliava, scoprendo che gli errori erano concentrati soprattutto in movimenti visivamente simili, un limite naturale nel distinguere tra variazioni sottili del movimento umano.

In definitiva, questo lavoro dimostra che l'era del bisogno di enormi dataset video perfettamente etichettati per ogni nuova applicazione potrebbe essere vicina alla fine. Il ricercatore ha dimostrato che un modello addestrato su video non etichettati può servire come una potente base per il riconoscimento delle azioni umane, richiedendo solo una frazione dello sforzo di etichettatura manuale per raggiungere alte prestazioni. Le scoperte suggeriscono che per molte applicazioni pratiche, come il monitoraggio della sicurezza nelle fabbriche o l'analisi delle tecniche sportive, le organizzazioni possono fare affidamento su questi sistemi pre-addestrati per fornire risultati accurati senza il costo proibitivo di annotare ogni singolo fotogramma video. Sebbene i dataset più difficili beneficino ancora di ulteriori esempi etichettati, la capacità centrale è già presente nel modello auto-supervisionato, offrendo una soluzione pratica e ricca di risorse per portare la comprensione intelligente del video nel mondo reale.