Robust Motion Generation using Part-level Reliable Data from Videos
Questo articolo affronta la sfida delle occlusioni e delle catture fuori campo nei dati di movimento basati su video proponendo un modello autoregressivo robusto e consapevole delle parti che sfrutta solo informazioni credibili a livello di parte per generare movimenti umani di alta qualità, accompagnato dall'introduzione di un nuovo benchmark su larga scala chiamato K700-M.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di cercare di insegnare a un computer come muovere un essere umano digitale leggendo semplicemente una frase. Potresti scrivere: "La persona sta ballando", e aspettarti che lo schermo mostri una performance fluida e realistica. Questo campo, noto come generazione di movimento da testo (text-to-motion generation), ha fatto progressi straordinari, ma si è scontrato con un muro. I migliori risultati ottenuti finora derivano dall'addestramento dei computer su registrazioni speciali e di alta qualità di persone reali in movimento, catturate con costosi sensori in studi controllati. Sebbene queste registrazioni siano perfette, sono rare, limitate nella varietà e spesso non colgono i modi disordinati e complessi in cui le persone si muovono nel mondo reale. Per superare questo ostacolo, i ricercatori si sono rivolti a Internet, sperando di imparare dalle miliardi di video comuni disponibili online. L'idea è semplice: se un computer può imparare dalla vasta biblioteca del web, potrebbe comprendere una gamma molto più ampia di azioni. Ma c'è un problema. Quando un computer cerca di capire come si muove una persona in un video normale, spesso non riesce a vedere l'intero corpo. Una persona potrebbe essere parzialmente nascosta da un albero, tagliata dal bordo dell'inquadratura o bloccata da un'altra persona. In questi momenti, il computer deve indovinare dove si trovano gli arti mancanti.
Questa supposizione crea un problema fondamentale per l'apprendimento. Se un computer viene mostrato un video in cui è visibile solo la parte superiore del corpo, ed è costretto a imparare da un'ipotesi a corpo intero che include gambe invisibili, potrebbe imparare le cose sbagliate. Potrebbe iniziare a credere che le gambe invisibili siano prove reali, piuttosto che una semplice supposizione. Per molto tempo, i ricercatori hanno affrontato una scelta difficile: scartare ogni clip video che non fosse perfettamente chiara, perdendo la maggior parte dei dati, oppure tenerle tutte e sperare che il computer potesse ignorare le supposizioni errate. Entrambi gli approcci presentavano gravi difetti. Scartare le clip significava perdere informazioni preziose su movimenti specifici, come il modo in cui una persona muove le braccia mentre è seduta. Tenere tutto significava insegnare al computer con informazioni false. Un team di ricercatori ha trovato un modo per risolvere questo problema cambiando il modo in cui il computer osserva i dati. Invece di trattare l'intera clip video come buona o cattiva, hanno insegnato al computer a guardare il corpo parte per parte.
I ricercatori hanno sviluppato un nuovo sistema che agisce come un editor attento. Quando il sistema analizza un video, controlla prima quali parti del corpo sono effettivamente visibili e quali sono nascoste. Se le gambe di una persona sono bloccate da un tavolo, il sistema sa che deve fidarsi del movimento delle braccia e del busto, ma deve ignorare la supposizione del computer sulle gambe. Tratta le parti visibili come fatti solidi e le parti nascoste come spazi vuoti da riempire in seguito. Questo approccio permette al sistema di imparare da migliaia di video che prima erano considerati troppo disordinati per essere utilizzati. Concentrandosi solo sulle parti del corpo che la telecamera vede realmente, il sistema costruisce una comprensione affidabile del movimento senza essere confuso dalle proprie supposizioni. È come imparare a riconoscere un uccello studiando solo le ali quando la coda è nascosta, invece di cercare di memorizzare il disegno di un uccello intero che include una coda inventata.
Per testare questa idea, il team ha creato una nuova e massiccia collezione di dati da Internet, contenente quasi due centomila coppie di clip video e descrizioni testuali. Hanno analizzato queste clip e hanno scoperto che in più di tre quarti dei fotogrammi, almeno una parte del corpo non era completamente visibile. Questo ha confermato che il problema delle informazioni mancanti non è un evento raro; è la norma per i video del web. Utilizzando questo dataset, hanno addestrato il loro nuovo sistema e lo hanno confrontato con i metodi precedenti che o scartavano le clip disordinate o cercavano di imparare da tutte senza filtrarle. I risultati sono stati chiari. Il nuovo sistema, che presta attenzione a quali parti sono visibili, ha prodotto movimenti molto più accurati e realistici rispetto ai vecchi metodi. È stato in grado di generare movimenti che non solo erano più fedeli alla descrizione testuale, ma anche più fluidi e naturali.
Lo studio ha dimostrato che mantenere le clip disordinate e insegnare al computer a ignorare le parti invisibili era molto meglio che scartare le clip. Quando i ricercatori hanno testato il loro sistema su un vasto pool di due centomila clip, questo ha superato significativamente i migliori metodi esistenti. I vecchi metodi che mantenevano tutti i dati commettevano molti errori perché cercavano di imparare dalle parti invisibili, mentre i metodi che scartavano i dati "cattivi" perdevano troppa varietà. Il nuovo sistema è riuscito a mantenere la varietà del grande dataset evitando però gli errori. Ha imparato che una persona seduta che suona la batteria potrebbe avere le gambe nascoste, ma i suoi movimenti delle braccia sono comunque reali e utili da cui imparare. Concentrandosi sulle parti affidabili, il sistema è stato in grado di comporre un quadro completo del movimento senza essere tratto in inganno dai pezzi mancanti.
Questo lavoro suggerisce un nuovo modo per insegnare ai computer il mondo fisico utilizzando dati imperfetti. Dimostra che non abbiamo bisogno di registrazioni perfette, di qualità da studio, per insegnare a una macchina come muoversi. Inveve, possiamo usare la vasta e disordinata collezione di video di Internet, se insegniamo alla macchina a essere intelligente su ciò di cui fidarsi. Il sistema non ha bisogno di vedere l'intero corpo per imparare come si muove una persona; ha solo bisogno di vedere abbastanza parti del corpo per comprendere l'azione. Questo approccio apre la porta all'addestramento di sistemi molto più grandi e capaci in futuro, capaci di comprendere una gamma più ampia di comportamenti umani rispetto ad oggi. I ricercatori hanno scoperto che, rispettando i limiti di ciò che la telecamera può vedere, il computer può imparare di più, non di meno. Questo cambiamento di strategia, dal richiedere dati perfetti all'imparare da prove parziali, segna un passo avanti significativo nell'insegnare alle macchine come comprendere il movimento umano.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.