Learning to Understand Body Language from Flight through Robust 3D Avatar Placing
Questo articolo introduce Drones2BodyLanguage, un nuovo dataset creato inserendo in modo robusto avatar 3D con intenti comunicativi in riprese reali di droni tramite un modello geometrico del mondo leggero, il quale migliora significativamente la capacità dei robot aerei di apprendere e comprendere il linguaggio del corpo e l'intento umano da video UAV a lungo raggio.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di essere un drone che vola alto sopra una città frenetica o una campagna tranquilla. Sei un robot "socialmente intelligente", il che significa che vuoi capire cosa le piccole persone sottostanti stiano cercando di dirti. Magari un escursionista sta agitando la mano per chiedere aiuto, o un gruppo sta segnalando una direzione specifica. Nel mondo della scienza, questo si chiama comprendere il "linguaggio del corpo" o l' "intento comunicativo". Di solito, i computer sono bravi a leggere questi segnali quando sono vicini, come in un selfie. Ma quando zoami verso una distanza di 50 o 100 metri, la persona diventa solo pochi pixel su uno schermo. I suoi movimenti diventano sfocati e il computer si confonde. È come cercare di leggere un libro dall'altra parte di un campo da football; le lettere sono lì, ma sono troppo piccole per avere senso.
Per insegnare a un computer a leggere questi piccoli segnali distanti, gli scienziati di solito hanno bisogno di migliaia di esempi. Ma ecco il problema: nessuno ha girato migliaia di video di persone che salutano i droni da 100 metri di distanza. È troppo difficile da filmare, e le persone potrebbero essere troppo lontane per essere viste chiaramente. Così, gli scienziati si trovano davanti a due brutte opzioni: o provare a filmare persone reali (il che è quasi impossibile da fare abbastanza spesso) o creare persone artificiali generate dal computer in un mondo totalmente finto (che appare troppo perfetto e non corrisponde alla realtà disordinata di un video vero). Questo articolo cerca di trovare una via di mezzo intelligente. Si chiede: "E se mantenessimo il video del mondo reale, ma incollassimo magicamente persone dall'aspetto reale in esso, in modo che il computer possa imparare a leggere i loro segnali da lontano?"
I ricercatori dietro questo studio, Dragoş Costea e il suo team, hanno costruito un nuovo strumento chiamato Drones2BodyLanguage. Immaginalo come una macchina "taglia e incolla" ad alta tecnologia per i video, ma con un tocco molto speciale. Di solito, se incolli la foto di una persona in un video, questa sembra un adesivo piatto che scivola in modo strano. Se la telecamera si muove, la persona non si muove insieme al terreno; semplicemente fluttua. Questo non va bene per l'apprendimento. La grande innovazione del team è un metodo per posizionare queste persone digitali in modo che stiano saldamente sul terreno, rimangano nel posto giusto mentre il drone vola e ruotino persino il corpo per guardare nella direzione corretta, proprio come farebbe una persona reale.
Ecco come funziona la loro "magia". Per prima cosa, prendono un vero video 4K da un drone. Poi, usano un sistema intelligente per trovare degli "ancoraggi", punti stabili sul terreno come l'angolo di un edificio o un albero. Anche se il terreno potrebbe sembrare semplice asfalto piatto e noioso senza schemi, il loro sistema utilizza un sensore di profondità speciale per indovinare quanto questi punti siano alti nello spazio 3D. Successivamente, calcolano un "punto ideale" per posizionare un avatar digitale. Il ingrediente segreto è un trucco matematico: non tracciano direttamente i piedi della persona (perché i piedi scomparirebbero sulla strada liscia), ma tracciano gli ancoraggi stabili intorno alla persona e usano una formula per prevedere esattamente dove dovrebbero trovarsi i piedi della persona, indipendentemente da come si muove il drone. Calcolano anche in quale direzione il terreno sia "inclinato", in modo che la persona non sembri piegata lateralmente.
Una volta posizionata perfettamente la persona, il team la aggiunge al video in tre modi diversi per creare una vasta libreria di dati di addestramento:
- Reale: Prendono video reali di attori, li ritagliano e li incollano all'interno.
- Retargeted (Riqualificato): Prendono i movimenti di veri attori e li applicano a personaggi 3D realistici generati dal computer.
- Generato: Usano l'IA per inventare nuovi movimenti che non sono mai stati filmati prima.
Hanno creato un dataset con oltre 3.500 di questi clip video "posizionati", che mostrano persone che compiono dieci diversi segnali comunicativi (come salutare, indicare o segnalare "stop") da distanze comprese tra 33 e 98 metri.
Il team ha poi testato se questi dati "finti" potessero effettivamente insegnare ai computer a comprendere le persone reali. Hanno preso dodici diversi modelli di cervello informatico (architetture) e li hanno addestrati su questo nuovo dataset. I risultati sono stati promettenti. Quando hanno addestrato i computer su questi video posizionati, i modelli sono diventati molto più bravi a indovinare ciò che le persone distanti stavano cercando di dire. In effetti, l'accuratezza è aumentata significativamente rispetto ai modelli che non avevano visto questo tipo di dati.
Interessante è che hanno scoperto che il tipo di movimento contava più dell'aspetto della persona. I modelli addestrati sui movimenti "generati" (completamente finti) hanno avuto più difficoltà, mentre quelli addestrati sul "retargeting" (movimenti umani reali su corpi finti) hanno performato molto bene. Ciò suggerisce che il computer ha bisogno di imparare il ritmo e la forma del vero movimento umano, non solo l'aspetto di un personaggio 3D.
Hanno anche testato il loro sistema su due video del mondo reale completamente nuovi, che non avevano mai visto prima — uno in campagna e uno in un resort. Nonostante il computer non avesse mai visto queste scene specifiche, i modelli addestrati sul loro dataset misto (usando sia dati reali che retargeted) sono stati i migliori. Questo suggerisce che il loro metodo di "posizionare" le persone in video reali è un modo solido per insegnare ai robot come comprendere i segoli umani.
Tuttavia, gli autori avvertono con cura che questo non è ancora una soluzione perfetta per ogni situazione. Il loro metodo funziona meglio su terreni piatti e solidi e dipende dal fatto che il terreno sia abbastanza rigido. Inoltre, le persone "reali" che ritagliano dai video non possono essere cambiate o ri-animate facilmente senza rifare l'intero processo. Ma nel complesso, questo articolo mostra un nuovo e potente modo per insegnare ai droni come essere migliori nel leggere il nostro linguaggio del corpo, usando un mix di video reali e un ingegnoso posizionamento digitale, colmando il divario tra ciò che possiamo filmare e ciò di cui i computer hanno bisogno per imparare.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.