Real-Time Human-Centric World Modeling for Upper-Body Human-Object Interaction
Questo articolo presenta un modello del mondo incentrato sull'uomo in tempo reale che sintetizza interazioni coerenti della parte superiore del corpo combinando una rappresentazione implicita unificata multi-scala per il movimento umano continuo con stati discreti codificati tramite linguaggio per un controllo preciso del contatto con gli oggetti, raggiungendo un'inferenza di 25 FPS su GPU H100.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di guardare un film in cui il personaggio principale può allungare la mano, afferrare una tazza di caffè, bere un sorso e riposarla, il tutto mentre parla con te. Per molto tempo, gli scienziati informatici sono stati bravissimi nel rendere i movimenti del corpo del personaggio realistici, ma spesso hanno faticato con la parte dell' "afferrare". A volte la mano attraversava la tazza come un fantasma, o la tazza cambiava magicamente forma quando veniva toccata. Questa è la sfida dell' "interazione uomo-oggetto": insegnare a un computer non solo come una persona si muove, ma come tocca fisicamente e modifica il mondo che la circonda.
Per farlo, i ricercatori si affidano solitamente a due strumenti principali. Primo, la generazione di video, che è come un artista digitale capace di dipingere immagini in movimento basandosi su una descrizione. Secondo, il world modeling (modellazione del mondo), che è un modo sofisticato per dire che un computer cerca di prevedere come una scena cambierà nel tempo. La grande domanda è stata: possiamo combinare questi elementi per creare un personaggio che non si limiti a danzare sul posto, ma che interagisca davvero con gli oggetti in tempo reale, come un personaggio di un videogioco che sembra abbastanza reale da poter essere toccato?
Questo è esattamente ciò su cui un team di ricercatori di Tongyi Lab ha lavorato. Hanno costruito un nuovo sistema che agisce come un "modello del mondo centrato sull'uomo in tempo reale". Immaginatelo come un burattinaio digitale che non si limita a controllare le membra del burattino, ma decide anche se il burattino sta impugnando un martello o se sta solo agitando la mano nell'aria. Il loro obiettivo era creare un sistema in grado di prendere un video dal vivo di una persona, l'immagine di un oggetto (come una tazza) e un comando semplice (come "afferra" o "nessun contatto"), e generare istantaneamente un video in cui la persona interagisce perfettamente con quell'oggetto.
Il team ha scoperto che, dividendo il controllo in due parti distinte, potevano risolvere il problema molto meglio rispetto ai metodi precedenti. La prima parte è lo stato umano continuo, che gestisce i movimenti fluidi e armoniosi del corpo, delle mani e del viso. Immaginate questo come la mano del burattinaio che guida i muscoli del burattino. La seconda parte è lo stato di interazione discreto, che è come un semplice interruttore che dice al sistema: "La mano sta toccando l'oggetto proprio ora?" o "Lo sta tenendo in mano?". Utilizzando un comando specifico e breve per questo interruttore (come le parole "afferra" o "nessun contatto") invece di una frase lunga e complicata, il computer può passare tra questi stati istantaneamente e con precisione.
Il risultato è un sistema in grado di generare queste interazioni a una velocità di 25 fotogrammi al secondo con un ritardo di circa 1000 millisecondi. Questo significa che è abbastanza veloce da sembrare una conversazione dal vivo o un videogioco in tempo reale. I ricercatori hanno dimostrato che il loro metodo crea movimenti delle mani più realistici e un migliore contatto con gli oggetti rispetto ai sistemi precedenti, che spesso producevano strani glitch come oggetti fluttuanti o mani che non si chiudevano del tutto attorno a ciò che avrebbero dovuto impugnare. Hanno anche creato un dataset speciale di oltre 30.000 esempi per insegnare al loro sistema come dovrebbero apparire queste interazioni. Sebbene non abbiano sostenuto di aver risolto ogni problema dell'universo, i loro esperimenti suggeriscono che questo approccio "continuo-discreto" sia un passo avanti significativo nel rendere gli umani digitali capaci di interagire davvero con il loro mondo in tempo reale.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.