DeformSmith: Physics Harness-Guided Hierarchical Generation of Deformable Assets for Robot Manipulation

Nei mondi virtuali dove i robot imparano a muoversi, gli oggetti con cui interagiscono sono spesso troppo perfetti. Una mela digitale è una sfera rigida che non si ammacca mai; un asciugamano digitale è un foglio piatto che non si piega mai. Affinché un robot possa imparare come afferrare, sollevare o trasportare qualcosa in una simulazione, quell'oggetto deve comportarsi come quello reale. Deve schiacciarsi quando viene premuto, drappeggiare quando viene lasciato cadere e mantenere la sua forma quando viene sollevato. Creare questi oggetti digitali da zero è difficile perché l'aspetto visivo di un oggetto — ciò che appare — è solo metà della storia. L'altra metà è la sua natura fisica nascosta: quanto è pesante, quanto il suo materiale è morbido o rigido, e come reagisce quando viene toccato. Senza conoscere queste proprietà invisibili, un robot potrebbe provare a prendere una banana digitale solo per scoprire che si frantuma come vetro o scivola tra le sue dita come acqua, semplicemente perché il computer non sapeva come farla piegare.

I ricercatori hanno a lungo cercato di generare questi oggetti 3D utilizzando descrizioni testuali o singole fotografie, ma finora i risultati sono stati spesso visivamente convincenti ma fisicamente fallimentari. Potrebbero sembrare un giocattolo di peluche, ma in una simulazione, collasserebbero sotto il proprio peso o non reagirebbero alla presa di un robot. La sfida risiede nel fatto che una foto o una frase non contengono abbastanza informazioni per dire a un computer esattamente come un oggetto debba deformarsi. Per risolvere questo problema, un team di ricercatori ha sviluppato un nuovo sistema chiamato DeformSmith. Questo framework non si limita a indovinare l'aspetto di un oggetto; costruisce l'oggetto a strati, testando il suo comportamento fisico ad ogni passaggio, e utilizza un robot simulato per provare a manipolare l'oggetto prima che il processo sia terminato.

Il cuore di questo nuovo approccio è un processo di costruzione passo dopo passo che imita il modo in cui un ingegnere umano potrebbe costruire un prototipo, ma con il computer che svolge il lavoro pesante. Il sistema parte da una semplice descrizione o da una singola foto e costruisce prima la forma 3D dell'oggetto. Una volta che la forma esiste, il sistema le assegna un'identità fisica, decidendo quanto pesa e come interagisce con il suolo. Successivamente, aggiunge le proprietà del materiale, determinando se l'oggetto è morbido come una spugna o sodo come una pallina di gomma. Fondamentalmente, il sistema non si limita a impostare questi valori e sperare nel meglio. Esegue una serie di test fisici, lasciando cadere l'oggetto o premendolo, per vedere se si comporta correttamente. Se l'oggetto collassa troppo facilmente o rimbalza nel modo sbagliato, il sistema regola automaticamente le sue impostazioni interne e riprova.

Ciò che rende unico questo metodo è come inserisce un robot nel ciclo di lavoro. Dopo che l'oggetto ha superato i test fisici di base, un braccio robotico simulato tenta di prenderlo, trasportarlo e appoggiarlo. È qui che il sistema impara di più. Il robot tenta di afferrare l'oggetto, e il sistema osserva attentamente per vedere se l'oggetto mantiene la sua forma, se scivola o se si deforma in un modo che rende impossibile il movimento. Se il robot fallisce, il sistema usa quel fallimento come indizio. Potrebbe rendersi conto che l'oggetto è troppo scivoloso, o che la presa era troppo debole, o che il materiale è troppo morbido per il compito. Il sistema torna quindi indietro e perfeziona le proprietà dell'oggetto o cambia il modo in cui il robot si muove, ripetendo il ciclo finché il robot non riesce a completare con successo il compito. Questo crea un ciclo di feedback in cui l'oggetto viene costantemente migliorato in base a quanto bene funziona in uno scenario del mondo reale.

I ricercatori hanno testato questo sistema creando decine di oggetti diversi, da un pallone da rugby a una foca di peluche, utilizzando sia descrizioni testuali che singole immagini. Hanno confrontato i loro risultati con altri metodi avanzati che tentano di fare la stessa cosa. In questi confronti, gli oggetti creati da DeformSmith erano significativamente più realistici. Quando venivano lasciati cadere, mantenevano la loro forma e rimbalzavano o si schiacciavano in modo naturale, mentre gli oggetti di altri sistemi spesso si appiattivano come una frittata o si scomponevano. In test ciechi in cui le persone giudicavano quale oggetto apparisse e si comportasse meglio, il nuovo sistema ha vinto la maggior parte delle volte. È stato particolarmente efficace nel creare oggetti che potevano essere manipolati con successo da un robot, con il tasso di successo nel prender e spostare oggetti che passava da meno della metà a più di due terzi quando veniva utilizzato il raffinamento guidato dal robot.

Il sistema funziona scomponendo il problema in fasi gestibili, assicurandosi che la forma sia corretta prima di preoccuparsi del peso, e che il peso sia corretto prima di preoccuparsi del materiale. Questo evita che il computer si confonda cercando di sistemare tutto contemporaneamente. Un "imbracatura" centrale agisce come supervisore, tenendo traccia di tutte le regole e assicurando che i cambiamenti apportati in una fase non rompano il lavoro svolto in una fase precedente. Ad esempio, se il sistema decide di rendere un oggetto più morbido, controlla che questo cambiamento non renda l'oggetto troppo pesante o non lo faccia affondare nel pavimento. Questo approccio gerarchico e attento permette al sistema di costruire oggetti complessi e interattivi che sono pronti per l'uso nelle simulazioni di addestramento dei robot.

Sebbene il sistema sia potente, i ricercatori osservano che attualmente funziona meglio con oggetti solidi che possono essere schiacciati o stirati, piuttosto che con liquidi o materiali granulari come la sabbia. Le proprietà fisiche che inferisce sono anche stime basate su indizi visivi e simulazioni, il che significa che dovrebbero comunque essere verificate con misurazioni del mondo reale se utilizzate per robot fisici reali. Tuttavia, la capacità di generare una vasta gamma di oggetti fisicamente credibili da input semplici apre una nuova porta per la robotica. Invece di modellare manualmente ogni singolo oggetto che un robot potrebbe incontrare, gli ingegneri possono ora descrivere un oggetto o mostrare una foto, e il sistema costruirà un gemello digitale pronto per essere testato, manipolato e appreso. Questa capacità suggerisce un futuro in cui i robot possono imparare a gestire il mondo disordinato e deformabile degli oggetti quotidiani molto più velocemente, semplicemente praticando con una vasta libreria di asset digitali generati automaticamente e fisicamente accurati.