DeformSmith: Physics Harness-Guided Hierarchical Generation of Deformable Assets for Robot Manipulation

En los mundos virtuales donde los robots aprenden a moverse, los objetos con los que interactúan son a menudo demasiado perfectos. Una manzana digital es una esfera rígida que nunca se abolla; una toalla digital es una lámina plana que nunca se dobla. Para que un robot aprenda a agarrar, levantar o transportar algo en una simulación, ese objeto debe comportarse como el objeto real. Debe aplastarse cuando se presiona, caer con caída cuando se suelta y mantener su forma cuando se levanta. Crear estos objetos digitales desde cero es difícil porque la apariencia visual de un objeto —cómo se ve— es solo la mitad de la historia. La otra mitad es su naturaleza física oculta: qué tan pesado es, qué tan suave o rígido es su material y cómo reacciona al ser tocado. Sin conocer estas propiedades invisibles, un robot podría intentar recoger un plátano digital solo para descubrir que se hace añicos como el vidrio o se le escapa entre los dedos como el agua, simplemente porque la computadora no sabía cómo hacerlo doblarse.

Los investigadores han intentado durante mucho tiempo generar estos objetos 3D utilizando descripciones de texto o fotografías únicas, pero hasta ahora, los resultados han sido a menudo visualmente convincentes pero físicamente defectuosos. Pueden parecer un juguete de peluche, pero en una simulación, se colapsarían bajo su propio peso o no reaccionarían al agarre de un robot. El desafío radica en que una imagen o una oración no contiene suficiente información para decirle a una computadora exactamente cómo debe deformarse un objeto. Para resolver esto, un equipo de investigadores ha desarrollado un nuevo sistema llamado DeformSmith. Este marco de trabajo no solo adivina cómo debería verse un objeto; construye el objeto por capas, probando su comportamiento físico en cada paso, y utiliza un robot simulado para intentar manipular el objeto antes de que el proceso haya terminado.

El núcleo de este nuevo enfoque es un proceso de construcción paso a paso que imita cómo un ingeniero humano podría construir un prototipo, pero con una computadora realizando el trabajo pesado. El sistema comienza con una descripción simple o una sola foto y primero construye la forma 3D del objeto. Una vez que la forma existe, el sistema le asigna una identidad física, decidiendo cuánto pesa y cómo interactúa con el suelo. Luego, añade las propiedades del material, determinando si el objeto es suave como una esponja o firme como una pelota de goma. Crucialmente, el sistema no solo establece estos valores y espera lo mejor. Ejecuta una serie de pruebas físicas, dejando caer el objeto o presionándolo, para ver si se comporta correctamente. Si el objeto se colapsa con demasiada facilidad o rebota de la manera incorrecta, el sistema ajusta automáticamente sus configuraciones internas e intenta de nuevo.

Lo que hace que este método sea único es cómo incorpora a un robot en el proceso. Después de que el objeto pasa las pruebas físicas básicas, un brazo robótico simulado intenta recogerlo, transportarlo y dejarlo en su lugar. Aquí es donde el sistema aprende más. El robot intenta agarrar el objeto, y el sistema observa de cerca para ver si el objeto mantiene su forma, si se resbala o si se deforma de una manera que hace imposible moverlo. Si el robot falla, el sistema utiliza ese fallo como una pista. Podría darse cuenta de que el objeto es demasiado resbaladizo, o que el agarre fue demasiado débil, o que el material es demasiado blando para la tarea. El sistema entonces regresa y refina las propiedades del objeto o cambia la forma en que se mueve el robot, repitiendo el ciclo hasta que el robot puede completar la tarea con éxito. Esto crea un bucle de retroalimentación donde el objeto es constantemente mejorado basándose en qué tan bien funciona en un escenario del mundo real.

Los investigadores probaron este sistema creando docenas de objetos diferentes, desde un balón de rugby hasta un sello de peluche, utilizando tanto descripciones de texto como imágenes individuales. Compararon sus resultados con otros métodos avanzados que intentan hacer lo mismo. En estas comparaciones, los objetos creados por DeformSmith fueron significativamente más realistas. Al caer, mantenían su forma y rebotaban o se aplastaban de una manera que parecía natural, mientras que los objetos de otros sistemas a menudo se aplanaban como un panqueque o se desmoronaban. En pruebas ciegas donde las personas juzgaron qué objeto se veía y se comportaba mejor, el nuevo sistema ganó la mayoría de las veces. Fue particularmente exitoso al crear objetos que podían ser manipulados con éxito por un robot, con la tasa de éxito para recoger y mover objetos saltando de menos de la mitad a más de dos tercios cuando se utilizó el refinamiento guiado por el robot.

El sistema funciona dividiendo el problema en etapas manejables, asegurando que la forma sea correcta antes de preocuparse por el peso, y que el peso sea correcto antes de preocuparse por el material. Esto evita que la computadora se confunda al intentar arreglar todo a la vez. Un "arnés" central actúa como supervisor, haciendo un seguimiento de todas las reglas y asegurando que los cambios realizados en una etapa no rompan el trabajo realizado en una etapa anterior. Por ejemplo, si el sistema decide hacer un objeto más blando, verifica que este cambio no haga que el objeto sea demasiado pesado o que se hunda en el suelo. Este enfoque jerárquico y cuidadoso permite al sistema construir objetos complejos e interactivos que están listos para ser usados en simulaciones de entrenamiento de robots.

Aunque el sistema es poderoso, los investigadores señalan que actualmente funciona mejor con objetos sólidos que pueden ser apretados o estirados, en lugar de líquidos o materiales granulares como la arena. Las propiedades físicas que infiere también son estimaciones basadas en pistas visuales y simulación, lo que significa que aún necesitarían ser verificadas con mediciones del mundo real si se utilizan para robots físicos reales. Sin embargo, la capacidad de generar una amplia variedad de objetos físicamente creíbles a partir de entradas simples abre una nueva puerta para la robótica. En lugar de modelar manualmente cada objeto que un robot podría encontrar, los ingenieros ahora pueden describir un objeto o mostrar una foto, y el sistema construirá un gemelo digital que esté listo para ser probado, manipulado y aprendido. Esta capacidad sugiere un futuro donde los robots pueden aprender a manejar el mundo desordenado y deformable de los objetos cotidianos mucho más rápido, simplemente practicando con una vasta biblioteca de activos digitales generados automáticamente y físicamente precisos.