ADEPT: Accelerating Dexterity via Pre-Training and Post-Training using Reinforcement Learning
ADEPT es un marco de aprendizaje por refuerzo a gran escala que acelera el desarrollo de la destreza de nivel humano en robots de altos grados de libertad mediante el preentrenamiento en tareas genéricas y el empleo de una receta de postentrenamiento estable para permitir la transferencia de simulación a realidad (sim-to-real) de cero disparos para resolver tareas de manipulación complejas y de largo horizonte a partir de la percepción visuo-táctil bruta.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Los robots han sido durante mucho tiempo maestros en la planta de producción, moviéndose con una precisión rígida para ensamblar coches o apilar cajas. Sin embargo, cuando se les pide que realicen las tareas fluidas y delicadas de la vida cotidiana —como recoger un huevo frágil, darle la vuelta y colocarlo suavemente en un cuenco—, la mayoría de las máquinas fallan. Este es el desafío de la destreza. Requiere que un robot coordine docenas de piezas móviles simultáneamente, reaccionando al tacto y a la vista en tiempo real para gestionar la física caótica de objetos que se deslizan, ruedan o colisionan. Durante años, los investigadores han intentado enseñar estas habilidades a los robots programándolos con reglas rígidas o mostrándoles demostraciones humanas, pero estos métodos suelen fallar cuando el entorno cambia incluso ligeramente. Un nuevo enfoque, sin embargo, sugiere que el secreto de la destreza robótica no reside en enseñar a un robot cada tarea específica desde cero, sino en darle primero una experiencia amplia y fundacional con el mundo físico.
Un equipo de investigadores ha desarrollado un nuevo marco llamado ADEPT que enseña a los robots a aprender habilidades de manipulación complejas mediante el dominio previo de un juego genérico de "reposicionamiento" de objetos. Imagine una mano robótica que pasa meses en un mundo virtual simplemente recogiendo formas aleatorias —cilindros, cubos, esferas— y moviéndolas a diferentes puntos de una mesa. Aprende a alcanzar, agarrar, levantar y girar estos objetos sin ningún objetivo específico más allá de moverlos con éxito. Esta fase construye una comprensión profunda e intuitiva de cómo se comportan los objetos y cómo deben moverse los dedos del propio robot para controlarlos. Una vez establecida esta base, los investigadores introducen una tarea nueva y específica, como insertar un perno en un agujero o colocar un plato en un escurridor de platos. En lugar de empezar de nuevo, el robot utiliza su experiencia previa como guía. Los investigadores descubrieron que este método permite al robot saltarse la fase inicial de aprendizaje torpe y aplicar inmediatamente sus habilidades generales al nuevo desafío específico.
El poder de este enfoque queda claro cuando el robot se enfrenta a una tarea que nunca ha visto. En sus experimentos, los investigadores probaron el sistema en dos brazos robóticos equipados con manos de múltiples dedos: uno con veintitrés articulaciones móviles y otro con veintinueve. Entrenaron a los robots en una simulación de alta fidelidad donde podían ejecutar miles de ensayos simultáneamente. Primero, los robots aprendieron a reposicionar una variedad de formas simples. Cuando los investigadores pidieron entonces a los robots que realizaran una tarea difícil —insertar un perno en una tabla, un desafío que requiere una alineación precisa y el manejo de fuerzas de contacto—, los robots no empezaron de cero. Reconocieron inmediatamente la necesidad de alcanzar, agarrar y levantar el perno, habilidades que ya habían dominado. La única parte que tenían que aprender era la inserción final y delicada.
Sin embargo, el simple hecho de tomar un robot entrenado para una tarea y pedirle que haga otra suele provocar que olvide lo aprendido. Los investigadores descubrieron que, si intentaban ajustar directamente el comportamiento del robot, las nuevas instrucciones sobrescribían las habilidades anteriores, haciendo que el robot perdiera la capacidad de agarrar o levantar correctamente. Para resolver esto, desarrollaron una receta de entrenamiento cuidadosa. Primero, utilizaron una técnica para empujar suavemente el nuevo comportamiento del robot para que se pareciera al comportamiento anterior y exitoso, asegurando que las habilidades centrales permanecieran intactas. Luego, ajustaron lentamente la comprensión del robot sobre lo que constituye un movimiento "bueno" para la nueva tarea, permitiéndole adaptarse sin perder el equilibrio. Finalmente, entrenaron una segunda versión más simple del robot que podía confiar únicamente en lo que veía a través de cámaras y lo que sentía a través de sus dedos, eliminando los datos internos que el robot utilizaba durante el entrenamiento. Este robot "estudiante" fue entonces enviado al mundo real.
Los resultados fueron sorprendentes. En el mundo real, estos robots podían recoger un perno, reorientarlo en su mano e insertarlo en un agujero, todo ello basándose únicamente en la retroalimentación visual y táctil. Podían manejar un perno con forma de estrella simétrica y un perno cuadrado y redondo mucho más difícil, que requiere una orientación precisa para encajar. El sistema también aprendió a agarrar un plato plano, darle la vuelta y colocarlo en un escurridor de platos, una secuencia de acciones que el entrenamiento inicial nunca había mostrado explícitamente. Los robots realizaban estas tareas en cinco a diez segundos, una velocidad comparable a la de un humano, mientras que los métodos anteriores que utilizaban pinzas más simples y soportes externos tardaban entre veinte y setenta segundos.
Crucialmente, los investigadores descubrieron que los robots desarrollaron formas de sujetar objetos naturales, similares a las humanas. Sin que se les indicara cómo sujetar el perno, los robots aprendieron a envolverlo con sus dedos en un agarre estable de múltiples puntos, de forma muy parecida a una mano humana. Los robots entrenados sin la fase inicial de reposicionamiento, por el contrario, solían desarrollar formas de sujeción torpes e inestables que funcionaban por un momento pero fallaban bajo presión. El estudio sugiere que, al dotar primero al robot de una experiencia amplia y general con la física de los objetos, este puede aprender nuevas habilidades específicas de forma mucho más rápida y fiable que intentando aprenderlo todo a la vez. Este enfoque no solo hace que los robots sean más rápidos; los hace más robustos, capaces de manejar la naturaleza impredecible del mundo real con un nivel de destreza que antes era inalcanzable.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.