DIA: Denoising Intermediate Advantage for Diffusion Policy Optimization

Los robots capaces de manipular objetos con una destreza similar a la humana han sido durante mucho tiempo un objetivo de la inteligencia artificial, pero enseñarles a hacerlo es un delicado acto de equilibrio. Durante años, el método más eficaz ha sido el "clonación de comportamiento" (behavior cloning), donde un robot aprende observando vídeos de humanos realizando tareas y luego imitando esos movimientos. Este enfoque ha dado lugar a una nueva y poderosa clase de controladores robóticos basados en una tecnología llamada difusión. Al igual que un escultor podría comenzar con un bloque de piedra rugoso e ir tallando gradualmente el material para revelar una estatua, estos modelos de difusión comienzan con ruido aleatorio y lo refinan lentamente hasta convertirlo en una secuencia precisa de acciones. Si bien este método es excelente para capturar la variedad y el matiz de las demostraciones humanas, tiene una limitación fundamental: el robot está estrictamente limitado por la calidad y variedad de los datos que se le mostraron. Si los vídeos de entrenamiento nunca mostraron a un robot resolviendo un problema de una forma nueva, es probable que el robot falle cuando se enfrente a ese problema en el mundo real. Para superar esto, los investigadores han comenzado a combinar estos modelos de difusión con el aprendizaje por refuerzo (reinforcement learning), una técnica en la que un agente aprende mediante ensayo y error, recibiendo recompensas por los buenos resultados y penalizaciones por los errores. El desafío, sin embargo, es que los modelos de difusión no toman una decisión de una sola vez; generan una acción a través de un largo proceso de refinamiento paso a paso. Determinar exactamente qué paso en esa larga cadena fue responsable del éxito o del fracaso ha resultado ser un rompecabezas difícil para los métodos existentes.

Un equipo de investigadores de la Universidad de Toronto y del Vector Institute ha propuesto una nueva solución a este problema llamada Denoising Intermediate Advantage, o DIA. Su trabajo aborda un fallo específico en la forma en que los sistemas actuales otorgan crédito al proceso de aprendizaje de un robot. En los enfoques estándar, cuando un robot completa con éxito una tarea tras una larga secuencia de pasos de refinamiento, el sistema asigna la misma cantidad de crédito a cada uno de los pasos de esa secuencia. Es como si un equipo de pintores estuviera trabajando conjuntamente para terminar un mural, y el gerente elogiara cada pincelada por igual, independientemente de si una pincelada particular era un detalle menor o la línea crucial que definía toda la imagen. Los investigadores argumentan que esto es ineficiente porque los pasos intermedios en el proceso de generación contienen información valiosa sobre hacia dónde se dirige el robot. Al tratar toda la cadena de refinamiento como un único bloque, los métodos anteriores perdieron la oportunidad de aprender de las decisiones específicas tomadas en cada etapa del proceso.

Para solucionar esto, el método DIA introduce una forma de evaluar el progreso del robot en cada uno de los pasos del proceso de refinamiento, no solo al final. El sistema aprende a predecir el valor de la acción que se está formando a medida que toma forma, paso a paso. Esto permite que el robot comprenda que algunas decisiones intermedias son más críticas para el resultado final que otras. En lugar de esperar hasta el final para ver si la tarea se completó, el sistema proporciona retroalimentación durante todo el proceso de generación, guiando al robot para que tome mejores decisiones desde el principio. Esto crea una señal de aprendizaje más matizada que ayuda al robot a distinguir entre un éxito por suerte y una estrategia bien ejecutada. Los investigadores probaron este enfoque en cuatro conjuntos diferentes de tareas robóticas, que van desde la manipulación simple de objetos hasta complejos trabajos de ensamblaje de múltiples pasos que requieren que un robot mueva sus brazos de forma coordinada durante un largo periodo.

Los resultados de estas pruebas fueron consistentes y significativos. En un conjunto estándar de evaluaciones conocido como Robomimic, que incluye tareas como levantar objetos, mover latas y dibujar cuadrados, el método DIA superó consistentemente a las técnicas existentes. En la tarea más difícil, un desafío de transporte bimanual donde un robot debe mover un objeto utilizando dos brazos, el nuevo método logró una puntuación de recompensa un 23 por ciento mayor que el mejor enfoque anterior, manteniendo la misma alta tasa de éxito. Esta mejora no se trató solo de completar el trabajo con más frecuencia; se trató de hacerlo mejor. Los robots entrenados con DIA alcanzaron el estado de éxito más rápidamente, realizando menos pasos para completar la tarea. En una prueba específica, el tiempo que le tomó al robot tener éxito se redujo en un 21 por ciento. Esto sugiere que el robot no estaba simplemente tropezando con una solución, sino que estaba aprendiendo un camino más eficiente hacia la meta.

El poder de este método se hizo aún más evidente cuando los investigadores lo probaron en tareas donde los datos de entrenamiento eran incompletos o carecían de la solución completa. En una simulación de cocina donde un robot tenía que realizar una secuencia de subtareas como encender una estufa o abrir un gabinete, los datos de entrenamiento estándar a menudo mostraban solo partes de la secuencia completa. Los métodos anteriores tuvieron dificultades aquí, quedando a menudo atrapados en bucles o repitiendo acciones irrelevantes porque dependían demasiado de los patrones exactos vistos en los vídeos de entrenamiento. El método DIA, sin embargo, fue capaz de recombinar las demostraciones parciales que había visto para crear secuencias de acciones completamente nuevas y exitosas. En la versión más desafiante de esta prueba, donde ninguna demostración individual mostraba la tarea completa, los métodos de referencia fallaron por completo, logrando un cero por ciento de éxito. El método DIA, por el contrario, tuvo éxito el 69 por ciento de las veces. Logró unir los pasos necesarios para completar la tarea, aprendiendo efectivamente una estrategia que no estaba explícitamente presente en ninguno de los ejemplos de entrenamiento originales.

Estos hallazgos sugieren que, al prestar atención a los pasos intermedios de la toma de decisiones, los robots pueden romper las limitaciones de sus datos de entrenamiento. El método les permite explorar nuevas estrategias y descubrir formas más eficientes de resolver problemas, en lugar de simplemente copiar lo que han visto antes. Aunque los experimentos se realizaron en simulación, los resultados apuntan hacia un futuro donde los robots puedan adaptarse de manera más flexible a entornos complejos del mundo real. Los investigadores señalan que el siguiente paso será probar estas ideas en robots físicos, una transición que requerirá superar los desafíos prácticos de la recolección de datos en el mundo real. Por ahora, el trabajo demuestra que dar crédito a los momentos adecuados en el proceso de pensamiento de un robot puede conducir a máquinas significativamente más inteligentes y capaces.