Decoupling Policy Extraction for Offline Reinforcement Learning

Imagina a un estudiante intentando aprender a conducir un coche, pero en lugar de sentarse tras el volante y sentir la carretera, se le obliga a estudiar únicamente un vídeo estático de un conductor perfecto. No puede cometer errores, no puede probar nuevos giros y no puede recibir retroalimentación del mundo real. Este es el desafío del aprendizaje por refuerzo fuera de línea (offline reinforcement learning), un campo donde la inteligencia artificial aprende a tomar decisiones utilizando únicamente una colección fija de datos pasados. En este entorno, la computadora debe descubrir cómo actuar mejor que los ejemplos que ha visto, sin poder probar esas nuevas ideas en la realidad. La forma tradicional de enseñar a estos sistemas implica dos partes trabajando en un bucle estrecho: una parte aprende qué acciones son buenas y la otra aprende cómo realizarlas. La primera parte guía constantemente a la segunda, diciéndole que intente acciones que parezcan valiosas. Sin embargo, debido a que los datos están congelados en el tiempo, esta guía puede volverse peligrosa. Si la parte de "qué es bueno" comete un error y sobreestima un movimiento arriesgado, la parte de "cómo realizarlo" intentará hacerlo, reforzando el error y alejándose cada vez más de un comportamiento seguro y probado.

Un equipo de investigadores de Simplexity Robotics y el Instituto Politécnico de Rensselaer ha propuesto una forma diferente de resolver este problema, sugiriendo que estas dos partes deberían dejar de hablar entre sí durante la fase de aprendizaje. En su nuevo enfoque, separan completamente la tarea de aprender de los datos de la tarea de elegir la mejor acción. Primero, entrenan un modelo dedicado exclusivamente a imitar el comportamiento encontrado en el conjunto de datos, actuando como un copista perfecto que nunca intenta mejorar o adivinar nuevas estrategias. Este modelo genera una lista de varias acciones posibles que se sabe que son seguras y están respaldadas por los datos. Luego, un sistema separado, entrenado independientemente para juzgar el valor, observa esta lista y elige la mejor opción para ejecutarla. Al romper el bucle de retroalimentación que suele conectar a ambos, los investigadores descubrieron que podían evitar la trampa de amplificar los errores. Sus experimentos en treinta tareas complejas diferentes, que van desde navegar por laberintos virtuales hasta manipular brazos robóticos, demostraron que este método separado superó consistentemente a los enfoques tradicionales estrechamente acoplados. En algunos casos, la tasa de éxito saltó de menos de la mitad a casi el setenta por ciento, demostiendo que, a veces, la mejor manera de mejorar es dejar de intentar mejorar al aprendiz mientras todavía está estudiando.

El núcleo del problema que los investigadores identificaron reside en cómo los sistemas de inteligencia artificial estándar aprenden de datos fijos. En una configuración típica, el sistema tiene un "crítico" que estima el valor de las acciones y un "actor" que aprende a realizarlas. El crítico le dice al actor qué movimientos son buenos, y el actor intenta hacerlos. En un escenario del mundo real donde el robot puede seguir interactando con el entorno, esto funciona bien porque si el crítico comete un error, los nuevos intentos del actor generan datos frescos que corrigen el error. Pero en el aprendizaje fuera de línea, el conjunto de datos está bloqueado. Si el crítico cree erróneamente que una acción peligrosa es valiosa, el actor intentará hacerla y, como no llegan nuevos datos para corregir al crítico, el error empeora. El actor se desvía hacia regiones del espacio de acción que los datos nunca cubrieron, un fenómeno que los investigadores llaman un bucle de amplificación fuera de la distribución (out-of-distribution amplification loop). Para prevenir esto, los métodos existentes a menudo intentan forzar al actor a permanecer cerca de los datos originales, pero esto crea un dilema difícil: si se restringe demasiado al actor, este no puede encontrar los mejores movimientos posibles incluso dentro de los datos seguros; si se le deja ir demasiado lejos, cae en el bucle de error.

Para resolver esto, los investigadores desacoplaron el proceso. Entrenaron al actor para hacer una sola cosa: modelar la distribución de las acciones encontradas en el conjunto de datos. No permitieron que el crítico influyera en el entrenamiento del actor en absoluto. Una vez que este modelo "propositor" fue entrenado, fue congelado, lo que significa que nunca volvería a cambiar. En el momento en que el robot necesitaba tomar una decisión, el propositor generaba un pequeño conjunto de acciones candidatas, todas ellas fundamentadas en los datos seguros y observados. Un crítico separado, que había sido entrenado independientemente para juzgar el valor, observaría entonces esta lista específica y elegiría la opción con la puntuación más alta. Esto trasladó el trabajo de mejora de la fase de entrenamiento al momento de la decisión. En lugar de intentar retocar el cerebro del actor para que sea mejor, el sistema simplemente generaba algunas opciones seguras y dejaba que un juez eligiera al ganador. Este enfoque significó que el crítico ya no tenía que preocuparse de que el actor se desviara hacia territorio peligroso, porque al actor nunca se le permitió desviarse en primer lugar. El crítico solo tenía que clasificar las opciones seguras proporcionadas por el propositor congelado.

Los resultados de este experimento fueron impactantes. Los investigadores probaron su método en treinta tareas que implicaban comportamientos orientados a objetivos, como guiar a una hormiga robótica para navegar por un gran laberinto o a un robot humanoide para moverse a través de un entorno complejo. Compararon su método desacoplado con las técnicas estándar que mantienen al actor y al crítico vinculados. En una tarea de navegación llamada AntMaze-Large, el método tradicional que utiliza un tipo específico de aprendiz de valor logró una tasa de éxito de aproximadamente el treinta y uno por ciento. Cuando los investigadores aplicaron su enfoque desacoplado con el mismo aprendiz de valor, la tasa de éxito aumentó al cuarenta y nueve por ciento. En una tarea de manipulación que involucraba un cubo, la mejora fue aún más dramática, con el método desacoplado alcanzando una tasa de éxito del setenta y nueve por ciento frente al veintiuno por ciento del enfoque tradicional. Quizás lo más sorprendente fue que los investigadores descubrieron que un sistema de aprendizaje de valor muy simple y básico, que suele tener dificultades en entornos fuera de línea, se volvió altamente efectivo cuando se combinaba con este proceso de selección desacoplado. En una tarea de resolución de acertijos, un aprendiz de valor simple combinado con su método logró una tasa de éxito del cien por ciento, superando ampliamente a los sistemas estándar más complejos.

El estudio también reveló por qué esta separación funciona tan bien al examinar qué sucede cuando se le permite al sistema observar más opciones. Los investigadores descubrieron que el hecho de que el propositor generara unos pocos candidatos, en lugar de solo uno, permitía al sistema explorar la región segura de los datos de manera más exhaustiva. Sin embargo, había un límite. Si el sistema generaba demasiados candidatos, la posibilidad de incluir una acción riesgosa y fuera de la distribución aumentaba, y el sistema de valoración podría elegirla por error. El equilibrio óptimo se encontró ajustando el número de candidatos, un único parámetro que podía ajustarse sin tener que reentrenar todo el sistema. Esta flexibilidad es una ventaja significativa sobre los métodos tradicionales, que a menudo requieren un reentrenamiento costoso para corregir el equilibrio entre seguridad y rendimiento. Los investigadores señalaron que este enfoque es particularmente prometedor para sistemas robóticos a gran escala, donde reentrenar un modelo masivo es computacionalmente costoso. Al mantener el modelo principal congelado y utilizar únicamente un sistema de valoración ligero para tomar la decisión final, el método ofrece un camino computacionalmente eficiente para lograr un mejor rendimiento.

Los investigadores reconocen que este método tiene un límite: el sistema solo puede elegir entre las acciones que el propositor congelado puede generar. Si la mejor acción posible no fue vista en los datos originales, el sistema no puede inventarla. Sin embargo, dentro de los límites de lo que es posible, el enfoque desacoplado encontró consistentemente mejores soluciones que los métodos tradicionales acoplados. El trabajo sugiere que la creencia largamente sostenida de que el aprendizaje y la mejora deben ocurrir simultáneamente en un solo bucle puede no ser necesaria, o incluso deseable, cuando se aprende de datos estáticos. Al separar la generación de opciones seguras de la selección de la mejor, los investigadores han proporcionado un camino más claro y estable para que la inteligencia artificial aprenda del pasado sin quedar atrapada por sus propios errores. Los hallazgos indican que, para el aprendizaje fuera de línea, la estrategia más efectiva puede ser dejar de intentar enseñar al actor a ser ingenioso durante el entrenamiento, y en su lugar, dejar que simplemente recuerde el pasado, dejando el trabajo de mejora a un ojo crítico y separado en el momento de la acción.