Residual Reward Models: Leveraging Prior Knowledge for Efficient Preference-based Reinforcement Learning in Robotics

Enseñar a un robot a realizar una tarea física compleja, como presionar un botón o recoger un objeto delicado, es un rompecabezas difícil para los ingenieros. En el mundo de la robótica, la máquina necesita un conjunto de instrucciones que le indiquen qué está haciendo bien y qué está haciendo mal. Este conjunto de instrucciones se llama función de recompensa. Si las instrucciones son vagas o incorrectas, el robot podría aprender a eludir el sistema, encontrando una forma de obtener una puntuación alta sin completar realmente la tarea, o simplemente podría rendirse porque no logra comprender qué se espera de él. Tradicionalmente, los humanos tienen que escribir estas instrucciones a mano, adivinando qué movimientos conducirán al éxito. Este proceso es lento, costoso y a menudo falla cuando el robot se encuentra con una situación que el humano no anticipó.

Un enfoque más nuevo, conocido como aprendizaje basado en preferencias, intenta resolver esto permitiendo que los humanos simplemente digan qué movimiento de robot parece mejor, en lugar de escribir reglas complejas. Aunque esto suena más sencillo, crea un nuevo problema: el robot necesita ver miles de estas comparaciones para aprender algo útil. En un entorno del mundo real, pedirle a un humano que observe y juzgue un robot tantas veces es poco práctico y costoso. El robot aprende demasiado lento, y el costo de la atención humana se convierte en un cuello de botella que impide que estas máquinas sean útiles fuera de un laboratorio controlado.

Investigadores de la Universidad de Toronto y la Universidad de Tsinghua han desarrollado un método para acelerar este proceso significamente. Llaman a su enfoque el Modelo de Recompensa Residual. En lugar de empezar desde cero y pedirle a un humano que enseñe al robot todo desde la nada, este método permite que el robot comience con una "mejor suposición" sobre cómo debe realizarse la tarea. Esta suposición puede provenir de una regla simple escrita por un ingeniero, una descripción generada por un modelo de lenguaje extenso, o incluso una función de recompensa aprendida al observar a un humano realizar la tarea una vez. El robot utiliza entonces esta suposición inicial como base. Cuando un humano proporciona una preferencia, diciendo "este movimiento fue mejor que aquel", el robot no intenta reescribir todo el libro de reglas. En cambio, aprende solo la pequeña diferencia, o el "residuo", necesario para corregir la suposición inicial.

Piense en ello como un estudiante que ya conoce las reglas básicas de un deporte pero necesita un entrenador que señale los matices específicos de su técnica. El estudiante no necesita reaprender cómo correr o lanzar; solo necesita ajustar ligeramente su forma para coincidir con la retroalimentación del entrenador. De la misma manera, el robot utiliza la retroalimentación del humano para realizar ajustes pequeños y precisos en su comprensión previa de la tarea. Esta estructura mantiene el proceso de aprendizaje estable. Si la suposición inicial es imperfecta, el robot aún puede aprender porque solo tiene que corregir los errores en lugar de descubrir el concepto completo desde la nada.

Los investigadores probaron esta idea en una variedad de entornos simulados, incluyendo tareas donde un brazo robótico tenía que presionar botones, barrer objetos hacia un contenedor o abrir puertas. También probaron en un robot físico real, un brazo Franka Panda, en un entorno de laboratorio. En cada caso, el método que utilizó la "mejor suposición" más las pequeñas correcciones aprendidas fue mucho más rápido que los métodos que intentaban aprender todo a partir de las preferencias humanas por sí solos. En las simulaciones, el robot que utilizó este nuevo método alcanzó una tasa de éxito perfecta en muchas tareas mientras requería mucha menos juicios humanos. Por ejemplo, en una tarea donde un robot tenía que presionar un botón, un método estándar que intentaba aprender desde cero se estancó en una tasa de éxito del veinte por ciento, mientras que el nuevo método alcanzó el cien por ciento.

El estudio también demostró que este enfoque es robusto frente a los errores. Si la "mejor suposición" inicial era ligeramente errónea, o si la retroalimentación humana era ocasionalmente ruidosa o inconsistente, el robot aún podía aprender el comportamiento correcto. La suposición inicial actuó como una red de seguridad, evitando que el robot vagara hacia comportamientos inútiles, mientras que las correcciones aseguraron que eventualmente encontrara el camino correcto. Esto fue particularmente importante cuando los investigadores probaron el sistema con una retroalimentación humana muy limitada. Incluso cuando se le pidió al humano que proporcionara solo un número minúsculo de juicios, el robot que utilizaba el método residual continuó mejorando, mientras que el método estándar no logró aprender nada útil.

Quizás lo más importante es que los investigadores demostraron que este aprendizaje puede transferirse directamente de una simulación por computadora a un robot físico real sin necesidad de ajustes adicionales. Entrenaron al robot en un entorno virtual y luego aplicaron la política aprendida a un brazo Franka Panda real para realizar tareas como alcanzar un objeto, empujar un bloque o recoger algo y moverlo. El robot entrenado con el método residual tuvo éxito en estas tareas del mundo real mucho más rápido que el método base. En una tarea difícil que consistía en empujar un objeto, el método estándar logró tener éxito solo la mitad de las veces tras un entrenamiento extensivo, mientras que el nuevo método alcanzó una tasa de éxito del noventa y cinco por ciento con la misma cantidad de tiempo de entrenamiento.

Los hallazgos sugieren que, al combinar el conocimiento previo con la retroalimentación humana, los robots pueden aprender habilidades físicas complejas con mucha menos supervisión humana de la que se creía posible. Esto no significa que el robot lo sepa todo de antemano, sino que utiliza lo que ya sabe como un punto de partida para aprovechar al máximo cada pieza de retroalimentación humana que recibe. Esta eficiencia podría ser un paso clave para hacer que los asistentes robóticos sean prácticos para trabajos del mundo real, donde el tiempo y la atención humana son recursos limitados. El trabajo confirma que darle a un robot una ventaja inicial, incluso una aproximada, permite que aprenda de las preferencias humanas de una manera que es tanto más rápida como más fiable que partir de una hoja en blanco.