🤖 machine learning

Consistent Zero-Shot Imitation with Contrastive Goal Inference

Este artículo introduce el Aprendizaje por Refuerzo Inverso Contrastivo (CIRL), un marco de preentrenamiento autosupervisado que convierte el aprendizaje por refuerzo inverso multitarea en un problema de inferencia de objetivos tratable para permitir que los agentes reproduzcan consistentemente el comportamiento experto en escenarios de imitación de cero disparos sin recompensas ni actualizaciones en tiempo de prueba.

Autores originales: Kathryn Wantlin, Chongyi Zheng, Benjamin Eysenbach

Publicado 2026-06-25

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kathryn Wantlin, Chongyi Zheng, Benjamin Eysenbach

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a realizar una nueva tarea, como apilar bloques o caminar a través de una habitación. Normalmente, tienes que mostrarle al robot exactamente qué hacer paso a paso (imitación) o darle un conjunto estricto de reglas y puntos por hacer las cosas bien (recompensas). Pero, ¿qué pasaría si quisieras que el robot aprendiera por su cuenta, sin que tú le enseñes nada ni le des una tarjeta de puntuación, y que luego, con solo ver un video de un humano realizando la tarea, el robot descubra cómo hacerla perfectamente?

Ese es el desafío que aborda este artículo. Los autores, de la Universidad de Princeton, presentan un nuevo método llamado CIRL (Aprendizaje por Refuerzo Inverso Contrastivo). Así es como funciona, desglosado en conceptos y analogías sencillas.

La Gran Idea: Los "Objetivos" son el Lenguaje Secreto

La idea central del artículo es que casi cualquier tarea compleja puede resumirse en un único estado objetivo.

La Analogía: Piensa en un programa de cocina. No necesitas memorizar cada corte, cada vez que revuelve o cada vez que voltea la comida que hace el chef. Solo necesitas saber el plato final (el objetivo). Si sabes que el objetivo es "una tortilla perfecta", puedes deducir los pasos para llegar allí.
El Problema: La mayoría de las IA intentan adivinar la "receta" (la función de recompensa) directamente, lo cual es como intentar adivinar los pensamientos exactos del chef. Es algo desordenado y a menudo erróneo.
La Solución de CIRL: En lugar de adivinar la receta, CIRL adivina el plato final (el objetivo). Una vez que el robot conoce el objetivo, utiliza una habilidad pre-entrenada para alcanzar ese objetivo.

Cómo Aprende CIRL (La Fase del "Patio de Juegos")

Antes de que el robot vea a un humano, pasa por una fase de "pre-entrenamiento" donde aprende enteramente por su cuenta, sin ayuda humana, sin recompensas y sin demostraciones.

El Explorador Curioso (GoalKDE):
Imagina a un niño en un patio de juegos gigante. Para aprender a moverse, el niño no solo deambula aleatoriamente; busca específicamente lugares que aún no ha visitado. CIRL tiene un mecanismo llamado GoalKDE que actúa como este niño. Observa todos los lugares en los que el robot ha estado y dice: "Has estado aquí un millón de veces, pero nunca has estado allá". Elige un nuevo punto inexplorado como "objetivo" y le dice al robot que intente llegar allí. Esto obliga al robot a explorar todo el entorno y a aprender cómo moverse en todas las direcciones.
El Entrenador del "¿Qué pasaría si...?" (Aprendizaje por Refuerzo Contrastivo):
Mientras el robot explora, aprende un tipo especial de mapa. En lugar de aprender "esta acción me da 10 puntos", aprende un sentido de la distancia. Aprende: "Si estoy aquí y quiero llegar a ese objetivo, ¿qué tan difícil es?". Aprende a distinguir entre estados "fáciles de alcanzar" y estados "difíciles de alcanzar". Esto es crucial porque le ayuda al robot a entender que algunos objetivos son naturalmente más difíciles de lograr que otros.
El Banco de Memoria:
El robot guarda todos estos "viajes" a diferentes objetivos en un banco de memoria. Aprende una política general: "Así es como me muevo para alcanzar cualquier objetivo que se me presente".

La Prueba: La Imitación de "Un Solo Paso"

Ahora, comienza la verdadera prueba. Le muestras al robot un único video de un experto realizando una tarea (por ejemplo, un humano caminando hacia una silla específica). El robot nunca ha visto esta tarea antes y no puede pedir ayuda.

El Detective (Inferencia de Objetivos):
El robot observa el video y se pregunta: "¿A qué intentaba llegar el experto?". Utiliza un modelo estadístico (un modelo de "campo medio", que es como un atajo inteligente) para adivinar el objetivo.

El Truco Inteligente: El artículo demuestra que simplemente mirar dónde terminó el experto no es suficiente. El robot también debe considerar qué tan difícil fue llegar allí. Si el experto tomó un camino muy difícil para alcanzar un punto, es una señal fuerte de que ese punto era el objetivo pretendido. Si tomó un camino fácil, tal vez solo estaba deambulando. CIRL tiene en cuenta esta dificultad, lo que lo convierte en un detective mucho mejor que los métodos anteriores.

La Ejecución:
Una vez que el robot adivina el objetivo (por ejemplo, "El experto quería sentarse en esa silla"), activa sus "habilidades de patio de juegos" pre-entrenadas para alcanzar ese punto específico. No necesita reaprender cómo caminar; simplemente aplica sus habilidades existentes al nuevo objetivo.

Por qué esto es mejor que los métodos antiguos

El artículo compara CIRL con otros métodos (como las representaciones "Forward-Backward" o FB).

El Defecto de los Métodos Antiguos: Imagina un mapa que dice: "El lugar que la gente visita más es el más importante". Si un robot entra en una habitación y se queda atascado porque la puerta está bloqueada, visitará esa habitación muchas veces. Los métodos antiguos podrían pensar: "¡Oh, debió querer quedarse en esa habitación bloqueada!".
La Ventaja de CIRL: CIRL sabe que esa habitación bloqueada era difícil de alcanzar y difícil de permanecer en ella. Se da cuenta de: "No quería estar allí; simplemente estaba atrapado". Al tener en cuenta la dificultad de alcanzar un estado, CIRL infiere correctamente el verdadero objetivo, incluso si el experto tuvo dificultades para llegar allí.

Los Resultados

Los autores probaron esto en varias tareas robóticas, desde mover un brazo robótico hasta empujar objetos y caminar.

El Resultado: CIRL superó consistentemente a otros métodos "zero-shot" (métodos que intentan aprender de un solo ejemplo sin reentrenar).
La Prueba: Demostraron matemáticamente que su método es "consistente", lo que significa que encontrará de manera fiable el objetivo correcto, mientras que otros métodos similares pueden ser engañados por la dificultad de la tarea.

Resumen

En resumen, CIRL es una forma de enseñar a un robot a ser un explorador autosuficiente. Pasa tiempo jugando en un arenero, aprendiendo cómo llegar a cualquier rincón de la habitación por su cuenta. Luego, cuando ve a un humano hacer algo una sola vez, no intenta copiar los movimientos exactos del humano. En su lugar, descubre a dónde intentaba ir el humano y utiliza sus habilidades del arenero para llegar allí. Funciona porque entiende que el hecho de que un lugar sea visitado con frecuencia no significa que fuera el objetivo; a veces, el objetivo es el lugar que fue más difícil de alcanzar.

Resumen Técnico: Imitación Zero-Shot Consistente mediante Inferencia de Metas Contrastiva

Planteamiento del Problema

El artículo aborda el Aprendizaje de Imitación (IL) Zero-Shot, un escenario en el que un agente debe reproducir el comportamiento de un experto a partir de una única demostración sin interacción adicional con el entorno, actualizaciones de gradiente o acceso a funciones de recompensa en el momento de la prueba. Los enfoques actuales suelen depender de la imitación directa de las demostraciones (Behavioral Cloning) o de la inferencia de funciones de recompensa mediante Aprendizaje por Refuerzo Inverso (IRL). Sin embargo, el Behavioral Cloning sufre de desplazamiento de distribución, y los métodos estándar de IRL suelen tener dificultades con la naturaleza subespecificada de la inferencia de recompensas, particularmente al no tener en cuenta la dificultad relativa de alcanzar diferentes estados (la función de partición).

Los autores proponen un marco en el que los agentes se preentrenan puramente mediante interacción autosupervisada (sin demostraciones, sin recompensas, sin datos humanos) para desarrollar una base de conocimiento. El desafío central es permitir que estos agentes infieran la intención de un demostrador a partir de una única trayectoria y ejecuten una política para lograr esa intención sin entrenamiento adicional.

Metodología: Aprendizaje por Refuerzo Inverso Contrastivo (CIRL)

El marco propuesto, Aprendizaje por Refuerzo Inverso Contrastivo (CIRL), replantea el problema de IRL multitarea como un problema de inferencia de metas. Opera sobre la observación de que muchas tareas pueden resumirse mediante un único estado meta. El método consta de tres componentes primarios integrados durante el preentrenamiento:

Aprendizaje por Refuerzo Contrastivo de Máxima Entropía (MaxEnt CRL):
- El agente aprende una política condicionada a la meta utilizando un objetivo autosupervisado.
- Extiende el Aprendizaje por Refuerzo Contrastivo (CRL) al entorno de Máxima Entropía (MaxEnt). En lugar de solo aprender recompensas futuras descontadas, el agente optimiza la suma de las recompensas futuras descontadas y la entropía.
- La función del crítico $f_{\phi,\psi}(s, a, g)$ estima la medida de ocupación de estados descontados utilizando Estimación de Contraste de Ruido (NCE), distinguiendo entre la tupla estado-acción-meta actual y las muestras negativas.
- El actor maximiza un objetivo regularizado por entropía, aprendiendo una función Q suave $\tilde{Q}_g(s, a)$ .
Propuesta Automática de Metas (GoalKDE):
- Para impulsar la exploración sin recompensas externas, el agente emplea GoalKDE, un mecanismo de muestreo de metas automático.
- Ajusta un Estimador de Densidad de Núcleo Gaussiano (KDE) a los estados visitados en el buffer de repetición (replay buffer).
- El agente muestrea metas a partir de los estados con la menor probabilidad bajo el KDE (estados menos visitados), fomentando que el agente explore el espacio de estados de forma autónoma.
Inferencia de Metas Variacional:
- En el momento de la prueba, dada una trayectoria de demostración $\tau$ , el agente debe inferir la meta del experto $\hat{g}$ .
- Los autores demuestran que, bajo MaxEnt IRL con recompensas condicionadas a la meta, inferir la recompensa es equivalente a inferir la meta latente.
- Emplean un modelo variacional de campo medio $q_\xi(g|\tau) = \prod_{t=0}^T q_\xi(g|s_t, a_t)$ para aproximar la distribución posterior de la meta. Este modelo de inferencia amortizada se entrena para maximizar la verosimilitud de la meta dado la trayectoria, aprendiendo efectivamente a "leer" la intención de la demostración.

Contribuciones Teóricas Clave

El artículo proporciona una prueba teórica de consistencia para el método CIRL:

Inferencia de Meta Consistente: Los autores demuestran que CIRL recupera consistentemente la intención del demostrador al contabilizar la dificultad relativa de alcanzar diferentes estados (la función de partición $Z_g$ ).
Inconsistencia de Trabajos Previos: Demuestran que métodos estructuralmente similares, como las representaciones Forward-Backward (FB), son inconsistentes. Los métodos FB infieren recompensas basadas en conteos de visitas de estado sin considerar la función de partición. Los autores proporcionan un contraejemplo (un MDP de 2 estados) que muestra cómo FB puede identificar incorrectamente la política de un demostrador porque no logra distinguir entre un estado que es frecuentemente visitado debido a la facilidad de acceso y un estado que es la verdadera meta difícil de alcanzar.

Resultados Experimentales

Los autores evalúan CIRL en los entornos JaxGCRL y Unsupervised Reinforcement Learning Benchmark (URLB), incluyendo tareas de Reacher, Pusher, Ant y PointMaze.

Rendimiento vs. Baselines: CIRL supera consistentemente a los métodos previos de imitación zero-shot, incluyendo:
- 1-Nearest Neighbor (1-NN): Un baseline ingenuo que copia la acción del estado más cercano en la trayectoria del experto.
- Representaciones Forward-Backward (FB): Un método de vanguardia para RL zero-shot e imitación.
- HILP: Un enfoque de variable latente para preentrenamiento no supervisado.
Estudios de Ablación:
- Preentrenamiento: CIRL con preentrenamiento autosupervisado supera significativamente a los métodos sin este.
- Inferencia de Meta: La aproximación de campo medio para la inferencia de la meta supera universalmente a los modelos que utilizan la trayectoria completa como entrada, ofreciendo mayor eficiencia computacional y rendimiento.
- Exploración: Aunque GoalKDE logra puntuaciones de imitación casi perfectas en algunos entornos (ej. Reacher), la brecha entre GoalKDE y un muestreador de metas "oráculo" se amplía en espacios de mayor dimensión (ej. Ant, PointMaze), lo que sugiere espacio para mejorar las estrategias de exploración en espacios de estados complejos.
Generalización: CIRL imita con éxito políticas entrenadas en tareas estándar de maximización de recompensa (no condicionadas a la meta) al inferir metas relacionadas con la posición 3D y la velocidad del agente, demostrando que la hipótesis del espacio de metas puede capturar estructuras de recompensa complejas.

Significado y Reivindicaciones

El artículo sostiene que las metas sirven como un resumen compacto y expresivo del comportamiento. Al reducir el espacio de hipótesis de las funciones de recompensa al espacio restringido de las recompensas condicionadas a la meta, los autores muestran que:

Eficiencia: La imitación se vuelve más eficiente cuando se proyecta el comportamiento en el espacio restringido de las funciones de recompensa condicionadas a la meta.
Solidez Teórica: El método es teóricamente consistente, infiriendo correctamente la intención donde otros métodos fallan debido a la omisión de la función de partición.
Base Autosupervisada: Es posible construir una base para agentes interactivos a través de la exploración puramente autosupervisada (proponer metas, intentar alcanzarlas y aprender del resultado) sin necesidad de demostraciones humanas o señales de recompensa durante el preentrenamiento.

Los autores concluyen que este bucle de "imaginar y practicar" permite a los agentes aprender políticas transferibles a través de diversas distribuciones de tareas, apoyando una reevaluación de las metas como un mecanismo fundamental para la imitación zero-shot.