🤖 AI

LaGO: Latent Action Guidance for Online Reinforcement Learning

El artículo propone LaGO, un marco que aprovecha los modelos de lenguaje extensos preentrenados como prioris de acción latente para guiar suavemente el aprendizaje por refuerzo en línea, demostrando mejoras significativas en las tasas de éxito y recompensas tanto en entornos de control discreto como continuo en comparación con el PPO estándar.

Autores originales: Kuan-Yen Liu, Ren-Jyun Huang, Ti-Rong Wu

Publicado 2026-06-24

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kuan-Yen Liu, Ren-Jyun Huang, Ti-Rong Wu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot cómo navegar por un laberinto complejo o cómo recoger un objeto específico. Tienes dos herramientas principales: un experto brillante pero torpe (un Modelo de Lenguaje Extenso, o LLM) y un aprendiz obstinado pero rápido (un agente de Aprendizaje por Refuerzo).

Durante mucho tiempo, los investigadores intentaron que el "experto torpe" condujera el robot directamente. Le pedían al experto que dijera exactamente qué botón presionar o en qué dirección moverse. El problema era que el experto es excelente hablando y planificando, pero pésimo dando instrucciones precisas de milisegundos. Si el experto comete un error minúsculo, el robot choca y toda la misión falla.

LaGO (Guía de Acción Latente) es un nuevo marco de trabajo que cambia esta dinámica. En lugar de dejar que el experto conduzca el coche, LaGO permite que el experto se siente en el asiento del pasajero y le susurre direcciones al conductor.

Así es como funciona, desglosado en pasos sencillos:

1. La Configuración: Dos Etapas

El artículo describe un proceso de dos pasos para que el robot aprenda de manera efectiva.

Etapa 1: La "Sesión de Estudio" (Fuera de línea / Offline)
Primero, el sistema toma a un "experto torpe" (un IA preentrenada como Llama) y le muestra una serie de videos de humanos realizando la tarea con éxito (demostraciones de expertos). No le pide al experto que conduzca todavía. En su lugar, le enseña al experto a reconocer patrones. Es como mostrarle a un gran maestro de ajedrez mil partidas de ajedza y pedirle que comprenda la vibra de un buen movimiento, en lugar de obligarlo a jugar una partida perfecta de inmediato. El experto aprende un "sentimiento intuitivo" o un prior latente sobre qué acciones suelen funcionar.
Etapa 2: La "Lección de Conducción" (En línea / Online)
Ahora, comienza el verdadero aprendizaje. Un robot separado, de aprendizaje rápido (la política de RL), comienza a interactuar con el mundo real. Intenta cosas, falla, recibe recompensas y aprende.
- El Giro: Mientras el robot aprende, el "experto torpe" sigue allí sentado. Pero en lugar de gritar órdenes, le da suaves empujoncitos. Dice: "Oye, basándome en lo que he visto, probablemente querrás moverte de esta manera".
- El robot escucha este empujoncito, pero no está obligado a obedecer. Si el robot intenta un nuevo movimiento y obtiene una gran recompensa, ignora el empujoncito y sigue adelante. Si el robot está perdido, el empujoncito le ayuda a encontrar un mejor camino.

2. La Analogía: El GPS vs. El Copiloto

Pensar en la forma antigua (usar LLMs como controladores directos) como intentar conducir un coche usando un GPS que da instrucciones exactas y rígidas como "Gire a la izquierda en 3.42 pulgadas". Si el GPS se desvía un poco, chocas contra un árbol.

LaGO es como tener un copiloto con conocimientos. El copiloto no agarra el volante. En su lugar, dice: "Creo que hay un atajo por allá" o "Ese camino parece peligroso".

Si el copiloto tiene razón, tomas el atajo y llegas más rápido.
Si el copiloto se equivoca, lo ignoras y sigues conduciendo a tu manera.
El resultado: Obtienes el beneficio de su experiencia sin el riesgo de que tome el control y choque el coche.

3. Los Resultados: ¿Funciona?

Los investigadores probaron esto en dos "laberintos" diferentes:

CLEVR-Robot: Un juego donde un robot mueve bolas sobre una cuadrícula (pasos discretos).
Meta-World: Una simulación compleja donde un brazo robótico tiene que abrir puertas, presionar botones y recoger objetos (movimientos continuos y fluidos).

El Resultado:
En ambos casos, los robots que usaron LaGO aprendieron mucho mejor que los robots que aprendieron solos.

En el juego de mover bolas, la tasa de éxito saltó del 15% al 27%.
En el complejo juego del brazo robótico, la tasa de éxito se disparó del 2.7% al 15.2%.

Esto es algo enorme porque el "experto torpe" no era perfecto. De hecho, si simplemente dejaban que el experto condujera el robot directamente, habría fallado estrepitosamente. Pero al usar al experto como una guía suave, el robot aprendió a tener éxito con mucha más frecuencia.

4. El Ingrediente Secreto: Un Experto Más Inteligente

El artículo también descubrió que la calidad del "experto torpe" importa.

Cuando usaron una IA más pequeña y débil como guía, el robot no aprendió tan bien.
Cuando usaron una IA más grande y lista (Llama 2 7B vs. TinyLlama), la guía fue mucho mejor y el robot aprendió incluso más rápido.

Esto sugiere que a medida que los modelos de IA se vuelvan más inteligentes en el futuro, se convertirán automáticamente en mejores "copilotos" para los robots, incluso si no son conductores perfectos por sí mismos.

Resumen

LaGO es una forma ingeniosa de utilizar el vasto conocimiento de los grandes modelos de IA para ayudar a los robots a aprender, sin obligar a esos modelos a realizar el trabajo preciso y difícil de controlar al robot. Convierte a una IA de "sabelotodo pero torpe" en un guía útil que acelera el aprendizaje y ayuda al robot a tener éxito con más frecuencia.

Resumen Técnico: LaGO – Guía de Acción Latente para el Aprendizaje por Refuerzo en Línea

Planteamiento del Problema
Si bien los Modelos de Lenguaje de Gran Escala (LLMs) han demostrado un potencial significativo en la planificación y la toma de decisiones secuenciales, los enfoques existentes suelen depender de su uso como controladores directos, planificadores explícitos de alto nivel o simuladores de modelos de mundo. Estos métodos requieren que los LLMs generen acciones precisas, planes detallados o trayectorias futuras exactas. Sin embargo, este requisito suele ser excesivamente exigente en la práctica; las capacidades de los LLMs varían significamente e incluso los pequeños errores de predicción pueden acumularse con el tiempo, lo que conduce a un desempeño de control deficiente en entornos de aprendizaje por refuerzo (RL) que demandan una ejecución y un razonamiento de largo horizonte precisos. En consecuencia, confiar directamente en un LLM como el controlador principal sigue siendo poco fiable, particularmente en entornos vectorizados donde las observaciones y las acciones no están representadas naturalmente en forma de lenguaje o visual.

Metodología
Para abordar estos desafíos, los autores proponen LaGO (Latent Action Guidance for Online Reinforcement Learning), un marco de dos etapas que utiliza un LLM preentrenado no como un controlador explícito, sino como una fuente de guía "suave" mediante prioris de acción latente.

Etapa 1: Aprendizaje de Prior Offline
El marco comienza entrenando una priori de política latente a partir de un conjunto de datos experto offline ( $D$ ). Se utiliza un esqueleto de LLM preentrenado ( $F_\phi$ ), donde las secuencias de estado-acción no textuales de las demostraciones se convierten en representaciones latentes mediante módulos de proyección aprendibles ( $E_s$ y $E_a$ ). Estos embeddings, combinados con una descripción textual de la tarea ( $x$ ), se introducen en el LLM. Un cabezal de acción recién añadido ( $G_\theta$ ) se entrena mediante ajuste fino supervisado para predecir la siguiente acción ( $a_{t+1}$ ) dado el prefijo de la trayectoria ( $\tau_t$ ) y la descripción de la tarea. El objetivo es minimizar la log-verosimilitud negativa de los datos expertos, creando una priori de política latente $\pi_K(a_{t+1} | x, \tau_t)$ que captura una priori conductual gruesa en lugar de un controlador óptimo.
Etapa 2: RL Online con Guía Latente
En la segunda etapa, la priori latente entrenada $\pi_K$ se congela y se utiliza para guiar una política de RL online $\pi_\psi(a|s)$ (por ejemplo, PPO o SAC). El agente de RL interactúa con el entorno para recolectar rollouts, pero la optimización de la política se regulariza hacia la priori latente. La pérdida total de entrenamiento se define como:
$L_{online} = L_{PG} + \beta L_{prior}$
donde $L_{PG}$ es el objetivo estándar de gradiente de política y $\beta$ controla la influencia de la priori.
- Para espacios de acción discretos, la pérdida de la priori es la log-verosimilitud negativa de la acción predicha por la priori.
- Para espacios de acción continuos, la pérdida de la priori se implementa como un término de entropía cruzada entre la distribución de la priori y la política actual, lo que sirve como una señal de optimización equivalente a la regularización de divergencia KL (hasta la entropía de la priori fija).

Este diseño permite que la política de RL se beneficie del conocimiento estructural codificado en el LLM sin requerir que el LLM tome decisiones exactas durante la interacción.

Contribuciones Clave

Marco Novedoso: LaGO introduce un método para aprovechar el conocimiento de los LLM preentrenados como una priori conductual latente para el RL online, relajando los estrictos requisitos de precisión de usar los LLMs como controladores directos.
Arquitectura de Dos Etapas: La separación del aprendizaje de la priori offline (vía ajuste fino supervisado sobre datos expertos) y la optimización de la política online (vía regularización) permite al sistema utilizar el conocimiento del LLM incluso cuando la priori no es lo suficientemente precisa para actuar como un agente independiente.
Generalización: El marco está diseñado para funcionar en dominios de control tanto discretos como continuos mediante la adaptación del término de regularización de la priori al espacio de acción específico.

Resultados Experimentales
Los autores evaluaron LaGO en dos benchmarks: CLEVR-Robot (control discreto) y Meta-World (control continuo). Los experimentos compararon LaGO contra "Vanilla PPO" a través de cuatro categorías de tareas: Real, Rephrase, Easy y Hard.

Ganancias de Desempeño: LaGO superó consistentemente a Vanilla PPO tanto en recompensa como en tasa de éxito.
- En CLEVR-Robot, la tasa de éxito promedio aumentó del 15.1% al 27.2%.
- En Meta-World, la tasa de éxito promedio aumentó del 2.7% al 15.2%.
Generalización: Se observaron mejoras en todas las categorías de tareas, incluyendo tareas no vistas de tipo "Easy" y "Hard", lo que sugiere que la priori proporciona una guía generalizable en lugar de una mera memorización.
Impacto de la Calidad del LLM: Un estudio de ablación que comparó una priori de Llama-2-7B contra una de TinyLlama-1.1B en Meta-World demostró que los modelos preentrenados más fuertes producen prioris latentes más efectivas. LaGO con Llama-2-7B alcanzó consistentemente el mayor desempeño, mientras que la priori de TinyLlama a veces tuvo un desempeño inferior a Vanilla PPO, resaltando la importancia de la calidad del modelo fundacional.

Significancia y Reivindicaciones
El artículo afirma que LaGO proporciona un marco simple y práctico para integrar el conocimiento de los LLM preentrenados en el aprendizaje por refuerzo. La principal significancia radica en demostrar que los LLM pueden mejorar la toma de decisiones y la planificación online incluso cuando no son lo suficientemente precisos para servir como controladores directos. Al tratar al LLM como una fuente de guía latente suave en lugar de un planificador explícito, el marco mitiga los riesgos de acumulación de errores mientras capitaliza los ricos sesgos inductivos y el conocimiento del mundo adquiridos durante el preentrenamiento.

Los autores concluyen que el conocimiento y las capacidades de generalización codificados en los LLM preentrenados pueden servir como prioris fuertes para la planificación y el RL. Además, sugieren que a medida que los modelos fundacionales mejoren, la efectividad de esta guía aumentará naturalmente, ofreciendo un camino escalable para aprovechar los LLM en tareas de decisión complejas sin requerir la generación de acciones precisas durante la interacción.