💻 computer science

Modularized Reinforcement Learning on LLMs: From MDP Creation to Exploration and Learning

Esta encuesta presenta un marco modularizado para el Aprendizaje por Refuerzo en los LLM al categorizar el diseño de algoritmos en las etapas de creación de MDP, exploración y aprendizaje, revelando un sesgo de investigación significativo hacia los gradientes de política sin crítico y los métodos de Monte Carlo, al tiempo que destaca oportunidades inexploradas en técnicas basadas en valor, fuera de la política (off-policy) y de bootstrapping.

Autores originales: Zhao Yang, Yuxuan Jiang, Ting-Chih Chen, Lincen Yang, Annie Wong, Chao Gao, Jacob E. Kooi, Zhong Li, Jiayang Shi, Kevin Qiu, Qi Huang, Xinrui Zu, Shiping Yang, Hengyuan Zhang, Ngai Wong, Filip Ilievsk

Publicado 2026-06-23

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhao Yang, Yuxuan Jiang, Ting-Chih Chen, Lincen Yang, Annie Wong, Chao Gao, Jacob E. Kooi, Zhong Li, Jiayang Shi, Kevin Qiu, Qi Huang, Xinrui Zu, Shiping Yang, Hengyuan Zhang, Ngai Wong, Filip Ilievski, Shujian Yu, Aske Plaat, Zhaochun Ren, Mark Hoogendoorn, Vincent François-Lavet

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un estudiante brillante pero muy literal (el Modelo de Lenguaje Grande, o LLM) cómo escribir un ensayo perfecto, resolver un problema matemático complejo o escribir código. No puedes simplemente ponerle una nota a cada palabra que escribe mientras avanza. En su lugar, esperas hasta que termine todo y luego dices: "¡Buen trabajo!" o "Inténtalo de nuevo".

Este es el núcleo del desafío del Aprendizaje por Refuerzo (RL) para la IA: ¿Cómo se le enseña a un estudiante cuando la retroalimentación es retardada, dispersa y solo llega al final?

Este artículo es un "mapa" o "encuesta" masiva que organiza las diferentes formas en que los investigadores están tratando de resolver este problema. Los autores argumentan que, si bien todo el mundo está usando algunos métodos populares actualmente (como PPO y GRPO), existe toda una caja de herramientas con otras técnicas del mundo de la robótica y la IA de juegos que aún no se han probado. Ellos desglosan el problema en cuatro etapas principales, como construir una casa:

1. Sentar las bases: Definir el juego (Creación del MDP)

Antes de que la IA pueda aprender, tienes que definir las reglas del juego. El artículo llama a esto crear un "Proceso de Decisión de Markov" (MDP).

La Recompensa (La Nota): Esta es la parte más importante. Si le dices a la IA "sé útil", ¿cómo mides eso?
- La visión del artículo: La mayoría de la gente usa un "Modelo de Recompensa" (una segunda IA entrenada para adivinar qué le gusta a los humanos) o reglas simples (por ejemplo, "¿Funcionó el código?").
- La Trampa: A veces la IA se vuelve "inteligente" de forma errónea. Si la recompensas por escribir respuestas largas, podría simplemente escribir tonterías para obtener una puntuación alta. Esto se llama Reward Hacking (Hackeo de Recompensa). El artículo advierte que si tus reglas no son perfectas, la IA encontrará vacíos legales.
El Estado (El Contexto): La IA necesita saber qué ha escrito ya. Por lo general, esto es el texto hasta el momento. Pero si el texto se vuelve demasiado largo, la IA se siente abrumada. Algunos investigadores están intentando resumir el pasado o esconder partes de él para mantener a la IA enfocada.
La Acción (La Siguiente Palabra): Normalmente, la IA puede elegir cualquier palabra de su diccionario. Algunos investigadores están intentando restringir esto (como forzar a la IA a elegir solo palabras que encajen en una gramática específica) para facilitar el aprendizaje.
El Final (Terminación): ¿Cuándo se detiene la IA? Usualmente, se detiene cuando escribe un token especial de "fin de oración". Pero a veces la IA habla demasiado. El artículo señala que los investigadores están experimentando con formas de decirle a la IA: "Detente cuando hayas terminado", sin simplemente cortarla de golpe.

2. El arte de adivinar: Exploración

La IA comienza sin saber nada. Tiene que probar diferentes cosas para ver qué funciona. Esto se llama Exploración.

Temperatura (El Lanzamiento de Dados): Imagina que la IA está eligiendo una palabra. Si configuras la "temperatura" baja, elige la palabra más segura y obvia. Si la configuras alta, toma decisiones más audaces. Esta es la forma más simple de hacer que la IA intente cosas nuevas.
Entropía (El Bono de "No te aburras"): Para evitar que la IA se quede atrapada en un bucle de decir las mismas palabras seguras, los investigadores añaden un bono por ser "incierto" o diverso. Es como decirle al estudiante: "Te daré puntos extra si intentas un enfoque diferente, incluso si podría fallar".
Curiosidad (Motivación Intrínseca): ¿Qué pasa si la IA recibe una recompensa solo por hacer algo que no ha visto antes? Algunos métodos otorgan a la IA una "puntuación de curiosidad" por intentar nuevos caminos, incluso si aún no obtiene una respuesta perfecta.
Búsqueda en Árbol (El Juego del "¿Qué pasaría si?"): En lugar de escribir solo una frase a la vez, imagina que la IA se ramifica como un árbol. Escribe tres frases diferentes, ve hacia dónde conducen y luego elige el mejor camino. Esto es como un jugador de ajedrez pensando tres movimientos por delante.
Aprendizaje por Currículo (La Escalera): No empieces con una tesis de doctorado. Empieza con un cuento de jardín de niños. Este método enseña a la IA problemas fáciles primero, y luego los hace gradualmente más difíciles, para que no se desanime.

3. El proceso de aprendizaje: Cómo mejora la IA

Una vez que la IA ha probado cosas y recibido retroalimentación, ¿cómo aprende realmente? El artículo categoriza esto en cuatro grandes elecciones:

Model-Free vs. Model-Based (Sin Modelo vs. Basado en Modelo):
- Model-Free: La IA simplemente recuerda "Hice X, obtuve una buena nota. Haré X de nuevo". Aprende mediante ensayo y error. Esto es lo que hace la mayoría de la IA actual.
- Model-Based: La IA intenta construir primero un mapa mental del mundo ("Si digo X, usualmente sucede Y") y luego planea basándose en ese mapa. Esto es más difícil pero puede ser más eficiente.
Value-Based vs. Policy-Based vs. Actor-Critic (Basado en Valor, en Política o Actor-Crítico):
- Policy-Based (Basado en Política): La IA simplemente aprende un conjunto de hábitos (una "política") para obtener buenas notas.
- Value-Based (Basado en Valor): La IA aprende a predecir "¿Qué tan buena es esta situación?" incluso antes de actuar.
- Actor-Critic (Actor-Crítico): Un enfoque de equipo. Una parte (el Actor) decide qué hacer, y una segunda parte (el Crítico) juzga qué tan buena fue esa decisión. El artículo señala que, aunque el "Actor-Crítico" es el estándar de oro en la robótica, la mayoría de los investigadores de IA están usando actualmente métodos "Sin Crítico" porque son más baratos de ejecutar en computadoras masivas.
On-Policy vs. Off-Policy (En la Política vs. Fuera de la Política):
- On-Policy: La IA aprende solo de las cosas exactas que acaba de hacer. Si comete un error, desecha esos datos e intenta de nuevo. Esto es seguro pero un desperdicio.
- Off-Policy: La IA aprende de sus errores y éxitos pasados, incluso si está usando una estrategia ligeramente diferente ahora. Esto es como un estudiante revisando sus antiguos exámenes para aprender de sus errores. El artículo señala que muy pocos investigadores de IA están haciendo esto todavía, a pesar de que es una gran ventaja en otros campos.
Asignación de Crédito (¿Quién se lleva el mérito?):
- Si la IA escribe un ensayo de 100 palabras y obtiene una "A", ¿cuáles 5 palabras fueron las más importantes?
- El Estándar Actual: La mayoría de los métodos simplemente dicen: "¡Buen trabajo en todo el ensayo!" y dan crédito a cada palabra por igual.
- La Brecha: El artículo argumenta que necesitamos mejores formas de determinar exactamente qué palabras llevaron al éxito, especialmente para tareas de razonamiento largas y complejas.

4. El panorama general: ¿Qué falta?

La conclusión principal de los autores es que el campo está desequilibrado.

La Multitud: Casi todo el mundo está usando las mismas pocas herramientas (métodos sin Crítico, asignación de crédito de Monte Carlo). Es como si todos en una ciudad condujeran el mismo modelo de coche por la misma carretera.
Los Terrenos Vacíos: Hay carreteras enormes y bien pavimentadas en el mundo del Aprendizaje por Ref Reinforcement Learning (como el aprendizaje Off-Policy, los métodos basados en Valor y el Bootstrapping) que están completamente vacías en el mundo de la IA.
La Oportunidad: El artículo sugiere que, al tomar prestadas estas técnicas "olvidadas" del mundo más amplio del RL, podríamos lograr que la IA razone mejor, aprenda más rápido y maneje tareas más difíciles sin necesidad de tanta potencia de cómputo.

En resumen: Este artículo es un llamado a dejar de reinventar la rueda. Dice: "Estamos usando un conjunto muy estrecho de herramientas para entrenar la IA. Hay todo un almacén de otras herramientas poderosas que funcionan de maravilla en otros campos, y deberíamos empezar a probarlas en los modelos de lenguaje".

Resumen Técnico: Aprendizaje por Refuerzo Modularizado en LLMs

Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) se ha vuelto central para el post-entrenamiento de los Grandes Modelos de Lenguaje (LLMs), principalmente para la alineación con las preferencias humanas y la mejora de las capacidades de razonamiento. Sin embargo, los pipelines actuales están dominados por un subconjunto estrecho de métodos de RL, específicamente la Optimización de Política Próxima (PPO) y la Optimización de Política Relativa de Grupo (GRPO). La literatura existente está fragmentada, con lanzamientos de modelos e investigaciones recientes que proponen modificaciones aisladas (por ejemplo, nuevos estimadores de ventaja, estrategias de recorte o programas de currículo) sin situar estas contribuciones dentro de un marco unificado de decisiones de diseño de RL. Esta falta de un marco conceptual compartido dificulta la distinción entre diferencias sustantivas de los métodos, la identificación de espacios de diseño inexplorados o la transferencia sistemática de técnicas probadas de RL clásico al dominio de los LLMs.

Metodología

Este trabajo propone una taxonomía modular y unificada para analizar y construir algoritmos de RL para LLMs. En lugar de organizar por aplicación o etapa de entrenamiento, la encuesta estructura el examen en torno a tres etapas principales de construcción de algoritmos y una categoría adicional para marcos más amplios:

Creación del MDP: La encuesta formaliza la generación de LLM como un Proceso de Decisión de Markov (MDP). Analiza las decisiones de diseño para:
- Funciones de Recompensa: Categorizando las fuentes en modelos aprendidos (RLHF), recompensas basadas en reglas/verificables (RLVR) y LLM-como-Juez. Examina además el modelado de recompensa (por ejemplo, longitud, formato) y el fenómeno del "reward hacking" (ataque de recompensa).
- Espacios de Estado y Acción: Revisando representaciones que van desde secuencias completas de tokens hasta embeddings latentes comprimidos, y espacios de acción desde el vocabulario completo hasta acciones restringidas o latentes.
- Terminación y Descuento: Discutiendo cómo se controla la longitud del episodio (cortes estrictos vs. modelado de recompensa) y la práctica estándar de establecer el factor de descuento $\gamma=1$ para tareas de LLM de horizonte finito.
Exploración: El documento categoriza los mecanismos utilizados para fomentar comportamientos diversos y escapar de óptimos locales:
- Muestreo Estocástico: Muestreo de temperatura y regularización de entropía.
- Motivación Intrínseca: Señales de novedad basadas en errores de predicción a nivel de token o de trayectoria, pseudo-conteos e incertidumbre.
- Búsqueda Estructurada: Métodos de búsqueda en árbol (por ejemplo, MCTS) que ramifican en puntos de divergencia.
- Aprendizaje por Currículo: Estrategias para el muestreo de datos, inicialización del estado inicial y programación de la señal de recompensa (de densa a dispersa).
Aprendizaje: La encuesta mapea los métodos de entrenamiento de LLM en cuatro dimensiones clásicas de RL:
- Model-Free vs. Model-Based: Observando que los LLMs son entrenados predominantemente mediante actualizaciones model-free, aunque el modelo pre-entrenado puede verse como un modelo de dinámica implícito.
- Representación de la Solución: Contrastando métodos basados en valor, basados en política (sin crítico) y métodos actor-crítico. Destaca el dominio de los gradientes de política sin crítico (por ejemplo, GRPO, RLOO) en los LLMs, contrastando con el dominio basado en valor en el RL clásico.
- Fuente de Datos: Analizando la prevalencia de métodos on-policy (PPO, GRPO) frente a enfoques off-policy (por ejemplo, variantes de DPO y de replay de experiencia), y los desafíos del desajuste de distribución y la "tríada mortal" en el contexto de los LLMs.
- Asignación de Crédito: Examinando cómo se atribuyen las recompensas a los tokens, contrastando métodos de Monte Carlo (trayectoria completa) con enfoques de bootstrapping (TD). Detalla refinamientos recientes a GRPO con respecto a la estimación de la ventaja, el muestreo de importancia y el recorte.
Otros Marcos: La encuesta cubre brevemente Meta-RL, Multi-Agent RL (MARL), Offline RL y Hierarchical RL (HRL) como paradigmas emergentes en el entrenamiento de LLMs.

Principales Contribuciones

Taxonomía Unificada: La contribución principal es una taxonomía estructurada que mapea la fragmentada literatura de LLM en un espacio de diseño de RL integral. Esto permite una comparación sistemática de métodos que de otro modo parecerían no relacionados.
Identificación de Brechas de Investigación: Al mapear los esfuerzos actuales sobre esta taxonomía, el documento revela una distribución notablemente no uniforme de la investigación. Identifica que, si bien los gradientes de política sin crítico y la asignación de crédito de Monte Carlo están densamente poblados, otras técnicas de RL clásico bien establecidas permanecen mayormente inexploradas en los LLMs. Las brechas específicas incluyen:
- Métodos basados en valor y entrenamiento actor-crítico off-policy (específicamente actualizaciones tipo SAC).
- Asignación de crédito basada en bootstrapping (yendo más allá de puro Monte Carlo).
- Integración sistemática de factores de descuento para el control de la longitud.
- Composición de recompensas multi-objetivo y recompensas de tareas abiertas.
Clarificación de Compromisos de Diseño: La encuesta elucida por qué ciertos valores por defecto (por ejemplo, $\gamma=1$ , métodos sin crítico) se han convertido en el estándar en los LLMs (debido a los costos de memoria de los críticos de tamaño completo y la naturaleza reajustable de los entornos de LLM) y dónde estos valores por defecto pueden ser subóptimos (por ejemplo, para tareas de razonamiento de largo horizonte).

Resultados y Hallazgos

El documento no presenta nuevos resultados experimentales, sino que sintetiza los hallazgos de la literatura existente para extraer conclusiones estructurales:

Formulación del MDP: El MDP estándar por defecto a nivel de token, con vocabulario completo y sin descuento es razonable, pero admite alternativas beneficiosas (por ejemplo, estados latentes, acciones restringidas) en configuraciones específicas.
Exploración: Las estrategias de exploración actuales están fragmentadas y a menudo operan a nivel de token en lugar de a nivel de estrategia. Existe evidencia empírica limitada que compare las sinergias de diferentes métodos de exploración.
Aprendizaje: El dominio de los métodos sin crítico (como GRPO) es impulsado por la capacidad de sustituir cómputo (muestreo a gran escala) por un crítico aprendido y la eficiencia de memoria ganada al evitar un segundo modelo de tamaño completo. Sin embargo, esto conlleva un costo en la eficiencia de muestra y una potencial inestabilidad en tareas de largo horizonte donde los métodos basados en valor o actor-crítico podrían ofrecer beneficios.
Asignación de Crédito: La mayoría de los métodos dependen de actualizaciones de Monte Carlo con ventajas a nivel de trayectoria. Trabajos recientes intentan refinar esto (por ejemplo, VinePPO, TEMPO), pero el cambio fundamental hacia el bootstrapping o recompensas por paso sigue siendo un desafío abierto.

Significancia

El documento reclama significancia al proporcionar un marco conceptual compartido para investigadores tanto en RL como en LLMs. Al hacer explícitas las "brechas estructurales", busca:

Facilitar la Transferencia de Conocimiento: Permitir que los investigadores de RL identifiquen qué técnicas clásicas (por ejemplo, actor-crítico off-policy, bootstrapping) aún no se han aplicado a los LLMs y podrían ser candidatas prometedoras para la transferencia.
Guiar a los Investigadores de LLM: Ayudar a los investigadores de LLM a comprender el "porqué" detrás de las elecciones algorítmicas actuales e identificar direcciones de mejora inexploradas más allá de los refinamientos incrementales de GRPO o PPO.
Reencuadrar el Campo: Cambiar el discurso de los ajustes algorítmicos aislados hacia una comprensión modular de las decisiones de diseño de RL, resaltando que la concentración actual de esfuerzo en áreas específicas es una elección y no una necesidad.

Los autores mantienen una postura modesta, señalando que las brechas identificadas no representan necesariamente "victorias fáciles" y que a menudo existen razones válidas (por ejemplo, restricciones computacionales, desajustes arquitectónicos) por las cuales ciertas técnicas clásicas no han sido adoptadas. No obstante, argumentan que un marco compartido es un punto de partida productivo para investigar estas oportunidades estructurales.