RLP: Reinforcement as a Pretraining Objective

El artículo presenta RLP, un objetivo de preentrenamiento basado en el aprendizaje por refuerzo que fomenta el pensamiento independiente mediante la generación de cadenas de razonamiento como acciones exploratorias recompensadas por la ganancia de información, logrando mejoras significativas en tareas de razonamiento matemático y científico en modelos de distintos tamaños.

Lo esencial

¡Claro que sí! Imagina que entrenar a una Inteligencia Artificial (IA) es como enseñar a un niño a leer y a pensar.

Hasta ahora, el método estándar era como enseñarle al niño a recitar un libro palabra por palabra. Le mostraban una frase y le decían: "¿Qué palabra sigue?". El niño aprendía a predecir la siguiente palabra basándose en lo que ya había leído. Esto funciona muy bien para que la IA hable con fluidez, pero a menudo no la hace pensar realmente. Es como si el niño supiera de memoria la canción, pero no entendiera la historia.

Para que la IA resolviera problemas difíciles (como matemáticas o ciencia), los científicos tenían que darle un "entrenamiento especial" al final, donde le decían: "Si aciertas, te doy una estrella; si fallas, no". Esto es costoso y lento.

Aquí es donde entra el nuevo método del paper: RLP (Reinforcement Learning Pretraining).

La Analogía: El "Borrador Mental"

Imagina que RLP es como enseñarle al niño a hacer un borrador mental antes de decir la siguiente palabra.

1. El Viejo Método (Predicción de la siguiente palabra):

   • Situación: El niño lee: "El sol brilla en el cielo y calienta la...".
   • Acción: El niño dice inmediatamente: "¡Tierra!".
   • Resultado: A veces acierta, a veces no. No hay reflexión.

2. El Nuevo Método (RLP):

   • Situación: El niño lee: "El sol brilla en el cielo y calienta la...".
   • Paso 1 (El Pensamiento): Antes de decir la palabra, el niño se detiene y piensa en voz alta (o en su cabeza): "Espera, el sol da calor, así que probablemente la palabra sea 'tierra' o 'arena', pero 'tierra' encaja mejor con el clima".
   • Paso 2 (La Predicción): Luego dice: "¡Tierra!".
   • La Magia de RLP: El sistema le da una "estrella" (recompensa) solo si su pensamiento mental le ayudó a acertar mejor. Si el pensamiento fue inútil, no recibe la estrella. Si el pensamiento le hizo entender mejor el contexto y acertar, ¡recibe una estrella!

¿Por qué es revolucionario?

• Aprende a pensar antes de hablar: En lugar de esperar a que la IA sea un experto y luego enseñarle a pensar, RLP le enseña a pensar desde el primer día, mientras lee millones de libros en internet.
• No necesita un profesor humano: La mayoría de los métodos anteriores necesitaban a un humano o a un programa especial para revisar si la respuesta era correcta. RLP es como un niño que se autoevalúa: "¿Mi idea mental me ayudó a predecir la siguiente palabra con más seguridad?". Si la respuesta es sí, aprende.
• Funciona en todo tipo de textos: No importa si el texto es un libro de matemáticas, un artículo de ciencia o una historia de aventuras. El sistema aprende a pensar en cualquier contexto.

Los Resultados (El "Efecto Maravilla")

Los autores probaron esto con modelos de IA de diferentes tamaños (desde pequeños como un "chip" hasta gigantes).

• En modelos pequeños: Mejoraron su capacidad de razonamiento en un 19% en tareas de matemáticas y ciencia.
• En modelos grandes: Saltaron de un 42% a un 61% de precisión en tareas complejas.
• Lo más importante: Estas mejoras se mantuvieron incluso después de darle el entrenamiento final tradicional. Es como si el niño hubiera aprendido a estudiar de verdad, y luego, cuando fue a la escuela, ya sabía cómo aprender más rápido que los demás.

En resumen

RLP es como darle a la Inteligencia Artificial un cuaderno de notas mental. Antes de responder, la IA se toma un momento para escribir sus pensamientos, y el sistema la premia solo si esos pensamientos la ayudan a entender mejor el mundo.

En lugar de solo memorizar qué palabra sigue, la IA aprende a razonar para encontrar la respuesta correcta. Es un cambio de paradigma: de "aprender a repetir" a "aprender a pensar".

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "RLP: REINFORCEMENT AS A PRETRAINING OBJECTIVE" (RLP: Aprendizaje por Refuerzo como Objetivo de Preentrenamiento), presentado en ICLR 2026.

1. El Problema

El paradigma dominante para entrenar modelos de razonamiento grandes (LLMs) sigue una secuencia estricta:

1. Preentrenamiento: Se utiliza la pérdida de predicción del siguiente token (Next-Token Prediction, NTP) sobre grandes volúmenes de datos.
2. Post-entrenamiento: Se aplica Ajuste Fino Supervisado (SFT) y luego Aprendizaje por Refuerzo con Retroalimentación Humana/Verificada (RLHF/RLVR).

Limitaciones actuales:

• El objetivo de NTP no fomenta explícitamente el razonamiento a largo plazo ni la integración con conocimiento del mundo.
• El aprendizaje por refuerzo (RL) se introduce demasiado tarde (solo en la fase final), lo que significa que el modelo aprende a "pensar" solo después de haber sido entrenado masivamente para predecir tokens sin razonamiento.
• Los métodos de RL existentes requieren verificadores externos o recompensas dispersas (binarias), lo que limita su aplicabilidad a texto general y requiere conjuntos de datos curados y costosos.
• La comprensión humana es un proceso de integración paralela de entrada y conocimiento previo, no una predicción lineal token a token, algo que el preentrenamiento actual no captura.

2. Metodología: RLP (Reinforcement Learning Pre-training)

Los autores proponen RLP, un objetivo de preentrenamiento basado en información que introduce el espíritu del RL (exploración) en la fase final del preentrenamiento, antes del post-entrenamiento.

Concepto Central:
Tratar la generación de una Cadena de Pensamiento (CoT) como una acción exploratoria explícita que ocurre antes de predecir el siguiente token observado.

Mecanismo de Funcionamiento:

1. Política de Pensamiento: Para cada posición $t$ en una secuencia de texto, el modelo muestrea internamente un pensamiento (CoT) $c_t$ basado en el contexto previo $x_{<t}$.
2. Predicción Razonada: El modelo predice el siguiente token $x_t$ condicionándose tanto al contexto como al pensamiento muestreado: $p_\theta(x_t | x_{<t}, c_t)$.
3. Línea Base "Sin Pensar" (No-Think Baseline): Se utiliza un maestro EMA (Exponential Moving Average) del modelo actual, $\bar{p}_\phi$, que predice el mismo token $x_t$ solo con el contexto, sin el canal de pensamiento: $\bar{p}_\phi(x_t | x_{<t})$.
4. Recompensa de Ganancia de Información: La recompensa $r(c_t)$ se calcula como la diferencia de log-verosimilitud entre la predicción con pensamiento y la línea base sin pensamiento:
   $$r(c_t) = \log p_\theta(x_t | x_{<t}, c_t) - \log \bar{p}_\phi(x_t | x_{<t})$$
   • Si el pensamiento ayuda a predecir mejor el token real, la recompensa es positiva.
   • Si no ayuda o perjudica, es negativa.

Características Clave del Entrenamiento:

• Sin Verificadores (Verifier-Free): No se necesitan respuestas correctas externas ni verificadores de código. La recompensa es intrínseca al modelo y al texto real.
• Recompensa Densa: Se calcula una recompensa en cada posición del documento, asignando crédito donde el pensamiento mejora la predicción.
• Optimización: Se utiliza un algoritmo similar a GRPO (Group Relative Policy Optimization). Se muestrean múltiples pensamientos ($G$) por contexto, se calculan ventajas relativas dentro del grupo y se actualiza la política solo en los tokens del pensamiento (no en los tokens de texto observados).
• Estabilidad: Se emplea una línea base EMA que se actualiza lentamente para evitar el "hacking" de recompensas (donde el modelo engaña al sistema degradando la línea base).

3. Contribuciones Clave

1. Objetivo de Preentrenamiento Innovador: Introducen RLP, un objetivo que recompensa los pensamientos en proporción a su utilidad predictiva, integrando el razonamiento desde la fase de preentrenamiento en lugar de esperar al post-entrenamiento.
2. Algoritmo Práctico y Estable: Desarrollan un algoritmo que intercala actualizaciones de RL con entrenamiento de verosimilitud estándar, utilizando ventajas relativas grupales y una línea base EMA para garantizar estabilidad.
3. Garantías Teóricas: Demuestran que maximizar la recompensa esperada de RLP equivale a reducir la entropía cruzada (Cross-Entropy) entre el modelo razonado y la distribución de datos, proporcionando una cota inferior computable.
4. Escalabilidad y Generalización: Validan que el método funciona en modelos de diferentes tamaños (1.7B, 12B, 14B) y arquitecturas (Transformers puros y híbridos Mamba-Transformer), y es robusto en diversos dominios de datos (matemáticas, ciencia, web general).

4. Resultados Experimentales

Los autores evaluaron RLP en dos modelos principales: QWEN3-1.7B-BASE y NEMOTRON-NANO-12B-V2 (híbrido Mamba-Transformer).

Hallazgos Principales:

• Mejora Significativa en Razonamiento:
  • En QWEN3-1.7B, RLP mejoró el promedio general en un conjunto de 8 benchmarks de matemáticas y ciencias en un 19% comparado con el preentrenamiento continuo estándar.
  • En NEMOTRON-NANO-12B, el promedio general saltó de 42.81% a 61.32% (un aumento del 43% relativo) solo con preentrenamiento RLP.
• Persistencia tras el Post-entrenamiento: Las ganancias de RLP no se diluyen tras el SFT y RLVR; por el contrario, se acumulan. Los modelos con RLP superaron a sus contrapartes entrenadas convencionalmente por un margen del 7-8% incluso después de un post-entrenamiento fuerte.
• Eficiencia de Datos: RLP superó a un modelo de preentrenamiento continuo (CPT) que consumió 35 veces más datos (6B tokens vs 170M tokens de RLP) para igualar el costo computacional (FLOPs).
• Generalización de Dominio: A diferencia de métodos anteriores que solo funcionan bien en matemáticas, RLP mejoró consistentemente tanto en tareas matemáticas (GSM8K, MATH500) como en ciencias (MMLU-Pro, GPQA) y en datos generales (Web-Crawl, artículos académicos).
• Comparación con RPT (Reinforcement Pre-training): RLP superó al método RPT (que usa recompensas binarias dispersas) en configuraciones de tokens y FLOPs emparejados, demostrando que la señal densa de ganancia de información es superior.

5. Significado e Impacto

El trabajo RLP representa un cambio de paradigma en cómo se entrenan los modelos de lenguaje:

• Cierre de la Brecha: Cierra la brecha entre la predicción de tokens (preentrenamiento) y el razonamiento emergente, demostrando que el razonamiento puede ser inducido tempranamente mediante objetivos de RL intrínsecos.
• Independencia de Verificadores: Elimina la dependencia de verificadores externos o conjuntos de datos curados para el entrenamiento por refuerzo, permitiendo aplicar RL a cualquier texto web a gran escala.
• Eficiencia y Escalabilidad: Demuestra que es posible obtener capacidades de razonamiento superiores con menos datos y en arquitecturas diversas, haciendo que el entrenamiento de modelos de razonamiento sea más escalable y económico.
• Fundamento para el Futuro: Establece que el "pensar antes de predecir" puede ser un objetivo de entrenamiento fundamental, no solo una técnica de post-entrenamiento, sentando las bases para modelos con capacidades de razonamiento más robustas y naturales desde su creación.

En resumen, RLP transforma el preentrenamiento de una tarea puramente estadística de predicción de secuencias a un proceso de aprendizaje activo donde el modelo aprende a generar pensamientos internos que mejoran su comprensión y predicción del mundo.