💬 NLP

PCL-Reasoner-V1.5: Advancing Math Reasoning with Offline Reinforcement Learning

PCL-Reasoner-V1.5 es un modelo de razonamiento matemático de 32 mil millones de parámetros construido sobre Qwen2.5-32B que aprovecha un novedoso método de aprendizaje por refuerzo fuera de línea para lograr un rendimiento de vanguardia en los benchmarks de AIME con una estabilidad y eficiencia de entrenamiento superiores en comparación con los enfoques de RL en línea.

Autores originales: Yao Lu, Dengdong Fan, Jianzheng Nie, Fan Xu, Jie Chen, Bin Zhou, Yonghong Tian

Publicado 2026-01-22

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yao Lu, Dengdong Fan, Jianzheng Nie, Fan Xu, Jie Chen, Bin Zhou, Yonghong Tian

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: Un genio de las matemáticas a dieta

Imagina que tienes a un estudiante muy inteligente (el modelo de IA) que ya es bueno en matemáticas, pero quiere convertirse en un campeón de clase mundial. Los investigadores del Laboratorio Peng Cheng y la Universidad de Pekín tomaron a un estudiante poderoso llamado Qwen2.5-32B y le dieron un campamento de entrenamiento especial para crear PCL-Reasoner-V1.5.

¿El resultado? Este nuevo modelo es actualmente el mejor resolviendo problemas matemáticos difíciles entre los modelos construidos sobre este "estudiante" específico. Obtuvo un 90.9% en una competencia de matemáticas de 2024 y un 85.6% en una versión de 2025.

La receta secreta: Entrenamiento de dos pasos

Los investigadores no se limitaron a lanzar al modelo a una sesión de práctica aleatoria. Utilizaron un proceso de dos pasos:

Ajuste Fino Supervisado (SFT) – "La fase del libro de texto":
Primero, enseñaron al modelo usando una enorme biblioteca de problemas matemáticos de alta calidad y sus soluciones paso a paso (llamadas Cadena de Pensamiento o Chain-of-Thought). Piensa en esto como el estudiante leyendo los mejores libros de texto y memorizando cómo resolver los problemas correctamente. Esto creó un modelo intermedio llamado PCL-Reasoner-V1.
Aprendizaje por Refuerzo Fuera de Línea (Offline RL) – "La fase del examen de práctica":
Aquí es donde el artículo es innovador. Normalmente, los modelos de IA aprenden tomando un examen, recibiendo una calificación inmediatamente y luego intentándolo de nuevo mientras el profesor los observa (esto se llama RL en línea o Online RL). Es como un estudiante que toma un examen, recibe una nota y cambia su cerebro inmediatamente para corregir el error, todo en tiempo real. Esto puede ser caótico y lento.

PCL-Reasoner-V1.5 utilizó RL fuera de línea (Offline RL). Aquí está la analogía:
- La forma antigua (RL en línea): El estudiante toma un examen, el profesor lo califica, el estudiante cambia su cerebro y luego toma el siguiente examen inmediatamente. Si el profesor se cansa o el sistema de calificación falla, todo el proceso colapsa.
- La nueva forma (RL fuera de línea): El estudiante toma una enorme pila de exámenes de práctica todo a la vez y escribe todas sus respuestas. El profesor califica toda la pila después y crea un libro de "Clave de Respuestas" único y perfecto. El estudiante entonces estudia solo de este libro estático. No toman nuevos exámenes mientras estudian; simplemente aprenden de los datos fijos.

¿Por qué es mejor el método "Fuera de Línea"?

El artículo argumenta que este enfoque de "Clave de Respuestas" (Offline RL) es superior por tres razones principales:

Estabilidad (Sin montañas rusas): El aprendizaje en línea es como conducir un coche mientras el motor está siendo reconstruido. Es inestable y puede estrellarse. El aprendizaje fuera de línea es como estudiar en una biblioteca tranquila; los datos no camban, por lo que el proceso de aprendizaje es suave y predecible.
Eficiencia (La línea de ensamblaje): En el método en línea, la computadora tiene que detenerse, pensar, calificar y actualizar constantemente. En el método fuera de línea, la computadora puede generar todas las respuestas en un estallido masivo y eficiente (como una fábrica de ensamblaje) y luego el entrenamiento ocurre por separado. Esto ahorra mucho tiempo y potencia de cómputo.
Simplicidad: Es más fácil de gestionar. No necesitas un sistema complejo para coordinar la calificación y el aprendizaje en tiempo real. Simplemente generas los datos, los guardas y entrenas con ellos más tarde.

¿Qué aprendió realmente el modelo?

Los investigadores notaron algo interesante sobre cómo mejoró el modelo.

Antes (PCL-Reasoner-V1): El modelo intentaba resolver los problemas rápidamente. Si un problema requería una cadena de razonamiento muy larga y compleja (como un proceso de pensamiento de 30,000 palabras), el modelo a menudo se rendía o cometía errores.
Después (PCL-Reasoner-V1.5): El modelo aprendió a pensar durante más tiempo. Comenzó a escribir pasos de razonamiento mucho más largos y detallados. Aprendió que para los problemas difíciles, no puedes apresurarte; tienes que explorar cada camino cuidadosamente.

La conclusión

El artículo afirma que no necesitas los métodos de entrenamiento "en línea" complejos e inestables que todos los demás están usando para obtener grandes resultados. Al usar un método "fuera de línea" más simple y estable —donde generas un conjunto de datos fijo de respuestas y luego entrenas con él— el modelo se convirtió en un campeón de las matemáticas.

Idea clave: A veces, la mejor manera de aprender no es seguir tomando exámenes mientras el profesor te observa. Es tomar un gran lote de exámenes de práctica, obtener una clave de respuestas perfecta y estudiar esa clave a fondo. Este enfoque convirtió a PCL-Reasoner-V1.5 en el nuevo máximo exponente de su clase.

Resumen Técnico: PCL-Reasoner-V1.5

Planteamiento del Problema

El razonamiento matemático sigue siendo un banco de pruebas riguroso para los Grandes Modelos de Lenguaje (LLM), lo que exige una deducción lógica precisa y una resolución de problemas estructurada. Si bien avances recientes como DeepSeek-R1 han demostrado que el Aprendizaje por Refuerzo (RL) combinado con la Cadena de Pensamiento (CoT) puede suscitar un razonamiento superior, el paradigma prevaleciente depende fuertemente de métodos de RL en línea (por ejemplo, Optimización de Política Relativa de Grupo o GRPO). Estos enfoques en línea introducen desafíos técnicos significativos, incluyendo la inestabilidad en el entrenamiento, el colapso de la recompensa y una alta sobrecarga computacional debido al estrecho acoplamiento entre la inferencia y los bucles de entrenamiento. Además, la compleja orquestación requerida para las ejecuciones (rollouts) en tiempo real y las actualizaciones de gradiente distribuidas aumenta la complejidad de ingeniería y los costos de experimentación.

Metodología

Los autores presentan PCL-Reasoner-V1.5, un LLM de 32 mil millones de parámetros construido sobre la arquitectura Qwen2.5-32B. El modelo es refinado mediante un flujo de trabajo de dos etapas: Ajuste Fino Supervisado (SFT) seguido de un novedoso enfoque de RL fuera de línea (Offline RL).

1. Ajuste Fino Supervisado (SFT)

Modelo Base: Qwen2.5-32B.
Datos: 666K muestras del subconjunto matemático de AM-DeepSeek-R1-0528-Distilled. Los datos fueron filtrados para eliminar secuencias que excedieran los 32K tokens.
Configuración de Entrenamiento: Tamaño de lote global de 128, tasa de aprendizaje de $6 \times 10^{-5}$ (decaimiento de coseno) y 4 épocas. Los autores utilizaron empaquetado de datos para concatenar muestras de longitud variable en secuencias de 32K, eliminando la redundancia del relleno (padding).
Prompting: Se utilizó una plantilla específica para imponer una estructura de CoT, requiriendo que el modelo produzca el razonamiento dentro de etiquetas <thought> y la respuesta final dentro de etiquetas <answer>.

2. Aprendizaje por Refuerzo Fuera de Línea (Offline RL)

A diferencia del RL en línea, que muestrea y entrena iterativamente, este enfoque desacopla la inferencia del entrenamiento.

Curación de Datos: El conjunto de datos se derivó de Nemotron-Post-Training-Dataset-v1. Los autores filtraron por tareas de alta dificultad reteniendo preguntas donde la longitud promedio de la respuesta inferida era >32K tokens y no todas las 8 respuestas candidatas eran correctas. Esto resultó en 6,068 preguntas difíciles.
Fase de Inferencia: El modelo SFT (PCL-Reasoner-V1) generó 8 respuestas candidatas por pregunta utilizando decodificación basada en muestreo (top-k=40, top-p=0.95, temperatura=0.6) en NPUs Huawei Ascend 910C.
Verificación y Filtrado: Un modelo verificador separado (Qwen3-32B) asignó recompensas binarias ( $R=1$ $R = 1$ para correcto, $R=-1$ $R = - 1$ para incorrecto).
- Las preguntas con varianza de recompensa cero (todas correctas o todas incorrectas) fueron excluidas para imitar el mecanismo interno de GRPO.
- Las muestras positivas que excedían los 48K tokens fueron descartadas para prevenir el sesgo de longitud.
- El conjunto de datos final contenía 30,215 muestras (14,512 positivas, 15,703 negativas).
Objetivo de Entrenamiento: El modelo de política fue entrenado para minimizar la pérdida de RL $L(\theta) = -\sum R_i \pi_\theta(y_i|x_i)$ , donde $\pi_\theta$ se define como la media geométrica de las probabilidades a nivel de token. El muestreo de importancia (importance sampling) fue explícitamente omitido basándose en hallazgos previos de su ineficacia en entornos de RL para LLM.
Infraestructura: El entrenamiento utilizó 8 nodos de cómputo con 8 NPUs Ascend 910C cada uno, empleando paralelismo de tensores (grado 8) y paralelismo de tubería (grado 4) a través del marco de trabajo MindSpeed-LLM.

Contribuciones Clave

Paradigma de RL Fuera de Línea: El artículo propone y valida el RL fuera de línea como una alternativa estable y eficiente al RL en línea (GRPO) para tareas de razonamiento. Argumenta que el desacoplamiento de la inferencia del entrenamiento elimina los bucles de retroalimentación que causan inestabilidad y permite flujos de trabajo de "inferir una vez, entrenar muchas veces", reduciendo significativamente los costos de experimentación.
Rendimiento de Vanguardia (State-of-the-Art): PCL-Reasoner-V1.5 logra nuevos resultados de vanguardia entre los modelos post-entrenados sobre Qwen2.5-32B.
Eficiencia de Hardware: Todos los experimentos se realizaron con éxito en NPUs Huawei Ascend 910C, demostrando la viabilidad de este hardware para el entrenamiento de modelos de razonamiento a gran escala.
Lanzamiento Abierto: Los autores han liberado el modelo, los datos de entrenamiento y el código (incluyendo el procesamiento de datos y los scripts de evaluación) para facilitar la reproducibilidad.

Resultados Experimentales

El modelo fue evaluado en los benchmarks AIME 2024 y AIME 2025 (30 problemas cada uno).

Precisión (pass@1):
- AIME 2024: 90.9%
- AIME 2025: 85.6%
- Estos resultados superan a otros derivados de Qwen2.5-32B (por ejemplo, DeepSeek-R1-Distill-Qwen-32B con 72.6% en AIME 2024) y compiten con modelos mucho más grandes como OpenAI-o3 (91.6%) y DeepSeek-R1-0528 (91.4%).
Análisis de Comportamiento:
- Longitud de Respuesta: El entrenamiento de RL aumentó significativamente la longitud promedio de la respuesta (de ~22.5K a ~30.5K tokens en AIME 2024), lo que sugiere que el modelo se involucra en un razonamiento más extenso.
- Capacidad de Long-CoT: El análisis desagregado muestra que mientras el modelo SFT tiene dificultades con problemas que requieren CoTs largos ( $\ge$ 32K tokens), el modelo entrenado con RL muestra mejoras drásticas en la precisión específicamente en este rango, indicando una capacidad mejorada para un razonamiento complejo y sostenido.

Significado y Reivindicaciones

Los autores afirman que el RL fuera de línea es un paradigma robusto para avanzar en el razonamiento de los LLM, ofreciendo ventajas distintivas sobre los métodos en línea:

Estabilidad: Al entrenar sobre un conjunto de datos estático y fijo, el método evita el colapso de la recompensa y la divergencia que a menudo se ven en el RL en línea debido a la interacción dinámica entre inferencia y entrenamiento.
Eficiencia: El desacoplamiento permite la optimización independiente de la inferencia (usando marcos de alto rendimiento como vLLM) y el entrenamiento, maximizando la utilización del hardware y reduciendo la sobrecarga de latencia por sincronización.
Simplicidad: El flujo de trabajo simplifica la ingeniería al eliminar la necesidad de marcos de orquestación complejos en tiempo real.

El artículo concluye que, si bien el RL fuera de línea está limitado por la calidad de su conjunto de datos estático y no puede descubrir iterativamente nuevas rutas de razonamiento como el estilo de autocorrección de "R1-Zero", es altamente efectivo para refinar modelos con bases sólidas. El trabajo desafía la necesidad del RL en línea para un razonamiento de alto rendimiento, demostando que un enfoque fuera de línea, estable y computacionalmente eficiente, puede producir resultados competitivos y de vanguardia.