💬 NLP

You Only Need Minimal RLVR Training: Extrapolating LLMs via Rank-1 Trajectories

Este artículo presenta RELEX, un método eficiente en cómputo que aprovecha el descubrimiento de que las trayectorias de los pesos de RLVR son altamente predecibles y de bajo rango para extrapolar futuros puntos de control del modelo mediante regresión lineal, logrando un rendimiento comparable o superior al entrenamiento completo con solo una fracción de los pasos al filtrar el ruido estocástico de la optimización.

Autores originales: Zhepei Wei, Xinyu Zhu, Wei-Lin Chen, Chengsong Huang, Jiaxin Huang, Yu Meng

Publicado 2026-05-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhepei Wei, Xinyu Zhu, Wei-Lin Chen, Chengsong Huang, Jiaxin Huang, Yu Meng

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: Entrenar IA es como Escalar una Montaña

Imagina que quieres enseñar a un modelo de lenguaje grande (una IA) a resolver problemas matemáticos complejos. Actualmente, la mejor manera de hacerlo es un proceso llamado RLVR (Aprendizaje por Refuerzo con Recompensas Verificables).

Piensa en el RLVR como enviar a la IA en una caminata muy larga y costosa hacia la cima de una montaña para alcanzar el pináculo del "genio matemático".

El Costo: Esta caminata requiere días de tiempo de computación potente (horas de GPU).
El Proceso: La IA da miles de pequeños pasos, verificando su trabajo en cada punto de control.
El Objetivo: Quieres que la IA llegue a la cima (el mejor rendimiento), pero la caminata es tan larga y costosa que te encantaría detenerse a mitad de camino y simplemente "adivinar" dónde está la cima.

El Descubrimiento: La Caminata es Sorprendentemente Recta

Los investigadores de este artículo notaron algo extraño sobre cómo aprende la IA. Observaron las "huellas" (los cambios en los pesos del cerebro de la IA) dejadas durante esta caminata.

Encontraron dos cosas asombrosas:

El Camino es una Línea Recta: Aunque la IA se mueve a través de un espacio 3D masivo y complejo, su camino real de mejora es increíblemente simple. Es como caminar a través de un bosque denso pero solo moviéndose en una sola dirección, perfectamente recta.
El Ritmo es Predecible: La velocidad a la que la IA mejora a lo largo de esta línea recta es casi perfectamente lineal. Si dibujas una gráfica de su progreso, parece una línea recta como la de una regla, no una curva ondulada y caótica.

La Analogía: Imagina que conduces un coche por una ciudad con niebla. Normalmente, esperas que la carretera se curve y de vueltas. Pero los investigadores descubrieron que, para este tipo específico de entrenamiento de IA, la carretera es en realidad una autopista perfectamente recta, y el coche acelera a una velocidad constante y predecible.

La Solución: RELEX (El Método de la "Bola de Cristal")

Basándose en este descubrimiento, los autores crearon un método llamado RELEX (Extrapolación de Aprendizaje por Refuerzo).

En lugar de hacer que la IA termine toda la caminata de 500 pasos, RELEX dice: "Déjemos que solo observemos los primeros 75 pasos (aproximadamente el 15% del viaje). Dado que sabemos que el camino es una línea recta y la velocidad es constante, podemos predecir matemáticamente exactamente dónde estará el coche en el paso 500, 1.000 o incluso 2.000".

Cómo funciona (El Truco de la "Denoificación"):
El proceso de aprendizaje de la IA es un poco ruidoso, como el estático en una radio.

El Ruido: La mayoría de los pequeños temblores aleatorios en el cerebro de la IA son solo "estática" o errores que en realidad no la ayudan a volverse más inteligente.
La Señal: El verdadero "genio" está oculto en esa única línea recta (llamada trayectoria de rango 1).
La Magia: RELEX utiliza un filtro matemático (SVD) para ignorar todo ese estático ruidoso y solo observar esa única línea recta. Luego, traza una línea recta a través de los primeros pasos y la extiende hacia adelante.

Los Resultados: Más Rápido, Más Barato y Igual de Bueno

Los investigadores probaron esto en tres modelos de IA diferentes (Qwen2.5-Math, Qwen3-4B y Qwen3-8B).

La Afirmación: Al entrenar solo durante el 15% al 20% del tiempo habitual, RELEX puede predecir un punto de control que funciona tan bien como, o incluso mejor que, el modelo completamente entrenado.
La Prueba: Probaron estos modelos "predichos" en exámenes de matemáticas. Los modelos predichos obtuvieron puntuaciones casi exactamente iguales a las de los modelos que realmente terminaron toda la caminata larga y costosa.
El Bonus: Debido a que el método filtra el "ruido", los modelos predichos a veces generalizan mejor a problemas matemáticos nuevos e inéditos (puntos de referencia fuera de dominio) que los completamente entrenados.

Por Qué Esto Importa (Según el Artículo)

No Se Requiere Nuevo Aprendizaje: RELEX no necesita entrenar una nueva IA para predecir el futuro. Solo realiza un cálculo matemático sencillo (regresión lineal) sobre los datos que ya tiene.
Es "Minimalista": El artículo demuestra que no necesitas predicciones complejas y sofisticadas. Una simple línea recta es suficiente porque el camino de aprendizaje de la IA es naturalmente tan simple.
Denoificación Espectral: El método funciona tan bien porque actúa como unos auriculares con cancelación de ruido. Elimina las partes aleatorias y caóticas del entrenamiento que usualmente arruinan las predicciones, dejando solo la señal pura de mejora.

Resumen

Imagina que estás viendo el lanzamiento de un cohete. Normalmente, tienes que verlo hasta llegar al espacio para saber si funcionó. Este artículo dice: "Espera, el cohete está volando en una línea perfectamente recta a una velocidad constante. Si lo observamos solo durante el primer minuto, podemos calcular exactamente dónde estará en una hora, y tendrá tanto éxito como si hubiéramos esperado todo el tiempo".

RELEX es esa calculadora. Ahorra cantidades masivas de tiempo y dinero al darse cuenta de que el entrenamiento de IA, a pesar de parecer caótico, en realidad sigue un camino muy simple y predecible.

Resumen Técnico: Solo Necesitas Entrenamiento Mínimo RLVR: Extrapolación de LLMs mediante Trayectorias de Rango 1

Declaración del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha surgido como un paradigma dominante para mejorar las capacidades de razonamiento de los Modelos de Lenguaje Grandes (LLM), particularmente en dominios como las matemáticas. Sin embargo, la tubería estándar de RLVR es computacionalmente prohibitiva, a menudo requiriendo días de tiempo de GPU para alcanzar mesetas de rendimiento. El proceso implica generar una trayectoria de puntos de control a lo largo de cientos de pasos de optimización, con costos que escalan linealmente con el número de pasos. Aunque trabajos previos sugieren que RLVR amplifica comportamientos latentes en lugar de enseñar capacidades completamente nuevas, la estructura geométrica subyacente de estas trayectorias de parámetros permanece poco explorada. La pregunta central abordada es si los futuros puntos de control de RLVR pueden predecirse a partir de un prefijo corto de dinámicas de entrenamiento, evitando así la necesidad de un entrenamiento extenso adicional.

Metodología: RELEX

Los autores proponen RELEX (Extrapolación de Aprendizaje por Refuerzo), un método libre de entrenamiento que aprovecha la regularidad geométrica de las actualizaciones de pesos de RLVR para predecir puntos de control futuros. El método opera bajo la hipótesis de que las trayectorias de RLVR son de rango extremadamente bajo y casi lineales.

La tubería de RELEX consta de tres pasos, aplicados a los primeros $T_{cut}$ puntos de control observados (por ejemplo, el primer 15–20% de los pasos de entrenamiento):

Estimación del Subespacio de Rango 1:
Para cada tensor de pesos $W^{(\ell)}$ , el método calcula las diferencias de parámetros $\Delta \theta_t = \theta_t - \theta_0$ con respecto al modelo base. Estas diferencias se aplanan y apilan en una matriz de trayectoria $M^{(\ell)}$ . Se realiza una Descomposición en Valores Singulares (SVD) sobre $M^{(\ell)}$ , y se extrae el vector singular superior derecho $v_1^{(\ell)}$ . Este vector define la dirección dominante del cambio de parámetros a lo largo de la ventana de observación.
Extrapolación de Coeficientes Lineales:
Las diferencias observadas se proyectan sobre el vector singular dominante para obtener una trayectoria de coeficientes escalares $c_t = \langle \text{aplanar}(\Delta \theta_t), v_1 \rangle$ . El análisis empírico muestra que estos coeficientes evolucionan casi linealmente con el paso de entrenamiento ( $R^2 > 0.98$ ). Se ajusta una regresión lineal simple ($c(t) = at + b$) a estos coeficientes utilizando el prefijo observado.
Predicción de Pesos Futuros:
Para predecir un punto de control en un paso objetivo $T$ , el método extrapola el coeficiente $\hat{c}_T = aT + b$ y reconstruye el tensor de pesos como $\hat{W}_T = W_0 + \hat{c}_T \cdot v_1$ . Este proceso se repite para todos los tensores para ensamblar el punto de control predicho completo $\hat{\theta}_T$ .

Crucialmente, RELEX no requiere predictores aprendidos, ningún entrenamiento adicional de RLVR e involucra únicamente operaciones de forma cerrada (SVD truncada y ajuste por mínimos cuadrados).

Contribuciones Clave

Descubrimiento Empírico de Linealidad de Rango Bajo: Los autores demuestran que las trayectorias de actualización de pesos de RLVR son de rango extremadamente bajo y predecibles. Específicamente, una aproximación SVD de rango 1 captura la gran mayoría de los cambios de parámetros relevantes para tareas posteriores, y los coeficientes escalares correspondientes evolucionan casi linealmente con los pasos de entrenamiento en múltiples familias de modelos (Qwen2.5-Math-1.5B, Qwen3-4B-Base, Qwen3-8B-Base).
Marco RELEX: La introducción de un método de extrapolación simple y eficiente computacionalmente que predice puntos de control futuros utilizando únicamente el prefijo temprano de entrenamiento.
Mecanismo de Eliminación de Ruido Espectral: El documento identifica que la proyección de rango 1 actúa como un "eliminador de ruido espectral". Al proyectar las actualizaciones sobre el subespacio dominante, el método descarta el ruido estocástico de la optimización (capturado por componentes de rango superior) que de otro modo degradaría el rendimiento durante la extrapolación.
Suficiencia Minimalista: Los estudios de ablación confirman que aumentar el rango del subespacio (por ejemplo, a rango 5 o rango 10) o emplear modelado no lineal (polinomios, redes neuronales) no produce ganancias adicionales y a menudo degrada el rendimiento, validando la suficiencia del enfoque lineal de rango 1.

Resultados Experimentales

El método fue evaluado en tres modelos basados en Qwen en dominios internos (MATH) y cinco benchmarks fuera de distribución (OOD) (AIME 2025/2026, HMMT 2025, OlympiadBench, AMC 2023).

Rendimiento vs. Costo: Utilizando solo el 15–20% del costo total de entrenamiento de RLVR (observando los primeros 75–125 pasos), RELEX produce puntos de control que igualan o superan el rendimiento de los modelos RLVR completamente entrenados.
- Qwen2.5-Math-1.5B: RELEX logró 71.6% en MATH (vs. 71.5% para RLVR completo) y superó a RLVR en 4 de 5 benchmarks OOD.
- Qwen3-4B-Base: RELEX logró 85.6% en MATH (vs. 85.5% para RLVR completo).
- Qwen3-8B-Base: RELEX logró 87.4% en MATH (vs. 88.5% para RLVR completo), manteniéndose dentro de un 1.1% del rendimiento de entrenamiento completo.
Extrapolación de Largo Alcance: RELEX extrapola con éxito mucho más allá de la ventana de observación. Por ejemplo, observar solo los primeros 50 pasos permitió predicciones estables hasta 1000 pasos (20 veces la ventana de observación), con una mejora continua del rendimiento.
Comparación con Líneas Base: RELEX superó uniformemente a otras líneas base de extrapolación, incluyendo Extrapolación de Pesos (interpolación lineal en el espacio de pesos crudos), Extrapolación de Logits, ExPO y AlphaRL. La superioridad sobre la Extrapolación de Pesos resalta la importancia del paso SVD en la filtración del ruido.

Significado y Afirmaciones

El documento afirma que el entrenamiento por RL, a pesar de su naturaleza estocástica y no convexa, talla caminos sorprendentemente simples en el espacio de parámetros de rango bajo. El significado de este trabajo radica en:

Eficiencia: Ofrece una forma de lograr un rendimiento casi óptimo de RLVR con una fracción del costo computacional, efectivamente "saltando" la mayoría de los pasos de entrenamiento sin reentrenar.
Perspectiva Teórica: Proporciona evidencia de que la "señal" del aprendizaje de RLVR se concentra en una única dirección dominante, mientras que los componentes de rango superior representan principalmente ruido de optimización.
Generalización: El método demuestra que los puntos de control extrapolados capturan ganancias de razonamiento transferibles, como lo evidencia el fuerte rendimiento en benchmarks OOD, lo que sugiere que el modelo no se limita a sobreajustar la distribución de entrenamiento.

Los autores señalan limitaciones, reconociendo que el estudio actual se restringe a GRPO en tareas de razonamiento matemático con modelos Qwen. Sugieren que la ventana de observación óptima ( $T_{cut}$ ) depende del modelo y que la selección adaptativa de rango puede ser necesaria para una generalización más amplia a otros algoritmos (por ejemplo, PPO) o familias de modelos.