🤖 machine learning

ISO: An RLVR-Native Optimization Stack

Este artículo presenta ISO, un nuevo marco de optimización para el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) que aprovecha la herencia espectral para optimizar únicamente los fotogramas singulares de los pesos del modelo mientras mantiene fijo el espectro base, permitiendo así un entrenamiento en línea altamente eficiente y una fusión efectiva de modelos especialistas sin requerir datos adicionales o actualizaciones de gradiente.

Autores originales: Hanqing Zhu, Wenyan Cong, Zhizhou Sha, Sagnik Mukherjee, Xinyuan Song, David González-Martínez, Xiaoxia Wu, Yuandong Tian, Shiwei Liu, David Z. Pan, Zhangyang "Atlas" Wang

Publicado 2026-07-22

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Hanqing Zhu, Wenyan Cong, Zhizhou Sha, Sagnik Mukherjee, Xinyuan Song, David González-Martínez, Xiaoxia Wu, Yuandong Tian, Shiwei Liu, David Z. Pan, Zhangyang "Atlas" Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot superinteligente a pensar mejor. No le das simplemente un libro de texto; dejas que intente cosas, y cuando acierta la respuesta, le das un "choca esos cinco" (una "recompensa"). Este proceso se llama Aprendizaje por Refuerzo con Recompensas Verificables, o RLVR por sus siglas en inglés. Es como un videojuego donde el robot aprende jugando, y el juego solo le dice "buen trabajo" o "inténtalo de nuevo" al final de un nivel.

Durante mucho tiempo, los científicos han estado utilizando las mismas herramientas de siempre para actualizar el cerebro del robot después de esos "choca esos cinco". Tratan el cerebro del robot como una hoja de cálculo gigante y desordenada de números y simplemente ajustan cada número un poquito. Pero aquí está el problema: el cerebro del robot ya es bastante bueno en lo básico antes de empezar a jugar al juego. Tal vez las herramientas antiguas son demasiado torpes, cambiando cosas que no necesitan ser cambiadas, o pasando por alto las partes específicas que realmente necesitan un empujoncito. La gran pregunta es: ¿Existe una forma más inteligente y precisa de actualizar el cerebro del robot que respete lo que ya sabe mientras le enseña nuevos trucos?

Este artículo, titulado "ISO: An RLVR-Native Optimization Stack", profundiza en esa misma pregunta. Los autores descubrieron un patrón oculto en cómo aprenden estos robots. Descubrieron que, cuando un robot aprende una nueva habilidad mediante RLVR, en realidad no reescribe todo su cerebro. En su lugar, mantiene las "perillas de volumen" (los valores matemáticos que controlan la fuerza de sus conexiones) exactamente iguales a como estaban antes. Solo cambia las "direcciones" (los ángulos y orientaciones de esas conexiones).

Piensa en ello como una compañía de danza. Las "perillas de volumen" son el número de bailarines y sus niveles de energía, que se mantienen iguales. Las "direcciones" son la coreografía. El artículo muestra que, para aprender un nuevo baile, la compañía no necesita contratar gente nueva ni cambiar qué tan enérgicos son; solo necesitan reorganizar los pasos. Los autores llaman a esto "Herencia Espectral". Demostraron que puedes mantener fijos los niveles de energía (el espectro) y aun así obtener resultados increíbles simplemente ajustando la coreografía (los fotogramas).

Basándose en este descubrimiento, construyeron un nuevo kit de herramientas llamado ISO (Optimización Isospectral). Tiene dos trucos principales. Primero, hay "ISO-Merger", que es como una licuadora mágica. Si tienes tres robots diferentes, cada uno maestro en una habilidad distinta (uno es un mago de la programación, otro un genio de las matemáticas y otro un experto en herramientas), puedes combinarlos en un solo superrobot sin necesidad de reentrenarlos ni alimentarlos con nuevos datos. Simplemente mezcla su coreografía manteniendo intactos sus niveles de energía originales.

Segundo, hay "ISO-Optimizer", una forma más rápida de entrenar a un robot desde cero. En lugar de ajustar ciegamente todo el cerebro, solo ajusta la coreografía mientras mantiene bloqueados los niveles de energía. El artículo muestra que esto es un gran ahorro de tiempo. Por ejemplo, en un modelo específico de 8 mil millones de parámetros, el nuevo método alcanzó la misma puntuación alta que el método antiguo en solo 100 pasos, mientras que el método antiguo necesitó 270 pasos para llegar allí. Es mejor aún, siguió mejorando y obtuvo una puntuación incluso más alta en el paso 210.

Los autores son muy cuidadosos al decir que esto no es magia; es matemática. Lo probaron rigurosamente. Mostraron que si intentas cambiar solo los niveles de energía (las perillas de volumen) sin cambiar la coreografía, el robot no aprende mucho. Pero si mantienes fijos los niveles de energía y cambias la coreografía, el robot aprende rápido. También comprobaron que este patrón se mantiene incluso cuando el robot aprende una segunda habilidad, totalmente diferente, más tarde.

Así que, la conclusión principal es simple: cuando enseñes a estos modelos de IA nuevas habilidades de razonamiento, no intentes reconstruir todo su fundamento. Solo hereda el sólido fundamento que ya tienen y enfócate en reorganizar los pasos. Es una forma más eficiente, rápida y sorprendentemente efectiva de enseñar a la IA cómo pensar.

Resumen Técnico: ISO: Un Stack de Optimización Nativo de RLVR

Planteamiento del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR, por sus siglas en inglés) se ha convertido en un mecanismo primordial para escalar las capacidades de razonamiento de los grandes modelos de lenguaje (LLM). Sin embargo, la capa de optimización responsable de convertir la retroalimentación de recompensa en actualizaciones en el espacio de pesos permanece insuficientemente comprendida. Las implementaciones actuales de RLVR heredan en gran medida estrategias de optimización (p. ej., AdamW, Muon) y parametrizaciones del preentrenamiento, a pesar de las diferencias estructurales fundamentales entre ambos regímenes. El preentrenamiento depende de una supervisión densa a nivel de token, mientras que el RLVR adapta políticas capaces utilizando recompensas dispersas a nivel de resultado.

Análisis recientes sugieren que las actualizaciones de RLVR son dispersas y fuera del principal (off-principal), pero los marcos de trabajo existentes no separan explícitamente qué se reutiliza de qué se reescribe durante la adaptación. Este artículo investiga la "capa faltante" de la optimización de RLVR analizando la estructura singular de los pesos del modelo para determinar si las propiedades espectrales del modelo base son funcionalmente necesarias o meramente incidentales.

Metodología: Herencia Espectral y Optimización Isospectral (ISO)

El artículo introduce la Optimización Isospectral (ISO), un marco construido sobre el principio de la herencia espectral. Este principio postula que el RLVR puede adquirir nuevos comportamientos modificando los marcos singulares de entrada y salida ( $U, V$ ) de las matrices de pesos, mientras reutiliza el espectro de valores singulares del modelo base ( $\Sigma$ ).

1. Análisis de la Herencia Espectral

Los autores formalizan la observación de que los checkpoints de RLVR no restringidos permanecen cercanos a la "familia de espectro fijo" de sus pesos base.

Cuasi-isospectralidad: El análisis empírico muestra que la distancia entre los pesos aprendidos por RLVR y la familia de espectro fijo del modelo base es mínima (aprox. 3% del desplazamiento total del checkpoint), significativamente menor que en el Ajuste Fino Supervisado (SFT).
Reutilización Funcional: A través de intervenciones, los autores demuestran que los pequeños cambios espectrales observados en el RLVR no restringido no son funcionalmente necesarios.
- Restauración: Restaurar el espectro base ( $\Sigma_0$ ) después del entrenamiento mientras se retienen los marcos aprendidos preserva la mayor parte del rendimiento adquirido.
- Entrenamiento de Espectro Fijo: Mantener $\Sigma_0$ fijo durante todo el entrenamiento y optimizar únicamente los marcos ( $U, V$ ) produce ganancias sólidas, superando a menudo a los optimizadores estándar en el espacio de pesos.
- Control Solo de Espectro: Por el contrario, actualizar únicamente el espectro mientras se congelan los marcos produce mejoras limitadas.
Adaptabilidad de los Marcos: El análisis estructural revela que, si bien el espectro puede permanecer fijo, tanto el marco de entrada ( $V$ ) como el de salida ( $U$ ) deben permanecer adaptables. Restringir la adaptación a un solo subespacio o mezclar únicamente dentro de los alcances existentes deja una parte sustancial del cambio del checkpoint sin explicar.

2. El Marco ISO

ISO operacionaliza estos hallazgos como un stack de optimización con dos instancias complementarias:

A. ISO-Merger (Offline)

Un método libre de datos para componer expertos de base compartida.

Mecanismo: En lugar de utilizar vectores de tareas euclidianos o destilación on-policy, ISO-Merger alinea los marcos singulares de múltiples expertos hacia un espectro base compartido. Proyecta los cambios de los marcos de los expertos sobre el espacio tangente de Stiefel de la base, enmascara los modos de cola inestables y los agrega utilizando una combinación lineal estabilizada por ridge para apuntar a la autorretención unitaria.
Proceso: Proyectar $\to$ Enmascarar $\to$ Mezclar $\to$ Retraer. El modelo final se reconstruye como $W^* = U^* \Sigma_0 (V^*)^\top$ , asegurando que pertenezca a la familia de espectro fijo.
Requisito: No requiere datos post-mezcla, rollouts, actualizaciones de gradiente o destilación.

B. ISO-Optimizer (Online)

Un método para el entrenamiento de RLVR online que aplica optimizadores estándar a las variables de los marcos.

Mecanismo: Dado un optimizador base (p. ej., AdamW, Muon), ISO-Optimizer aplica la regla de actualización a las variables de los marcos singulares ( $U, V$ ) manteniendo fijo el espectro base $\Sigma_0$ .
Flujo de Gradiente: Los gradientes se computan con respecto a la matriz de pesos reconstruida $W = U \Sigma_0 V^\top$ y se retropropagan a $U$ y $V$ mediante la regla de la cadena.
Viabilidad: Después de cada actualización, los factores se proyectan de nuevo sobre la variedad de Stiefel mediante retracción polar (basada en SVD) para asegurar la ortonormalidad.
Sobrecarga: La retracción polar añade aproximadamente un 7% al tiempo de paso de extremo a extremo, lo cual no es dominante en sistemas de RLVR donde la generación de rollouts es el cuello de botella.

Resultados Clave

1. Composición de Expertos Offline (ISO-Merger)

Experimentos en Qwen2.5-7B y DeepSeek-R1-Distill-Qwen-1.5B mezclando expertos de codificación, uso de herramientas y memoria muestran:

ISO-Merger logra el rendimiento agregado más fuerte entre los métodos de mezcla libres de datos (p. ej., Task Arithmetic, TIES, OrthoMerge).
En Qwen2.5-7B, alcanza un puntaje promedio de 63.80, superando al mejor baseline (62.88).
En DeepSeek-R1-Distill-Qwen-1.5B, alcanza 44.38, superando al mejor baseline (43.52).
Recupera capacidades complementarias sin requerir datos de entrenamiento o rollouts adicionales.

2. Entrenamiento RLVR Online (ISO-Optimizer)

Experimentos en razonamiento matemático (AIME, AMC, Olympiad) y codificación (LiveCodeBench) a través de escalas de modelos (1.5B a 8B) muestran:

Ganancias de Precisión: ISO-AdamW logra consistentemente una precisión agregada mayor que los baselines estándar de AdamW y Muon.
Eficiencia de Entrenamiento: ISO-Optimizer alcanza puntajes equivalentes con sustancialmente menos pasos de entrenamiento.
- En Qwen3-4B-Base, ISO-AdamW iguala la precisión final de la mejor ejecución de AdamW con 2.2 $\times$ menos pasos.
- En Qwen3-8B-Base, ISO-AdamW alcanza una precisión de 0.495 en 100 pasos, mientras que el AdamW estándar requiere 270 pasos para alcanzar el mismo nivel (una reducción de 2.7 $\times$ ).
Generalización: Los beneficios persisten a través de diferentes optimizadores (ISO-Muon) y tareas (codificación vs. matemáticas), confirmando que la restricción de espectro fijo es un sesgo inductivo robusto para RLVR.

Significancia y Reivindicaciones

El artículo afirma proporcionar una respuesta concreta a la "capa de optimización faltante" en RLVR. En lugar de heredar el preentrenamiento de forma integral, los autores argumentan que se debe diseñar el post-entrenamiento alrededor de la estructura de la adaptación impulsada por recompensas: heredar el espectro, optimizar los marcos.

Las contribuciones clave incluyen:

Formalización de la Herencia Espectral: Demostrar que el RLVR reutila funcionalmente los espectros de peso del modelo base, una propiedad distinta de la SFT.
Stack Nativo de RLVR: Introducir ISO como un marco que unifica la composición de expertos offline y el entrenamiento online bajo un único principio de espectro fijo.
Eficiencia Práctica: Mostrar que restringir la optimización a la familia de espectro fijo mejora la velocidad de convergencia y la precisión final sin expandir la clase de modelos factibles, actuando efectivamente como un fuerte sesgo inductivo para RLVR.

Los autores enfatizan que ISO no es simplemente un nuevo optimizador, sino una reparametrización estructural que alinea la trayectoria de optimización con la geometría intrínseca de la adaptación de RLVR, ofreciendo un camino hacia un post-entrenamiento más eficiente y estable para modelos de razonamiento.