💬 NLP

Sparse but Critical: A Token-Level Analysis of Distributional Shifts in RLVR Fine-Tuning of LLMs

Este estudio demuestra que el ajuste fino de RLVR en modelos de lenguaje grandes induce cambios distribucionales altamente dispersos y dirigidos a nivel de token, donde una pequeña fracción de decisiones críticas es responsable de las mejoras en el razonamiento, lo que se valida mediante experimentos de muestreo cruzado que revelan la naturaleza selectiva de estas ganancias de rendimiento.

Autores originales: Haoming Meng, Kexin Huang, Shaohang Wei, Chiyu Ma, Shuo Yang, Xue Wang, Guoyin Wang, Bolin Ding, Jingren Zhou

Publicado 2026-03-25

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Haoming Meng, Kexin Huang, Shaohang Wei, Chiyu Ma, Shuo Yang, Xue Wang, Guoyin Wang, Bolin Ding, Jingren Zhou

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un genio muy inteligente (el modelo de lenguaje base) que sabe resolver problemas, pero a veces se atasca en los detalles o toma caminos equivocados. Luego, le das un "entrenamiento especial" con recompensas (RLVR) para que se vuelva un experto en razonamiento matemático.

Este paper se pregunta: ¿Qué pasa exactamente en la cabeza del genio durante ese entrenamiento? ¿Aprende cosas nuevas en todas partes, o solo ajusta unos pocos puntos clave?

Aquí tienes la explicación, usando analogías sencillas:

1. El Gran Descubrimiento: "El Cirujano, no el Martillo"

La mayoría de la gente pensaba que el entrenamiento con IA era como golpear un martillo sobre una piedra: un cambio masivo y general en todo el sistema.

Pero este estudio descubre que RLVR actúa más como un cirujano con un bisturí láser.

La realidad: El 95% de las decisiones que toma el modelo (palabra por palabra) no cambian en absoluto. Sigue siendo el mismo genio de antes.
Lo que cambia: Solo un puñado muy pequeño de decisiones (menos del 5%) se modifican drásticamente. Son como "nudos" críticos en una cuerda. Si desatas o atapas solo esos pocos nudos, toda la cuerda (la respuesta completa) se arregla o se rompe.

2. La Analogía del Camino de Montaña

Imagina que el modelo base es un excursionista que sabe caminar por la montaña, pero a veces se pierde en un desvío.

El entrenamiento (RLVR): No le enseña a caminar de nuevo desde cero. Simplemente le pone una señal de tráfico en 3 o 4 puntos específicos del camino donde solía equivocarse.
El resultado: El excursionista sigue caminando igual en el 99% del trayecto, pero en esos 3 o 4 puntos clave, gira a la derecha en lugar de a la izquierda. Esos pocos giros son los que le permiten llegar a la cima (la respuesta correcta) en lugar de caer al barranco.

3. El Experimento del "Intercambio de Piezas" (Cross-Sampling)

Para probar su teoría, los investigadores hicieron un experimento muy curioso, como si fueran mecánicos de coches:

Prueba A (Inyectar el genio): Tomaron un coche viejo (el modelo base) y le cambiaron solo 4 de sus 100 piezas por las de un coche de carreras (el modelo entrenado).
- Resultado: ¡El coche viejo empezó a correr casi tan rápido como el de carreras!
Prueba B (Inyectar el viejo): Tomaron el coche de carreras y le cambiaron solo 4 de sus piezas por las del coche viejo.
- Resultado: ¡El coche de carreras se descompuso y dejó de funcionar!

¿Qué significa esto? Que el éxito del modelo avanzado no depende de que todo sea perfecto, sino de que esos pocos puntos críticos estén en su lugar. Si fallas en esos puntos específicos, todo el razonamiento se viene abajo.

4. ¿Crea nuevas ideas o solo reordena las existentes?

Otra pregunta importante era: ¿El entrenamiento hace que el modelo "invente" palabras o ideas que antes no conocía?

La respuesta: No realmente. Es como si tuvieras una lista de 10 opciones para resolver un problema. El modelo base ya tenía las 10 opciones en mente, pero pensaba que la opción #5 era la mejor.
El entrenamiento: Simplemente le dice: "Oye, la opción #2 es mejor que la #5".
La magia: El modelo no inventa una opción #11 nueva. Solo cambia el orden de preferencia de las opciones que ya tenía. A veces, incluso cambia la opción más obvia (la #1) por otra que ya estaba en el top 3, pero que el modelo base había ignorado.

5. ¿Por qué es importante esto?

Entender esto es como descubrir el secreto de la eficiencia:

Ahorro de energía: No necesitas reentrenar a toda la IA desde cero para mejorarla. Solo necesitas identificar y ajustar esos "puntos de presión" críticos.
Mejores herramientas: Los autores proponen que, en el futuro, podríamos entrenar a las IAs dándoles más "atención" (recursos de aprendizaje) solo a esos momentos donde la duda es alta, en lugar de tratar todas las palabras por igual.

En resumen

El entrenamiento con recompensas verificables (RLVR) no es un cambio global y caótico. Es un ajuste fino y preciso. Es como afinar un instrumento musical: no cambias las cuerdas ni el cuerpo del violín, solo ajustas las clavijas en los lugares exactos para que suene perfecto. El modelo base ya tenía el potencial; el entrenamiento solo le señala dónde girar el volante para llegar al destino correcto.

1. El Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR, por sus siglas en inglés) ha demostrado mejorar significativamente las capacidades de razonamiento en los Modelos de Lenguaje Grandes (LLM), especialmente en tareas matemáticas y lógicas. Sin embargo, los mecanismos subyacentes a nivel de token que permiten estas mejoras siguen siendo un misterio.

La mayoría de las evaluaciones se centran en métricas agregadas a nivel de respuesta (precisión, longitud, recompensa), lo que ofrece una visión de alto nivel pero no explica cómo el RLVR modifica la distribución predictiva del modelo base. La pregunta central es: ¿Cómo remodela el RLVR las distribuciones predictivas a nivel de token y cuáles de estos cambios impulsan realmente las ganancias en el razonamiento?

2. Metodología

Los autores realizan un estudio empírico sistemático organizado en tres pilares principales, utilizando modelos como Qwen2.5-32B y Qwen2.5-Math-7B, y métodos como GRPO y DAPO:

Caracterización de Cambios Distribucionales:
- Comparan las distribuciones de probabilidad de los siguientes tokens ( $\pi_{base}$ vs. $\pi_{RL}$ ) en los mismos contextos de secuencia.
- Utilizan la Divergencia de Jensen-Shannon (JS) para cuantificar las diferencias entre las distribuciones en cada posición de token.
- Analizan la entropía, la concentración posicional y la reasignación de masa de probabilidad.
Intervenciones de Muestreo Cruzado (Cross-Sampling):
- Diseñan experimentos para probar la importancia funcional de los tokens divergentes.
- Muestreo Cruzado Directo (Forward): Inyectan tokens seleccionados por el modelo RL en secuencias generadas principalmente por el modelo base.
- Muestreo Cruzado Inverso (Reverse): Reemplazan tokens seleccionados por el modelo RL con tokens del modelo base en secuencias generadas por el RL.
- Esto permite aislar si un pequeño subconjunto de decisiones de tokens es responsable de las ganancias de rendimiento.
Mecánica de Distribución de Alta Granularidad:
- Analizan si el RLVR introduce nuevos tokens o simplemente reordena candidatos existentes.
- Estudian la superposición de los conjuntos de candidatos top-k, los cambios de rango (rank-shift) y el comportamiento de los tokens de baja probabilidad.
- Observan la evolución de estos cambios a lo largo del entrenamiento.
Validación Adicional:
- Comparan los resultados con el Ajuste Fino Supervisado (SFT) para determinar si la escasez de cambios es inherente al RLVR o al ajuste fino en general.
- Proponen y evalúan una variante de la señal de ventaja ponderada por la divergencia.

3. Contribuciones Clave y Resultados Principales

A. Escasez y Enfoque de los Cambios (Sparsity)

Hallazgo Principal: El ajuste fino con RLVR induce cambios distribucionales altamente escasos y dirigidos.
Datos: Más del 83% (en DAPO) y hasta el 98% (en SimpleRL) de las posiciones de tokens muestran una divergencia JS cercana a cero entre el modelo base y el modelo RL.
Implicación: El RL no reescribe globalmente el comportamiento del modelo; solo modifica un pequeño subconjunto de decisiones críticas.

B. Concentración Posicional y Entropía

Posición: Los cambios tienden a concentrarse al inicio de la respuesta (decisiones de ramificación de alto nivel) y, en menor medida, al final (formato y terminación).
Entropía:
- Los tokens con baja divergencia suelen ser predicciones de baja entropía (confiables).
- Los tokens con alta divergencia abarcan un rango amplio de entropía. El RLVR es capaz de modificar incluso predicciones inicialmente confiables (baja entropía) del modelo base, aunque métodos más conservadores (como SimpleRL) se centran más en regiones de alta entropía.

C. Importancia Funcional (Experimentos de Muestreo Cruzado)

Recuperación de Rendimiento (Forward): Inyectar solo un 1.5% - 8% de tokens muestreados por RL en generaciones del modelo base es suficiente para recuperar (e incluso superar) el rendimiento del modelo RL completo.
Colapso de Rendimiento (Reverse): Reemplazar una pequeña fracción de tokens del modelo RL (aprox. 4-10%) con tokens del modelo base provoca un colapso inmediato del rendimiento, devolviéndolo a niveles del modelo base o incluso inferiores.
Conclusión: Las ganancias de rendimiento dependen críticamente de un conjunto escaso de decisiones de tokens de alto impacto que guían la trayectoria de razonamiento hacia soluciones correctas.

D. Mecánica de los Cambios (Reordenamiento vs. Invención)

Reasignación de Probabilidad: En las posiciones de alta divergencia, el RLVR no introduce tokens fundamentalmente nuevos.
Superposición Top-k: Existe una alta superposición (>80-90%) entre los conjuntos de candidatos top-k del modelo base y el RL.
Mecanismo: El RLVR actúa principalmente reordenando y amplificando tokens que ya eran plausibles bajo el modelo base, en lugar de "inventar" nuevas opciones. Raramente promueve tokens de probabilidad extremadamente baja.

E. Comparación con SFT (Ajuste Fino Supervisado)

El SFT produce cambios distribucionales mucho más densos y globales. A diferencia del RLVR, el SFT modifica una fracción mucho mayor de tokens y tiende a reordenar candidatos de manera más agresiva, a menudo introduciendo tokens que no estaban en el top-k inicial del modelo base. Esto confirma que la escasez observada es una propiedad distintiva del RLVR, no del ajuste fino en general.

F. Ventajas Ponderadas por Divergencia

Los autores exploran modificar la señal de ventaja en el entrenamiento, ponderándola según la magnitud de la divergencia del token.
Los resultados preliminares muestran que tanto reforzar tokens de alta divergencia como los de baja divergencia puede mejorar el rendimiento sobre la línea base, sugiriendo que la dirección óptima depende del modelo y la configuración.

4. Significado e Impacto

Este trabajo proporciona una lente de alta granularidad para entender el ajuste fino con RL en LLMs:

Mecanismo de "Cuchillo Quirúrgico": El RLVR actúa como un refinamiento dirigido y escaso, no como un cambio de política global. Identifica y ajusta decisiones críticas específicas que guían la trayectoria de razonamiento, manteniendo la mayoría de la distribución del modelo base intacta.
Sensibilidad de la Trayectoria: Las trayectorias de razonamiento son extremadamente sensibles a decisiones locales aparentemente intercambiables. Pequeños cambios en tokens clave pueden desviar la generación hacia trayectorias exitosas o fallidas.
Guía para Futuras Investigaciones:
- Sugiere que los futuros objetivos de RL deberían centrarse en identificar y optimizar selectivamente estos puntos de decisión críticos.
- Ofrece una base para diseñar diagnósticos y estrategias de entrenamiento que incorporen la estructura distribucional (por ejemplo, evitando cambios innecesarios en tokens de baja divergencia).
- Cuestiona la necesidad de entrenamiento extensivo si los cambios críticos son tan escasos; la eficiencia podría mejorarse enfocándose en estos "puntos de palanca".

En resumen, el artículo demuestra que el éxito del RLVR no reside en una transformación masiva del modelo, sino en la refinamiento preciso y estructurado de un pequeño conjunto de decisiones de tokens que son determinantes para el razonamiento lógico y matemático.