🤖 AI

Reasoning or Memorization? Direction-Aware Diversity Exploration in LLM Reinforcement Learning

Este artículo presenta DiRL, un marco de aprendizaje por refuerzo sensible a la dirección que distingue entre el razonamiento y la memorización en los modelos de lenguaje extensos para guiar la exploración hacia mejoras genuinas en el razonamiento en lugar de atajos memorizados, demostrando ganancias significativas de rendimiento en evaluaciones de razonamiento matemático y general.

Autores originales: Jiangnan Xia, Yucheng Shi, Yu Yang, Kishan Panaganti, Zhenwen Liang, Ninghao Liu

Publicado 2026-06-10

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Jiangnan Xia, Yucheng Shi, Yu Yang, Kishan Panaganti, Zhenwen Liang, Ninghao Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un estudiante brillante pero ligeramente confundido (la IA) cómo resolver problemas matemáticos complejos. Quieres que aprenda probando diferentes enfoques, cometiendo errores y descubriendo qué es lo que funciona. Esto se llama Aprendizaje por Refuerzo (Reinforcement Learning).

Sin embargo, hay una trampa. El estudiante tiene dos formas de aprender:

Razonamiento Verdadero: Pensar realmente en los pasos, como "Si hago X, entonces sucede Y".
Memorización: Simplemente recordar la respuesta a una pregunta específica que ya ha visto antes, o usar un atajo de suerte que solo funciona para ese problema en particular.

El Problema: La Trampa del "Adivinanza Aleatoria"

Los métodos anteriores para enseñar a la IA eran como un profesor que dice: "¡Buen trabajo intentando algo diferente!", sin importar qué fuera lo que el estudiante hizo.

Si el estudiante intentó una forma nueva y astuta de resolver un problema, el profesor lo felicitaba.
Si el estudiante solo cambió un número en una respuesta memorizada (por ejemplo, cambiar "5" por "6" sin entender por qué), el profesor también lo felicitaba porque parecía "diferente".

Esto es malo. Al recompensar cualquier diferencia, la IA se vuelve perezosa y comienza a memorizar patrones y atajos en lugar de aprender cómo pensar realmente. Es como un estudiante que memoriza la clave de respuestas de un examen de práctica pero reprueba el examen real porque los números son ligeramente distintos.

La Solución: DiRL (Aprendizaje por Refuerzo con Conciencia de Dirección)

Los autores proponen un nuevo método llamado DiRL. Piensa en DiRL como una brújula inteligente que ayuda al profesor a distinguir entre "buenas" diferencias y "malas" diferencias.

Así es como funciona, usando una analogía simple:

1. Dibujar el Mapa (La Dirección)

Antes de que comience el entrenamiento, los investigadores observan el cerebro de la IA y dibujan una línea en un mapa.

De un lado de la línea está el "Razonamiento" (pensar profundamente).
Del otro lado está la "Memorización" (recordar hechos).
Ellos determinan exactamente cómo se ve el cerebro de la IA cuando está pensando frente a cuando solo está recordando. Esta línea permanece fija durante todo el entrenamiento.

2. La Verificación de "Conciencia de Dirección"

Cada vez que la IA intenta resolver un problema, DiRL verifica: "¿Este nuevo intento nos acercó al lado del 'Razonamiento', o solo se movió de un lado a otro en el lado de la 'Memorización'?"

Escenario A (Bueno): La IA intenta un camino lógico nuevo. La brújula apunta hacia el "Razonamiento".
- Resultado: El profesor otorga un gran bono. "¡Excelente! ¡Estás pensando más profundamente!"
Escenario B (Malo): La IA intenta un atajo que es solo una variación de una respuesta memorizada. La brújula apunta hacia la "Memorización".
- Resultado: El profesor la penaliza o le da una recompensa menor. "Deja de adivinar; intenta razonarlo".

3. El Sistema de Recompensas

En los métodos antiguos, la IA recibía una recompensa solo por ser "novedosa" (diferente). En DiRL, la IA solo recibe una recompensa por ser "novedosa en la dirección correcta".

Si la IA comete un error pero utiliza un proceso de razonamiento, todavía recibe una pequeña recompensa porque está aprendiendo la forma correcta de pensar.
Si la IA obtiene la respuesta correcta pero utilizó la memorización, recibe una recompensa menor porque no aprendió la lógica subyacente.

Por qué esto es importante

Los autores probaron esto en problemas matemáticos difíciles (como los que se encuentran en competencias de secundaria).

El Resultado: La IA entrenada con DiRL se volvió significativamente mejor resolviendo problemas que nunca había visto antes.
La Prueba: Cuando los investigadores cambiaron los números o el formato de los problemas (haciendo que la memorización fuera inútible), la IA entrenada con DiRL siguió funcionando bien. Esto demuestra que realmente aprendió a razonar, no solo a memorizar.

La Conclusión

Imagina que estás entrenando a un perro.

Método Antiguo: Le das un premio al perro cada vez que hace algo diferente, incluso si solo está dando vueltas en círculos. Eventualmente, el perro solo da vueltas en círculos para obtener premios.
Método DiRL: Le das un premio al perro solo cuando hace algo diferente que le ayuda a atrapar la pelota. Ignoras (o corriges suavemente) el hecho de que esté dando vueltas en círculos.

El artículo muestra que, al ser selectivos sobre qué tipo de diversidad recompensamos, podemos enseñar a la IA a pensar más como un razonador humano y menos como un loro.

Resumen Técnico: DiRL – Exploración de Diversidad Sensible a la Dirección en el Aprendizaje por Refuerzo de LLMs

Planteamiento del Problema
El aprendizaje por refuerzo (RL) se ha convertido en un paradigma principal para extraer razonamiento complejo en los Modelos de Lenguaje de Gran Escala (LLMs). Sin embargo, un desafío central en el RL es la exploración: la política debe muestrear trayectorias diversas para evitar colapsar en modos estrechos y subóptimos. Los métodos de exploración existentes suelen fomentar la diversidad en los espacios semánticos o de gradiente sin distinguir la fuente de esa diversidad. Una trayectoria puede parecer novedosa porque sigue una ruta de razonamiento genuinamente nueva, o simplemente porque varía patrones y atajos memorizados. Los enfoques actuales recompensan ambos comportamientos por igual, lo que conlleva el riesgo de dirigir la exploración hacia la memorización en lugar de hacia una mejora genuina del razonamiento. Incluso cuando las métricas pasan de los embeddings semánticos a los espacios de gradiente para reflejar mejor la dinámica de optimización, una actualización novedosa aún puede reforzar la memorización en lugar de mejorar las capacidades de razonamiento.

Metodología: Marco de Trabajo DiRL
El artículo propone DiRL (Aprendizaje por Refuerzo Sensible a la Dirección), un marco que ancla la exploración a una dirección interna de "razonamiento-memorización" derivada de las propias representaciones de la política. DiRL se integra perfectamente en el algoritmo estándar de Optimización de Política Relativa de Grupo (GRPO). La metodología procede a través de cuatro etapas clave:

Extracción de la Dirección Razonamiento-Memorización:
Antes del entrenamiento de RL, el método construye un vector de dirección fijo $k$ en el flujo residual de la política. Esto se logra computando la diferencia de activación media entre dos conjuntos disjuntos de tareas: $D^+$ (tareas intensivas en razonamiento, ej. matemáticas de múltiples pasos) y $D^-$ (tareas intensivas en memoria, ej. recuperación de hechos). Esta dirección sirve como un ancla geométrica para distinguir si una respuesta se alinea más con comportamientos de razonamiento o de memorización.
Características de Gradiente Ponderadas por Dirección:
Para cada respuesta, DiRL construye una característica de gradiente $\Phi^{(i)}$ que resume cómo la respuesta actualizaría la política. A diferencia de las características de gradiente estándar, estas se ponderan según la alineación de cada estado oculto de token con la dirección de razonamiento $k$ . Los tokens que se alinean con el lado del razonamiento reciben pesos más altos, mientras que aquellos que se alinean con la memorización reciben pesos más bajos. Esto asegura que el vector de características resultante refleje primordialmente la diversidad en el razonamiento y no en la memorización.
Puntuación de Exploración Anclada al Razonamiento:
El marco particiona el grupo de rollouts en dos subgrupos: un subgrupo alineado con el razonamiento ( $G_R$ ) y un subgrupo alineado con la memorización ( $G_M$ ), basados en la proyección de los estados ocultos medios sobre $k$ .
- Para las respuestas en $G_R$ , la puntuación de exploración mide la novedad relativa a sus pares alineados con el razonamiento.
- Para las respuestas en $G_M$ , la puntuación mide la distancia respecto a las direcciones de actualización alineadas con el razonamiento.
  Este diseño asegura que la diversidad se recompense solo cuando expande el espacio de rutas de razonamiento válidas, mientras que las variaciones en la memorización se tratan como menos valiosas o perjudiciales.
Modelado de Recompensa Sensible a la Dirección:
La puntuación de exploración se utiliza para modelar las recompensas binarias originales. Las respuestas de razonamiento alineadas y correctas reciben recompensas amplificadas, mientras que los intentos de razonamiento incorrectos reciben penalizaciones suavizadas (ya que contribuyen con actualizaciones direccionales útiles). Por el contrario, las respuestas de memorización alineadas y correctas reciben recompensas reducidas para desincentivar los atajos, y las respuestas de memorización incorrectas son penalizadas más severamente. Estas recompensas modeladas se introducen luego en el cálculo de ventaja estándar de GRPO.

Contribuciones Clave

Marco DiRL: Introducción de un marco de RL sensible a la dirección que ancla explícitamente la exploración a la distinción razonamiento-memorización, dirigiendo las políticas hacia el razonamiento en lugar de hacia patrones memorizados.
Mecanismo de Exploración Novedoso: Desarrollo de un mecanismo que mide la novedad en un espacio de características de gradiente ponderadas por dirección, amplificando selectivamente la exploración alineada con el razonamiento mientras se suprime las variaciones alineadas con la memorización.
Validación Empírica: Experimentos extensos que demuestran que DiRL mejora el rendimiento en diversos benchmarks de razonamiento matemático y general en comparación con GRPO estándar y otros métodos de exploración basados en la diversidad.

Resultados Experimentales
Los autores evaluaron DiRL utilizando arquitecturas base Qwen3-1.7B y Qwen3-4B en múltiples benchmarks:

Razonamiento Matemático: En benchmarks que incluyen MATH500, AMC, AIME24 y AIME25, DiRL superó consistentemente a las líneas base (GRPO, Entropy Bonus, EVOL-RL y G2RL). Por ejemplo, en Qwen3-4B, DiRL logró un pass@1 de 83.0 en MATH500 (una mejora de +5.6 sobre GRPO) y 19.6 en AIME24 (una mejora de +7.3).
Razonamiento General: En GPQA y MMLU-Pro, DiRL mostró mejoras consistentes, indicando que los beneficios se extienden más allá de la resolución de problemas matemáticos hacia las capacidades de razonamiento general.
Generalización y Robustez: Los modelos entrenados con DiRL demostraron un rendimiento superior en GSM-Symbolic y sus variantes perturbadas, sugiriendo que los modelos aprendieron procedimientos de razonamiento subyacentes en lugar de sobreajustarse a patrones específicos de los benchmarks.
Análisis de Rollouts: DiRL aumentó la proporción de respuestas alineadas con el razonamiento en los rollouts (por ejemplo, del 45.8% al 60.0% en Qwen3-4B para AIME25).
Eficiencia: El método introduce una sobrecarga computacional mínima (un aumento de aproximadamente el 13-18% en el tiempo de entrenamiento por paso), ya que depende de activaciones de paso frontal y un vector de dirección estático pre-extraído.

Significado y Reivindicaciones
El artículo sostiene que la exploración efectiva en el aprendizaje por refuerzo de LLMs no debe limitarse meramente a generar trayectorias diversas, sino a fomentar trayectorias que genuinamente expandan el razonamiento. Al aprovechar la geometría interna de los LLMs para distinguir entre razonamiento y memorización, DiRL proporciona un mecanismo para guiar el RL hacia comportamientos de razonamiento más robustos. Los autores postulan que este trabajo motiva la investigación futura en exploración sensible a la representación, donde las firmas internas de los modelos se utilicen para optimizar la dinámica de aprendizaje. El artículo reconoce limitaciones, señalando que el enfoque actual depende de una única dirección global extraída de datos representativos y que el trabajo futuro podría explorar el descubrimiento de múltiples dimensiones latentes del comportamiento de razonamiento.