💻 computer science

Beyond Correctness: Learning Robust Reasoning via Transfer

Este artículo presenta el Aprendizaje por Refuerzo con Recompensa Transferible (RLTR, por sus siglas en inglés), un enfoque novedoso que mejora la robustez y la eficiencia de muestreo del razonamiento de los LLM al entrenar a los modelos para producir pasos de razonamiento que sigan siendo efectivos cuando se transfieren para guiar a modelos separados, en lugar de centrarse únicamente en la corrección de la respuesta final.

Autores originales: Hyunseok Lee, Soheil Abbasloo, Jihoon Tack, Jinwoo Shin

Publicado 2026-02-10

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Hyunseok Lee, Soheil Abbasloo, Jihoon Tack, Jinwoo Shin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un estudiante a resolver un problema matemático complejo.

La forma antigua (RLVR): "¿Obtuviste la respuesta correcta?"
Actualmente, la mayor parte del entrenamiento de la IA funciona como un profesor estricto que solo mira la respuesta final en el examen. Si el estudiante escribe una respuesta desordenada, confusa o un intento de suerte que resulta ser correcto, el profesor le pone una "A". Si el estudiante escribe una explicación perfecta y lógica pero comete un pequeño error de aritmética al final, el profesor le pone una "F".

El artículo llama a esto RLVR (Reinforcement Learning with Verifiable Rewards - Aprendizaje por Refuerzo con Recompensas Verificables). Es excelente para obtener la respuesta correcta, pero no le importa cómo llegó el estudiante allí. El resultado es que el estudiante podría aprender a "engañar" al sistema o depender de una lógica frágil que se desmorona si le pides que se la explique a alguien más.

La nueva idea (RLTR): "¿Puede alguien más terminar tu trabajo?"
Los autores de este artículo, Hyunseok Lee y sus colegas, proponen una filosofía diferente. Ellos creen que el verdadero razonamiento es como una carrera de relevos. Un buen corredor (la IA) no solo debe cruzar la línea de meta; debe pasar el testigo de manera que el siguiente corredor pueda recogerlo y seguir adelante fácilmente sin tropezar.

Llaman a este nuevo método RLTR (Reinforcement Learning with Transferable Reward - Aprendizaje por Refuerzo con Recompensa Transferible).

Así es como funciona, usando una analogia simple:

El Generador (El primer corredor): La IA comienza a resolver un problema y escribe sus pensamientos (el razonamiento).
La Truncación (Cortar la cinta): El sistema detiene a la IA a mitad de camino. Toma la primera parte del razonamiento y la corta.
El Receptor (El segundo corredor): Una IA diferente (el "Receptor") recibe este fragmento de texto cortado. Tiene que leer lo que escribió la primera IA y terminar la solución.
La Recompensa:
- Si el Receptor puede terminar con éxito el problema y obtener la respuesta correcta, la primera IA recibe un punto de bonificación.
- Si el Receptor se confunde, se queda atascado o da una respuesta incorrecta porque la primera parte era desordenada o ilógica, la primera IA recibe ningún bono.

¿Por qué es esto mejor?
Piensa en escribir una historia.

RLVR solo se preocupa de si la historia termina con "Fin". Podrías escribir una historia que no tenga sentido, pero si la última palabra es "Fin", ganas.
RLTR se preocupa de si la historia es tan clara y lógica que cualquier persona que lea la primera mitad podría adivinar fácilmente cómo termina. Esto obliga a la IA a escribir un razonamiento "robusto": una lógica que sea estable, clara y reutilizable.

¿Qué descubrieron?
El artículo probó esto en problemas difíciles de matemáticas y ciencias. Aquí están las principales conclusiones:

Más consistente: Cuando le pidieron a la IA que resolviera el mismo problema 64 veces, el método de "Transferencia" (RLTR) obtuvo la respuesta correcta con más frecuencia cuando se tomó la mayoría de los votos. El método antiguo (RLVR) a veces acertaba, pero su razonamiento era tan inestable que los diferentes intentos a menudo discrepaban entre sí.
Aprendizaje más rápido: Este nuevo método aprendió más rápido. Alcanzó el mismo nivel de rendimiento que el método antiguo en aproximadamente 2.5 veces menos pasos de entrenamiento. Es como recibir una mejor educación en la mitad del tiempo porque las lecciones son más claras.
Funciona en problemas más difíciles: El beneficio fue aún mayor en las competencias matemáticas más difíciles (como AIME y AMC). Cuando los problemas son complicados, tener un proceso de pensamiento claro y transferible importa más que simplemente adivinar un número.
No es solo matemáticas: También probaron esto en preguntas de ciencias, y funcionó allí también, lo que sugiere que esta habilidad de "pensamiento claro" se aplica a muchos tipos de problemas.

En pocas palabras:
El artículo argumenta que ser "correcto" no es suficiente. El razonamiento de una IA debe ser tan sólido y claro que, si se le entrega a otra IA a mitad de camino, esa segunda IA pueda retomar el hilo y terminar el trabajo perfectamente. Al entrenar a la IA para que sea "transferible", esta se vuelve más inteligente, más consistente y aprende mucho más rápido.

Resumen Técnico: Más allá de la corrección: Aprendizaje de razonamiento robusto mediante transferencia

1. Planteamiento del problema

Si bien el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha mejorado significamente el razonamiento de los Grandes Modelos de Lenguaje (LLM) al reemplazar los modelos de recompensa aprendidos con la verificación basada en reglas de las respuestas finales, sufre de una limitación crítica: optimiza únicamente la corrección de la respuesta final. Este enfoque no logra asegurar la robustez del propio proceso de razonamiento.

En entornos prácticos, los modelos que producen respuestas correctas de forma esporádica pero inconsistente a través de diferentes rutas de muestreo o variaciones de decodificación son menos valiosos que aquellos que generan un razonamiento estable y reproducible. Trabajos previos indican que el RLVR puede conducir a trayectorias de razonamiento "frágiles" donde aumentar el número de muestras ( $K$ ) no mejora, e incluso puede degradar, la precisión de la votación por mayoría (Maj@K). El paradigma actual carece de un incentivo para que los pasos intermedios de razonamiento sean estables, interpretables o reutilizables por otros modelos.

2. Metodología: Aprendizaje por Refuerzo con Recompensa Transferible (RLTR)

Los autores proponen RLTR, un marco que operacionaliza el razonamiento robusto a través del concepto de transferibilidad de razonamiento. La filosofía central es que el razonamiento robusto debe seguir siendo útil más allá del modelo específico que lo produjo; debe sobrevivir a la truncación, la reinterpretación y la continuación.

Mecanismo Central

RLTR aumenta el objetivo estándar de RLVR con una Recompensa de Transferencia. El proceso de entrenamiento involucra dos modelos:

Modelo Generador ( $M_{gen}$ ): Un modelo entrenable que produce una traza de razonamiento completa y una respuesta final.
Modelo Receptor ( $M_{rcv}$ ): Un modelo separado y congelado utilizado para evaluar la calidad del razonamiento intermedio del generador.

El Proceso de Recompensa de Transferencia:

El generador produce una secuencia de razonamiento $y_{gen}$ .
La traza de razonamiento se trunca en una proporción aleatoria $\tau \in (0, 1]$ para crear un prefijo $y_{gen}[:\ell]$ .
Este prefijo se introduce en el modelo receptor congelado, el cual intenta completar el razonamiento y generar una respuesta final.
La Recompensa de Transferencia ( $R_{trans}$ ) es binaria: es 1 si la respuesta completada por el receptor coincide con la verdad fundamental (ground truth), y 0 en caso contrario.

Función de Objetivo:
La recompensa total para el generador es una combinación ponderada de la recompensa de respuesta estándar y la recompensa de transferencia:
$R_{RLTR}(y_{gen}, M_{rcv}) = R_{RLVR}(y_{gen}) + t \cdot R_{trans}(y_{gen}, M_{rcv})$
Donde $R_{RLVR}$ incluye la corrección de la respuesta y las recompensas de formato, y $t$ es el peso para el componente de transferencia. El generador se optimiza utilizando la Optimización de Política Relativa de Grupo (GRPO) para maximizar esta recompensa combinada.

3. Contribuciones Clave

Marco Novedoso: Introducción de RLTR, el primer marco de RLVR que incentiva explícitamente a los LLM a producir trazas de razonamiento que sean transferibles entre diferentes modelos.
Supervisión a Nivel de Proceso: A diferencia de los Modelos de Recompensa de Proceso (PRM) que requieren anotaciones densas a nivel de paso y verificadores aprendidos, RLTR logra la supervisión a nivel de proceso utilizando únicamente la verificación de la respuesta de verdad fundamental, sin costos de anotación adicionales ni entrenamiento de modelos de recompensa auxiliares.
Consistencia Mejorada: Demostración de que la optimización de la transferibilidad mejora directamente la consistencia de muestreo (Maj@K), abordando la fragilidad observada en el RLVR estándar.
Eficiencia de Muestreo: El marco logra un rendimiento comparable o superior al de RLVR con significativamente menos pasos de entrenamiento (aproximadamente 2.5 $\times$ menos en MATH-500).

4. Resultados Experimentales

Los autores evaluaron RLTR en múltiples pruebas de referencia de razonamiento matemático y científico, incluyendo MATH-500, GSM8K, AMC23, AIME2024 y GPQA.

Precisión y Consistencia: RLTR supera consistentemente tanto al modelo base como a los modelos entrenados con RLVR en las métricas de precisión promedio y Maj@K.
- En MATH-500, RLTR mejoró Maj@64 del 82.6% (RLVR) al 84.2%, mientras que también elevó la precisión promedio del 71.0% al 77.0%.
- En AMC23, RLTR mejoró Maj@64 del 61.7% al 67.5%.
- En GPQA (razonamiento científico), RLTR mejoró la precisión promedio del 33.0% al 34.8% y Maj@16 del 36.8% al 37.7%, demostrando la generalización agnóstica al dominio.
Dinámicas de Entrenamiento:
- Velocidad: RLTR alcanza el nivel de precisión de RLVR en aproximadamente 2.5 $\times$ menos pasos de entrenamiento.
- Correlación: Existe una fuerte correlación positiva entre el crecimiento de la transferibilidad y Maj@K durante el entrenamiento. En contraste, los modelos RLVR a menudo muestran una degradación en la transferibilidad y en Maj@K en las etapas finales del entrenamiento a pesar de una precisión promedio estable.
Estudios de Ablación:
- Ratio de Recompensa: Aumentar el peso de la recompensa de transferencia ( $t$ ) impulsa significativamente la consistencia de alto K (Maj@K), confirmando que la transferibilidad es una señal distinta y valiosa.
- Modelos Receptores: El método sigue siendo efectivo incluso con modelos receptores más pequeños (por ejemplo, 1.5B de parámetros), aunque los receptores más fuertes producen una mejor consistencia de alto K.
- Diversidad: A diferencia de RLVR, que tiende a reducir la diversidad (Pass@K) al concentrarse en patrones de solución específicos, RLTR mantiene o mejora el Pass@K mientras aumenta la precisión.
Costo Computacional: Aunque RLTR introduce computación adicional mediante el modelo receptor, es más eficiente computacionalmente en su conjunto. Para alcanzar el mismo rendimiento que RLTR, RLVR requiere aproximadamente 2.3 $\times$ más costo computacional (FLOPs).

5. Significado y Reivindicaciones

El artículo sostiene que optimizar la transferibilidad del razonamiento conduce a un razonamiento de LLM más robusto. Al tratar el razonamiento como una forma de "transferencia de significado" que debe sobrevivir a la interrupción y la completitud, RLTR incentiva a los modelos a generar caminos de razonamiento estables, interpretables y genuinamente generalizables.

Los autores posicionan este trabajo como una solución al cuello de botella de la evaluación de "solo resultado" en los métodos actuales de RLVR. Argumentan que el razonamiento robusto no es simplemente ser correcto, sino que consiste en ser explicable de una manera que otros puedan seguir de forma fiable. Este enfoque ofrece un camino hacia agentes de IA más confiables en dominios complejos (como el descubrimiento científico o la programación) donde la consistencia y la reproducibilidad son tan críticas como la precisión bruta, todo ello reduciendo la carga computacional del entrenamiento.