Resumen Técnico: De Trazas de Razonamiento a Módulos Reutilizables

Declaración del Proble de Investigación

Los procesos de post-entrenamiento que combinan el Ajuste Fino Supervisado (SFT) y el Aprendizaje por Refuerzo (RL) han impulsado recientemente mejoras significativas en las capacidades de razonamiento de los Grandes Modelos de Lenguaje (LLMs). Empíricamente, el SFT por sí solo suele conducir a modelos que memorizan trazas de razonamiento "doradas" canónicas, pero fallan cuando se les requiere recombinar pasos familiares de formas desconocidas (composiciones fuera de la distribución o OOD). Por el contrario, un SFT seguido de RL maneja tales composiciones OOD de manera más fiable. Sin embargo, el mecanismo subyacente que impulsa este éxito combinado sigue sin estar claro: específicamente, qué contribuciones distintas realizan el SFT y el RL, y qué configuraciones de datos son óptimas para cada etapa.

Metodología

Marco Teórico: Modelo de Selección Latente Jerárquica

Los autores formalizan el razonamiento como un Modelo de Selección Latente Jerárquica. En este marco:

• Descriptor del Problema ($P$): El prompt de entrada induce una jerarquía de variables de selección latentes discretas.
• Variables Latentes ($S$): Estas variables seleccionan de una biblioteca de módulos atómicos reutilizables:
  • Habilidades (Skills): Operaciones locales (p. ej., pasos aritméticos, reglas de reescritura).
  • Mecanismos de Enrutamiento (Routing Mechanisms): Decisiones sobre cómo se selecciona, reutiliza y compone la información intermedia (p. ej., el reenvío de salidas previas, ramificación).
• Traza Observable ($D$): La traza de razonamiento final es generada por la cascada de estas selecciones.

La hipótesis central es que las trazas de razonamiento se generan componiendo estos módulos atómicos. El SFT proporciona la materia prima (trazas que contienen estos módulos), mientras que el RL es responsable de descomponer estas trazas compuestas para identificar los módulos latentes y permitir su recombinación flexible.

Contribuciones Teóricas

El artículo establece dos resultados teóricos clave:

1. Identificabilidad (Teorema 3.1): Bajo condiciones leves (fidelidad, fidelidad de rango, conjuntos de elección restringidos y cobertura de vecindad), la jerarquía de selección latente (habilidades y enrutamiento) es identificable a partir de la distribución observable de trazas.
2. Generalización Composicional (Teorema 3.4): Una vez identificados los módulos, estos pueden recombinarse en nuevas composiciones si cada configuración local en el nuevo prompt tiene un "testigo local" en los datos de entrenamiento (es decir, la interfaz entre los módulos ha sido observada durante el entrenamiento).

Los autores caracterizan además los roles del SFT y el RL mediante el análisis de soporte:

• Limitaciones del SFT (Proposición 3.2): El SFT sobre trazas canónicas a menudo deja los módulos atómicos "entrelazados" con sus contextos específicos porque revela solo un subconjunto de trazas válidas. Los eventos locales críticos que podrían desenredar los módulos pueden quedar fuera del soporte del SFT.
• Mecanismo del RL (Proposición 3.3): El RL enriquece la distribución mediante el re-muestreo de ejecuciones (rollouts) basadas en la recompensa. Si un evento local "oculto" (p. ej., una elección de enrutamiento específica) conduce a mayores recompensas, el RL aumenta su probabilidad, descomponiendo efectivamente la traza entrelazada y haciendo que el módulo atómico sea identificable.

Configuración Empírica

Para validar estas teorías, los autores realizaron experimentos controlados en tareas sintéticas de transformación de cadenas (basadas en Yuan et al., 2025).

• Habilidades Atómicas: 24 funciones deterministas de transformación de cadenas.
• Mecanismos de Enrutamiento: 10 definiciones distintas de estructura de entrada (que determinan qué salidas intermedias alimentan el siguiente paso).
• Protocolo: Los modelos fueron entrenados en trazas de profundidades ($L$) variables. El estudio intervino sistemáticamente en la estructura de los datos para probar:
  • La descomposición de trazas compuestas en átomos.
  • La necesidad de exposición composicional frente a la exposición atómica aislada.
  • La relación distributiva óptima entre los datos de SFT y RL (solapamiento vs. disjuntos).
• Evidencia Suplementaria: Análisis de modelos de código abierto (Qwen3-4B) en benchmarks matemáticos del mundo real (MATH, AIME) para observar la tokenización de habilidades y la diversidad de n-gramas.

Resultados Clave

1. El RL Descompone y Recombina: Los modelos entrenados con RL sobre trazas compuestas ($L=3$) superaron significativamente a los modelos de solo SFT en composiciones no vistas ($L=4$ a $L=8$). El RL permitió al modelo recuperar habilidades atómicas y mecanismos de enrutamiento a partir de trazas compuestas y recombinarlos para la generalización.
2. Las Trazas Compuestas son Superiores para el RL: Cuando el RL fue entrenado en módulos atómicos aislados ($L=1$) frente a trazas compuestas ($L=3$), estas últimas produjeron una precisión OOD significativamente mayor (+37.8% de ganancia frente a +10.0% de ganancia). Esto confirma que la exposición a las interfaces de los módulos (composiciones) es crítica para aprender cómo recombinarlos.
3. La Re-inyección Requiere Composición: Cuando se retuvieron habilidades atómicas o enrutadores específicos del entrenamiento de RL, el rendimiento cayó. La simple re-inyección de habilidades atómicas aisladas ($L=1$) no restauró el rendimiento. El rendimiento solo se recuperó cuando se re-inyectaron trazas composicionales que contenían los átomos retenidos, demostiendo que los átomos deben aprenderse dentro de un contexto composicional para ser reutilizables.
4. Emparejamiento Óptimo de Datos SFT-RL: La generalización OOD más fuerte ocurrió cuando las distribuciones de datos de SFT y RL eran disjuntas ($C_{SFT} \cap C_{RL} = \emptyset$).
   • Rol del SFT: Debe cubrir el inventario completo de módulos atómicos a través de trazas composicionales.
   • Rol del RL: Debe centrarse en composiciones novedosas fuera del soporte del SFT para impulsar la exploración e identificar nuevas interfaces.
   • Los datos con solapamiento ($C_{SFT} \supset C_{RL}$) resultaron en la más débil generalización.
5. Evidencia de Modelos Reales: El análisis de los modelos Qwen3 mostró que los modelos ajustados con RL exhibieron una mayor diversidad en n-gramas de habilidades cortas (n=2, 3), lo que indica una recombinación local más flexible de pasos abstractos, consistente con el modelo teórico de reutilización modular.

Significancia y Reivindicaciones

El artículo afirma proporcionar una explicación de variable latente para el éxito de los procesos de post-entrenamiento SFT+RL en el razonamiento composicional. Su principal significancia radica en:

• Formalizar el Mecanismo: Ir más allá de la observación empírica hacia un marco teórico donde el SFT suministra "materiales" (trazas entrelazadas) y el RL realiza la "descomposición" (identificación de módulos latentes mediante la expansión del soporte impulsada por la recompensa).
• Diseño de Currículo: Ofrecer un protocolo concreto para el post-entrenamiento: el SFT debe asegurar la cobertura de todos los módulos atómicos mediante composiciones, mientras que el RL debe dirigirse a composiciones novedosas para explorar nuevas interfaces.
• Condiciones de Identificabilidad: Proporcionar condiciones suficientes bajo las cuales las estructuras de razonamiento latentes pueden recuperarse de los datos observados, vinculando el éxito del RL con el enriquecimiento de los "testigos locales" necesarios para la generalización composicional.

Los autores posicionan este trabajo como un paso hacia la comprensión de cómo los LLM aprenden a razonar de manera composicional, sugiriendo que la "caja negra" del RL es, efectivamente, un mecanismo para descubrir y recombinar unidades de razonamiento atómicas reutilizables.