Resumen Técnico: Eficiencia Muestral Demostrable del Entrenamiento Posterior con Currículo para el Razonamiento de Transformadores

1. Declaración del Problema

Aunque el aprendizaje con currículo (progresar de tareas fáciles a difíciles) ha demostrado éxito empírico en la mejora de las capacidades de razonamiento de los Modelos de Lenguaje Grandes (LLM) durante el entrenamiento posterior, sus fundamentos teóricos permanecen incompletos. Las garantías teóricas existentes para el aprendizaje con currículo se aplican en gran medida a entornos de pre-entrenamiento o entrenamiento desde cero con clases de funciones específicas (por ejemplo, regresión convexa, paridad). Estas no explican directamente por qué las estrategias de currículo son efectivas en escenarios de entrenamiento posterior, donde un modelo base pre-entrenado robusto se ajusta fino para generalizar el razonamiento explícito de Cadena de Pensamiento (CoT).

La pregunta central abordada es: ¿Cuándo, por qué, cómo y en qué sentido pueden las estrategias de currículo en el entrenamiento posterior mejorar teóricamente el rendimiento en comparación con el entrenamiento posterior directo sin currículos? Específicamente, el artículo investiga si los currículos pueden mitigar el "cuello de botella de complejidad muestral" inherente a las tareas de razonamiento con recompensas escasas, donde las trayectorias de razonamiento correctas son raras bajo la política base.

2. Metodología y Marco Teórico

2.1. Marco Abstracto: Cobertura y Complejidad Muestral

Los autores formalizan el entrenamiento posterior con currículo definiendo la "dificultad" mediante el coeficiente de cobertura ($\|\pi^* / \pi_{ref}\|_\infty$), que mide la rareza de un CoT correcto bajo la política base ($\pi_{ref}$) en relación con la política objetivo óptima ($\pi^*$).

• Entrenamiento Posterior Directo: Requiere un muestreo proporcional a la dificultad completa de la tarea objetivo.
• Entrenamiento Posterior con Currículo: Divide la tarea en $L$ subtasas intermedias.
• Insight Clave (Corolario 1): El entrenamiento posterior con currículo produce mejoras exponenciales en la eficiencia muestral si y solo si la dificultad acumulada de las etapas del currículo no es mayor (hasta constantes) que la dificultad del objetivo final. Específicamente, si la complejidad muestral de cada etapa escala como la raíz $L/p$-ésima de la complejidad total, el costo total escala linealmente con $L$, mientras que el entrenamiento directo escala exponencialmente.

2.2. Modelado del Razonamiento: 2S-ART

Para sustentar este marco dentro de las arquitecturas de transformadores, el artículo introduce el Árbol de Razonamiento Autoregresivo Condicionado a 2 Estados (2S-ART).

• Estructura: El razonamiento se modela como un proceso autoregresivo condicionado al estado donde el modelo selecciona un índice $i_\ell$ de un conjunto legal $I_\ell$ y actualiza un estado de razonamiento $z_\ell$ mediante una función $\Phi_\ell(z_{\ell-1}, v_{i_\ell})$.
• Suposición del Modelo Base: El modelo base pre-entrenado (PART) se modela como un muestreador uniforme sobre hijos legales en cada profundidad. Esto conduce a una decadencia exponencial en la probabilidad de generar un CoT correcto de longitud $\ell$ (escalando como $\Theta(d^{-(\ell+1)})$).
• Realización con Transformador: Los autores demuestran que una arquitectura estándar de transformador puede replicar fielmente este proceso de razonamiento probabilístico (Teorema 1), donde los mecanismos de atención seleccionan índices y las Redes de Alimentación Avanzada (FFN) realizan las actualizaciones de estado (por ejemplo, operaciones XOR).

2.3. Estrategias de Currículo

Se analizan dos estrategias de currículo específicas dentro de este marco:

1. Currículo de Profundidad Creciente: Extiende progresivamente el horizonte de razonamiento (por ejemplo, entrenando en CoTs de longitud 1, luego 2, etc.).
2. Currículo de Pistas Decrecientes: Proporciona prefijos correctos parciales de CoT (pistas) y reduce gradualmente su longitud, forzando al modelo a completar sufijos más largos.

2.4. Configuraciones de Aprendizaje

La teoría se aplica a dos configuraciones:

• Ajuste Fino con RL: Optimización de una política utilizando recompensas basadas en resultados (señales 0/1) mediante REINFORCE.
• Escalado en Tiempo de Prueba: Identificación de la trayectoria de razonamiento correcta en el momento de la inferencia utilizando oráculos de recompensa.

3. Contribuciones Clave y Resultados Teóricos

3.1. Corolario General del Cuello de Botella

El artículo establece el Corolario 1, una condición suficiente general que muestra que si un currículo descompone una tarea de tal manera que la dificultad de cada etapa está acotada por una raíz de la dificultad total, la complejidad muestral cambia de exponencial a polinómica.

3.2. Reducción de Exponencial a Polinómica en el Ajuste Fino con RL (Teorema 2)

Para la configuración 2S-ART (específicamente instanciada con el problema de Paridad Escasa):

• Sin Currículo: El ajuste fino directo requiere una complejidad muestral $N_\epsilon \ge \tilde{\Omega}(d^{2k^*+2})$, donde $k^*$ es la profundidad de razonamiento y $d$ es la dimensión de entrada. Esto constituye un cuello de botella exponencial.
• Con Currículo (Profundidad/Pistas): Tanto los currículos de profundidad creciente como los de pistas decrecientes reducen la complejidad muestral a $N_\epsilon \le \tilde{O}((k^*+1)d^2)$.
• Mecanismo: Los currículos evitan que el modelo se abrume por CoTs "espurios" (hackeo de recompensas) que producen respuestas finales correctas por azar pero siguen trayectorias de razonamiento incorrectas. Al centrarse en pasos intermedios, la señal de gradiente permanece informativa.

3.3. Reducción de Exponencial a Polinómica en el Escalado en Tiempo de Prueba (Teorema 3)

• Sin Currículo: Identificar la trayectoria de verdad fundamental utilizando solo recompensas terminales requiere $T_{data}, T_{comp} \ge \tilde{\Omega}(d^{2k^*})$ consultas al oráculo y muestras del modelo.
• Con Currículo: Utilizar un oráculo de currículo (que valida pasos intermedios) reduce la complejidad a $T_{data} \le \tilde{O}((k^*+1)d^2)$ y $T_{comp} \le \tilde{O}((k^*+1)d^3)$.

3.4. Validación Empírica

• Experimentos Sintéticos: En la tarea de paridad, los métodos con currículo convergieron con significativamente menos muestras (por ejemplo, $n \approx 76$ frente a $n \approx 1.6 \times 10^6$ para el entrenamiento directo) y aprendieron las dependencias de atención correctas (relaciones padre-hijo), mientras que el entrenamiento directo falló en distinguir señales informativas de correlaciones espurias.
• Experimentos a Gran Escala: Evaluados en los benchmarks Countdown, MATH y Blocksworld utilizando un modelo base Qwen2.5-1.5B-Instruct.
  • Ambas estrategias de currículo superaron generalmente al modelo base y al ajuste fino GRPO sin currículo.
  • Countdown: La estrategia de pistas decrecientes logró el mejor promedio general.
  • MATH: La estrategia de profundidad creciente logró el mejor promedio general.
  • Blocksworld: Las ganancias fueron menores y más dependientes del tipo específico de currículo, lo que sugiere sensibilidad a la estructura de la tarea.

4. Significado y Afirmaciones

El artículo afirma proporcionar la primera comprensión teórica fundamentada de por qué el entrenamiento posterior con currículo mejora la eficiencia muestral para el razonamiento de transformadores.

• Brecha Teórica: Cierra la brecha entre las observaciones empíricas del aprendizaje con currículo y la teoría rigurosa, avanzando más allá de beneficios "intuitivos" hacia reducciones demostrables de exponencial a polinómica en la complejidad muestral.
• Mecanismo: Identifica que el beneficio principal surge de superar la rareza de las trayectorias de razonamiento correctas bajo la política base. Al descomponer la tarea, los currículos aseguran que el modelo aprenda la estructura de dependencia correcta (por ejemplo, atención al token anterior correcto) antes de enfrentar la complejidad completa del problema, evitando así el fenómeno de "hackeo de recompensas" donde los modelos aprenden atajos que funcionan para la respuesta final pero fallan en generalizar el proceso de razonamiento.
• Generalidad: Aunque las pruebas se instancian en 2S-ART (que cubre paridad, conteo y recorrido de grafos), los autores argumentan que el mecanismo subyacente basado en cobertura (Corolario 1) sugiere que estos beneficios podrían extenderse a otros regímenes de entrenamiento posterior y arquitecturas de modelos, incluidos los modelos de lenguaje de difusión.

El trabajo no afirma que los currículos sean universalmente superiores para todas las tareas o que eliminen la necesidad de datos a gran escala; más bien, demuestra que cuando una tarea puede descomponerse en una secuencia de subtareas con aumentos controlados de dificultad, el entrenamiento posterior con currículo ofrece un camino demostrable hacia un aprendizaje eficiente que el entrenamiento directo no puede lograr.