Resumen Técnico: Geometría del Espacio de Pesos en el Entrenamiento de Razonamiento Offline

Planteamiento del Problema

Las pérdidas de aprendizaje por refuerzo (RL) offline —como RFT, RIFT, DFT, Offline GRPO y DPO— se utilizan cada vez más para destilar capacidades de razonamiento de modelos maestros grandes hacia modelos estudiantes más pequeños. Aunque estos métodos se comparan rutinariamente basándose en la precisión de los benchmarks posteriores, su distinción mecánica sigue siendo desconocida. Específicamente, no está claro si las diferentes formulaciones de pérdida producen actualizaciones de pesos cualitativamente distintas o si simplemente convergen hacia direcciones similares en el espacio de pesos. Esta distinción es crítica para los profesionales que seleccionan funciones de pérdida y para los investigadores que interpretan si el "RL offline" representa un único mecanismo o una familia diversa de enfoques.

Metodología

Los autores llevaron a cabo una comparación controlada del espacio de pesos de seis métodos de entrenamiento de razonamiento offline: SFT (Ajuste Fino Supervisado), RFT (Ajuste Fino Basado en Recompensa), DFT (Ajuste Fino con Desponderación), RIFT (Ajuste Fino de Contexto con Pesado de Recompensa), Offline GRPO y DPO (Optimización de Preferencia Directa).

Configuración Experimental:

• Modelo Base: Qwen3-4B-Instruct.
• Datos: Rollouts matemáticos idénticos generados por un modelo maestro (DeepSeek-V4-Flash) sobre prompts de DeepScaleR (~40k problemas matemáticos verificados). Todos los métodos utilizaron los mismos datos, excepto DPO, que consumió ~1.8K muestras pareadas (elegida, rechazada) derivadas de los mismos rollouts, mientras que los demás usaron ~75K filas.
• Arquitectura: LoRA aplicado únicamente a las proyecciones de atención (q, k, v, o) con rango 32 y $\alpha=64$ a través de 144 módulos.
• Protocolo de Entrenamiento: Hiperparámetros idénticos (tamaño de lote 32, programación de coseno, 5% de warmup) excepto por las tasas de aprendizaje. Todos los métodos utilizaron una tasa de aprendizaje (LR) máxima de $5 \times 10^{-6}$, excepto DPO, que utilizó $5 \times 10^{-7}$ (una LR 10$\times$ menor según la convención estándar). El entrenamiento se ejecutó durante 1,500 pasos, con los resultados reportados en el paso 1,000.
• Métricas de Análisis: El estudio analizó los deltas de peso de LoRA ($\Delta W$) resultantes mediante:
  1. Similitud de coseno (global y por capa).
  2. Análisis de subespacio de ángulos principales (SVD de los 10 vectores singulares superiores).
  3. Conectividad de modo lineal (interpolando deltas y midiendo la entropía cruzada en GSM8K).
  4. Alineación de Núcleo Centrado (CKA) de los estados ocultos.

Contribuciones Clave y Resultados

1. Convergencia de los Métodos de MLE con Pesado de Recompensa

Los autores encontraron que SFT, RFT y RIFT convergen a deltas de peso casi colineales.

• Geometría: Las similitudes de coseno entre estos métodos son $\ge 0.97$, con ángulos principales superiores de alrededor de $7^\circ$ (mediana).
• Rendimiento: Logran una precisión en GSM8K estadísticamente indistinguible (87–88%, $p \ge 0.15$ mediante la prueba de McNemar).
• Implicación: Filtrar muestras negativas (RFT) o ponderarlas con recompensas (RIFT) no cambia la dirección de la actualización respecto al SFT simple; principalmente ajusta el tamaño del paso (norma de Frobenius).

2. Divergencia de DFT

A pesar de ser una modificación mínima de SFT (desponderar tokens con alta confianza mediante un único factor multiplicativo), DFT produce una actualización significativamente más distintiva que cualquier método de pesado por recompensa explícito.

• Geometría: DFT muestra un coseno de $\sim 0.57$ respecto a SFT, divergiendo más que los métodos de pesado por recompensa.
• Rendimiento: La precisión permanece comparable a SFT/RFT/RIFT, lo que sugiere que comparten la misma cuenca de pérdida a pesar del cambio direccional.

3. Offline GRPO: Componentes Ortogonales dentro de una Cuenca

Offline GRPO introduce un componente sustancial ortogonal a la dirección de SFT, permaneciendo dentro de la misma cuenca de pérdida.

• Geometría: Añade un componente globalmente ortogonal de $\sim 67\%$, que aumenta a $\sim 86\%$ en las capas finales. El coseno respecto al clúster de SFT es de $\sim 0.74$.
• Conectividad: La interpolación lineal entre Offline GRPO y SFT/RIFT no muestra barreras, lo que indica que comparten la misma cuenca de optimización.
• Rendimiento: La precisión es comparable a SFT/RFT/RIFT (87.3%).

4. DPO: Un Subespacio Distinto y Pico de Precisión

DPO ocupa un subespacio casi ortogonal y logra la mayor precisión en el protocolo del estudio.

• Geometría: DPO es casi ortogonal a todos los demás métodos (coseno $\le 0.065$ respecto a SFT/RFT/RIFT). Opera en un subespacio de rango efectivo mayor (rango $\sim 24.5$ frente a $\sim 16$ para los otros) pero con una norma de Frobenius mucho menor.
• Conectividad: La interpolación lineal entre DPO y otros métodos revela una barrera aguda (aumento no monotónico de la pérdida), lo que indica cuencas de solución distintas.
• Similitud de Representación: La CKA colapsa a $\sim 0.46$ en las capas finales, confirmando representaciones internas distintas.
• Rendimiento: DPO alcanza un 93.5% en GSM8K y un 30.0% en AIME26, superando significativamente a todos los demás métodos ($p < 10^{-9}$ en GSM8K).
• Advertencia: Los autores señalan que el rendimiento superior de DPO está entrelazado con su LR 10$\times$ menor y el uso de ~40$\times$ menos filas de entrenamiento. La brecha de precisión no puede atribuirse limpiamente solo a la función de pérdida sin una comparación emparejada de la tasa de aprendizaje.

5. El Papel del Muestreo On-Policy

Un hallazgo crítico involucra la comparación entre Offline GRPO y Online GRPO.

• Offline GRPO (entrenado sobre rollouts fijos) permanece parcialmente alineado con SFT (fracción ortogonal 0.67).
• Online GRPO (entrenado sobre rollouts on-policy) se vuelve casi enteramente ortogonal a SFT (fracción ortogonal 0.998).
• Conclusión: La convergencia direccional observada entre SFT y Offline GRPO es en parte un artefacto de entrenar sobre los mismos rollouts fijos. Reemplazar estos con muestras on-policy rompe esta convergencia, empujando la actualización hacia un subespacio completamente diferente.

Significancia y Afirmaciones

El artículo argumenta que el panorama del "razonamiento offline" no es monolítico, sino que consiste en regímenes geométricos distintos:

1. Clúster de MLE con Pesado de Recompensa: SFT, RFT y RIFT son mecánicamente similares, diferenciándose solo en la magnitud del paso.
2. Desplazadores Intermedios: DFT y Offline GRPO desplazan la dirección pero permanecen dentro de la misma cuenca de pérdida de SFT.
3. Regímenes Ortogonales: DPO y los métodos On-Policy (como Online GRPO) operan en subespacios casi ortogonales con geometrías de representación distintas.

Los autores enfatizan que, aunque DPO logra la mayor precisión, este resultado está confundido por la configuración del optimizador (específicamente la tasa de aprendizaje). Por lo tanto, el artículo no afirma que DPO sea causalmente superior debido únicamente a su función de pérdida, sino que ocupa un espacio geométrico único que, bajo el protocolo específico utilizado, produce mejores resultados. El estudio destaca que el "RL offline" no nombra un único mecanismo; más bien, la elección de los datos (fijos vs. on-policy) y la función de pérdida determinan conjuntamente la trayectoria en el espacio de pesos.

Limitaciones: El estudio se limita a un único dominio (matemáticas), un único checkpoint de modelo base y LoRA centrado solo en la atención. La comparación de DPO se reconoce como imperfecta debido a la discrepancia en la tasa de aprendizaje, y un barrido completo de la familia contrastiva (IPO, KTO, SimPO) queda para trabajos futuros.