How Fast Should a Model Commit to Supervision? Training Reasoning Models on the Tsallis Loss Continuum

1. Planteamiento del Problema

El artículo aborda dos modos de fallo críticos en el entrenamiento de modelos de razonamiento (modelos que generan cadenas de pensamiento latentes antes de responder) utilizando únicamente supervisión a nivel de salida:

1. Estancamiento de Arranque en Frío: Cuando la probabilidad inicial de éxito ($p_0$) es muy baja, el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) estándar y sus variantes (como GRPO o REINFORCE de Rao-Blackwellizado) a menudo no logran progresar. La señal del gradiente es demasiado débil para escapar del régimen de "arranque en frío".
2. Memorización de Ruido: Por el contrario, los métodos que empujan agresivamente al modelo a ajustar la distribución de entrenamiento (como el Ajuste Fino Supervisado estándar o la Estimación de Máxima Verosimilitud) tienden a memorizar errores de etiquetas y ruido, reduciendo la generalización y la autoconsistencia.

Los enfoques existentes tratan estos problemas por separado. Los autores argumentan que son dos extremos de un espectro gobernado por el "compromiso" del modelo con la señal de supervisión. Proponen un marco teórico unificado para equilibrar la velocidad de escape de los arranques en frío frente a la robustez ante el ruido.

2. Metodología: El Continuo de Pérdida $J_Q$

La contribución central es la definición de una familia de pérdidas, $J_Q$, derivada del logaritmo $q$ de Tsallis. Esta familia interpola entre dos polos:

• Polo de Explotación ($q=0$): Corresponde a maximizar la precisión esperada (equivalente a RLVR con recompensas de coincidencia exacta). La pérdida está acotada ($1 - P_\theta$).
• Polo de Estimación de Densidad ($q=1$): Corresponde a maximizar la verosimilitud marginal-logarítmica sobre trayectorias latentes (equivalente a SFT/ML estándar). La pérdida no está acotada ($-\log P_\theta$).

Insight Teórico Clave: Amplificación del Gradiente

Todos los miembros de la familia $J_Q$ comparten la misma dirección de gradiente por ejemplo, diferenciándose únicamente por un factor de amplificación escalar:
$$\nabla_\theta \ell_q = P_\theta^{-q} \nabla_\theta \ell_0 = P_\theta^{1-q} \nabla_\theta \ell_1$$
Donde $P_\theta = p_\theta(y^*|x^*)$ es la probabilidad de éxito condicional del modelo.

• El Parámetro $q$ (Compromiso): Controla cuánto se amplifica el gradiente para ejemplos "difíciles" (baja $P_\theta$).
  • Baja $q$ (cerca de 0): Amplificación mínima. El modelo se enfoca en lo que ya conoce (robusto al ruido) pero escapa del arranque en frío lentamente (tiempo $\Omega(1/p_0)$).
  • Alta $q$ (cerca de 1): Amplificación masiva para ejemplos de baja probabilidad. El modelo explora agresivamente la supervisión desconocida, escapando del arranque en frío rápidamente (tiempo $\Theta(\log(1/p_0))$) pero arriesgándose a memorizar ruido.

Estimadores del Gradiente

Dado que $P_\theta$ es intratable (implica sumar sobre todas las trayectorias latentes), los autores derivan dos estimadores de Monte Carlo basados en la factorización dual del gradiente:

1. GARL (RL con Gradiente Amplificado):

   • Mecanismo: Muestra trayectorias desde el prior $p_\theta(z|x^*)$ y amplifica el gradiente estándar de RL por $(\bar{w}_M)^{-q}$.
   • Características: Menor varianza, generaliza RB-REINFORCE ($q=0$) e IWAE ($q=1$).
   • Caso de Uso: Esencial para escenarios de arranque en frío donde el muestreo posterior no produce trayectorias válidas.

2. PAFT (Ajuste Fino Atenuado por Posterior):

   • Mecanismo: Re-muestrea por importancia trayectorias desde el posterior (aquellas que coinciden con la respuesta) y atenúa el gradiente de SFT por $(\bar{w}_M)^{1-q}$.
   • Características: Produce gradientes semánticamente coherentes (solo actualiza sobre racionalizaciones válidas) pero tiene mayor varianza debido al ruido de re-muestreo. Generaliza el paso E del EM ($q=1$).
   • Caso de Uso: Más estable durante el entrenamiento de arranque en caliente, previniendo el "colapso" observado en GARL en conjuntos de datos complejos.

3. Contribuciones Clave

1. Marco Teórico Unificado: El artículo proporciona la primera cuenta teórica que unifica el estancamiento de arranque en frío y la memorización de ruido como una compensación controlada por el parámetro $q$.
2. Análisis de Velocidad de Escape: Las pruebas teóricas (Teoremas 5.1 y 5.2) demuestran que el tiempo para escapar del arranque en frío escala como $\Omega(1/p_0)$ para $q=0$, pero mejora a $\Theta(\log(1/p_0))$ para $q=1$. Esto explica por qué el RLVR estándar falla cuando $p_0$ es pequeño.
3. Estimadores Duales (GARL y PAFT): La derivación de dos estimadores prácticos y de reemplazo directo que permiten a los practicantes ajustar el nivel de "compromiso" sin cambiar la arquitectura del modelo.
4. Compensación Sesgo-Varianza: Análisis que muestra que, aunque una alta $q$ acelera el aprendizaje, introduce sesgo del estimador ($O(q/MP_\theta^{q+1})$), lo que hace necesarios valores intermedios de $q$ para un rendimiento óptimo.

4. Resultados Empíricos

Los autores evaluaron GARL y PAFT en tres benchmarks de razonamiento (FinQA, HotPotQA, MuSiQue) utilizando un modelo Qwen 3 de 0.6B.

• Rendimiento de Arranque en Frío:

  • GRPO estándar y $q=0$ (RB-RLOO) fallaron completamente (0% de precisión) en tareas de arranque en frío.
  • GARL con $q=0.75$ escapó con éxito del arranque en frío, logrando una precisión significativa (ej. 38.3% maj@16 en FinQA frente al 0% de GRPO).
  • $q=1$ escapó del arranque en frío pero sufrió una mayor memorización de ruido, resultando en una precisión final menor que la de $q=0.75$.

• Rendimiento de Arranque en Caliente:

  • FinQA: El entrenamiento fue estable en todos los $q$. GARL en $q=0.25$ logró los mejores resultados (38.7% maj@16), superando a GRPO en +11.8 puntos.
  • HotPotQA y MuSiQue: GARL colapsó (la precisión de validación cayó a cero) durante el entrenamiento en todos los valores de $q$ probados, probablemente debido a corrupción del término por trayectoria o sobreajuste.
  • Estabilidad de PAFT: PAFT no colapsó en ningún benchmark. PAFT en $q=0.75$ logró los mejores resultados estables en HotPotQA (47.9% maj@16, +14.4 sobre GRPO) y MuSiQue (22.4% maj@16).

• Independencia del Prompt: Sorprendentemente, el modelo GARL de arranque en frío (entrenado sin prompts específicos de tarea) superó al modelo GRPO de arranque en caliente (entrenado con prompts) en todas las métricas, lo que sugiere que un fuerte compromiso ($q \approx 0.75$) permite al modelo descubrir la estructura de la tarea directamente a partir de pares entrada-salida.

5. Significado e Implicaciones Prácticas

• Resolución del Cuello de Botella de Arranque en Frío: El artículo demuestra que el cuello de botella en RLVR no es solo la varianza del gradiente (abordada por la Rao-Blackwellización), sino la falta de amplificación del gradiente para ejemplos de baja probabilidad. Aumentar $q$ resuelve esto.
• Estrategia de Entrenamiento Dinámica: Los autores proponen una receta práctica:
  • Arranque en Frío: Usar GARL con alta $q$ ($\approx 0.75$) para forzar al modelo fuera del régimen de recompensa cero.
  • Arranque en Caliente: Si el entrenamiento es estable (ej. FinQA), usar GARL con baja $q$ ($\approx 0.25$) para minimizar el sesgo. Si el entrenamiento es inestable (ej. HotPotQA), cambiar a PAFT con alta $q$ ($\approx 0.75$) para mantener la estabilidad mediante gradientes coherentes.
• Más allá de RLVR: Este marco ofrece una forma principista de interpolar entre Aprendizaje por Refuerzo y Ajuste Fino Supervisado, avanzando más allá del pipeline rígido de "SFT luego RL" hacia un espectro continuo de compromiso.

En resumen, el artículo demuestra que el compromiso con la supervisión es un hiperparámetro ajustable. Al ajustar $q$, los practicantes pueden controlar la compensación entre la velocidad de aprendizaje (escapar de arranques en frío) y la robustez del aprendizaje (evitar la memorización de ruido), lo que conduce a un rendimiento de vanguardia en tareas complejas de razonamiento.