Resumen Técnico: Remodelación del Soporte Inducida por el Verificador en la Optimización On-Policy

1. Planteamiento del Problema

El artículo aborda una limitación crítica en el Aprendizaje por Refuerzo con Verificadores (RLVR) Continuo y On-Policy. Mientras que la literatura existente suele centrarse en si un modelo retiene el rendimiento en tareas previas (olvido catastrófico) tras adaptarse a un nuevo objetivo, este trabajo identifica un problema con visión de futuro: la Remodelación del Soporte Inducida por el Verificador.

El problema central es que optimizar una política para un verificador específico (por ejemplo, la corrección matemática) puede alterar la distribución de muestreo de la política de tal manera que las trayectorias exitosas para objetivos futuros (por ejemplo, el seguimiento de instrucciones) se vuelvan demasiado raras para ser muestreadas dentro de un presupuesto de rollouts fijo. Incluso si la capacidad subyacente no se ha "olvidado", es posible que la política ya no genere los comportamientos "exitosos" con la frecuencia necesaria para proporcionar una señal de entrenamiento positiva para etapas subsecuentes. Los autores definen el soporte efectivamente recompensable como el conjunto de trayectorias exitosas que permanecen lo suficientemente probables como para ser muestreadas bajo un presupuesto determinado.

2. Metodología

El estudio emplea un diseño experimental controlado y bidireccional utilizando dos familias de modelos (Qwen3-8B-Base y Qwen2.5-Math-7B) y dos objetivos de post-entrenamiento distintos:

1. Razonamiento Matemático (Math-RLVR): Entrenado con el conjunto de datos MATH, con un verificador que comprueba la corrección de la respuesta final.
2. Seguimiento de Instrucciones con Restricciones (IF-RLVR): Entrenado con IFTrain/IFBench, con verificadores que comprueban restricciones explícitas (formato, longitud, contenido).

Diseño Experimental

• Entrenamiento Bidireccional: Los autores entrenan una rama con Math-RLVR y miden su impacto en el soporte de IF, y viceversa.
• Entrenamiento Secuencial: Prueban el orden de las operaciones (Math $\to$ IF y IF $\to$ Math) para observar cómo la primera etapa restringe a la segunda.
• Métricas de Evaluación:
  • Pass@1 (mean@k): Tasa de éxito promedio.
  • Best@k: Si existe alguna trayectoria exitosa dentro de $k$ muestras (mide la capacidad de búsqueda).
  • Análisis de Cubetas de Prompts (Prompt Bucket Analysis): Categorización de prompts en "todo-incorrecto", "mixto" y "todo-correcto" basándose en $k=32$ rollouts.
  • Benchmarks Conjuntos: Uso de MathIF y ReasonIF para probar si una única respuesta satisface tanto la corrección como las restricciones.

Análisis de Mecanismo

• Distribución a Nivel de Token: Análisis de la divergencia de Jensen-Shannon (JS) para localizar dónde ocurren los cambios en la política.
• Intervenciones Causales: Forzar aperturas de respuesta específicas (ej. "Answer" vs. "Alright") durante la decodificación para probar si la elección del primer token afecta causalmente la búsqueda descendente.
• Estrategias de Mitigación: Prueba de Restricciones de la Política de Referencia (divergencia KL), Prioridades de Enrutamiento (SFT en tipos de apertura específicos) y Destilación On-Policy (OPD).

3. Resultados Clave

3.1 Remodelación Asimétrica del Soporte

• Math-RLVR $\to$ IF: Math-RLVR aumenta el éxito promedio en el seguimiento de instrucciones (pass@1) pero reduce significativamente el best@32. Los prompts se desplazan de "mixtos" (algunos éxitos, algunos fallos) hacia "todo-correcto" o "todo-incorrecto". Esta polarización reduce el número de prompts donde el muestreo puede recuperar un éxito, encogiendo efectivamente el soporte para el entrenamiento futuro de IF.
• IF-RLVR $\to$ Math: IF-RLVR reduce la capacidad de búsqueda matemática (best@k cae en todos los presupuestos probados de $k=4$ a $k=32$). Crucialmente, desplaza el estilo de respuesta de una Iniciación de Razonamiento Deliberado (DRI) (paso a paso) hacia una Iniciación de Respuesta Directa (DAI). Este cambio se correlaciona fuertemente con la pérdida de la capacidad de búsqueda matemática.

3.2 Consecuencias del Entrenamiento Secuencial

• Primero IF (IF-First): Entrenar primero en IF deja al subsecuente Math-RLVR casi sin prompts "mixtos" (solo todo-incorrecto o todo-correcto). Sin prompts mixtos, las actualizaciones relativas al grupo carecen de variación de recompensa, impidiendo que el modelo recupere las estrategias de razonamiento basadas en DRI.
• Primero Math (Math-First): Entrenar primero en Math permite que el IF-RLVR mejore las puntuaciones de IF, pero esto conlleva una fuerte disminución del rendimiento matemático previamente ganado. Las restricciones de la política de referencia (KL) pueden retener el rendimiento matemático, pero no logran igualar las ganancias de IF de la línea base sin restricciones.

3.3 Mecanismo: El Rol Causal de las Aperturas

• Localización: Los mayores cambios distributivos ocurren en el primer token generado. La relación de la divergencia JS en el primer token frente a los tokens interiores oscila entre $9.8\times$ y $106.7\times$.
• Reranking vs. Borrado: El RLVR principalmente reclasifica (rerank) los candidatos ya presentes en el top-3 de la política base, en lugar de introducir tokens enteramente nuevos. Sin embargo, puede promover tokens de baja probabilidad (ej. "Answer") hacia la dominancia.
• Causalidad: Las intervenciones controladas confirman que forzar una apertura DRI (ej. "Alright") en un modelo IF-RLVR recupera la capacidad de búsqueda matemática, mientras que forzar una apertura DAI la suprime. Esto demuestra que la elección de la apertura dicta causalmente la trayectoria de búsqueda.

3.4 Límites de la Mitigación

• Prioridades de Enrutamiento (Routing Priors): Un prior de SFT sesgado hacia DRI retrasa el cambio hacia DAI, pero no lo evita; para el paso 100, la dominancia de DAI se alcanza independientemente del prior.
• Destilación On-Policy (OPD): Los resultados de OPD son altamente sensibles al estado del profesor. Un profesor IF convergente no preserva el soporte matemático, y ningún estado de profesor único optimiza simultáneamente la transferencia de IF y la retención de matemáticas.

3.5 Capacidad Conjunta

En los benchmarks MathIF y ReasonIF, las ganancias marginales en un dominio (ej. la mejora de la corrección mediante Math-RLVR) no se traducen proporcionalmente en el éxito conjunto (corrección + seguimiento de restricciones). El soporte conjunto ($J = C \land F$) aumenta solo ligeramente, indicando que las mejoras en un objetivo aislado no garantizan la entrenabilidad o capacidad conjunta.

4. Contribuciones

1. Marco de Remodelación de Soporte: El artículo enmarca el RLVR continuo en términos de entrenabilidad futura, definiendo el "soporte efectivamente recompensable" y demostrando que los verificadores remodelan este soporte, haciendo potencialmente inalcanzables los objetivos futuros.
2. Rol Causal de las Aperturas: Localiza los cambios entre tareas en los primeros tokens y establece un vínculo causal entre las aperturas de respuesta (DRI vs. DAI) y la búsqueda descendente, sugiriendo que el problema es la selección de la ruta más que el borrado de la capacidad general.
3. Límites de la Preservación: Demuestra empíricamente que las técnicas de mitigación estándar (entrenamiento secuencial, restricciones KL, prioridades de enrutamiento, OPD) solo preservan parcialmente el soporte o presentan un intercambio (trade-off) con las ganancias de la tarea objetivo.

5. Significado y Reivindicaciones

El artículo sostiene que las mejoras en el punto final no garantizan la entrenabilidad futura o la capacidad conjunta bajo optimización on-policy. A diferencia del olvido catastrófico, que mide el rendimiento retenido, la remodelación del soporte mide si las trayectorias exitosas para tareas futuras siguen siendo descubribles.

Los autores argumentan que la elección del verificador en RLVR altera fundamentalmente el "espacio de iniciación" del modelo. Si un verificador empuja al modelo hacia una apertura específica (ej. respuestas directas), puede cerrar inadvertidamente el espacio de búsqueda requerido para otras tareas (ej. razonamiento paso a paso). En consecuencia, el artículo sugiere que las futuras estrategias de optimización on-policy deben estimar y preservar explícitamente el soporte efectivamente recompensable a través de las optimizaciones con múltiples verificadores, en lugar de confiar únicamente en las puntuaciones de la tarea actual o en las métricas estándar de olvido.