Resumen Técnico: GoLongRL

Declaración del Problema

Aunque los modelos de lenguaje grandes (LLM) han expandido rápidamente las ventanas de contexto mediante el preentrenamiento y el entrenamiento intermedio, utilizar eficazmente estos contextos extendidos durante el postentrenamiento sigue siendo un cuello de botella. Los enfoques existentes de aprendizaje por refuerzo (RL) para el razonamiento en contextos largos adolecen de dos limitaciones principales:

1. Cobertura de Datos Estrecha: Los métodos actuales suelen construir datos en torno a rutas de recuperación complejas (por ejemplo, cadenas de UUID, preguntas y respuestas basadas en fragmentos), lo que conduce a una cobertura de tareas homogénea. Esto resulta en una supervisión inadecuada para capacidades críticas como el resumen, la clasificación, la agregación y el razonamiento estructurado.
2. Inestabilidad de Optimización en Configuraciones Multitarea: La Optimización de Política Relativa de Grupo (GRPO) estándar enfrenta desafíos cuando se aplica a tareas heterogéneas con diferentes métricas de recompensa (por ejemplo, EM, F1, NDCG, ROUGE-L).
   • Sesgo de Dificultad: La normalización por prompt (dividir por la desviación estándar $\sigma_u$) puede inflar las ventajas para prompts fáciles y difíciles, mientras suprime las muestras de dificultad media.
   • Inconsistencia de Escala entre Tareas: Las diferentes métricas de recompensa exhiben perfiles de varianza variables. Sin una normalización adecuada, las tareas de alta varianza pueden dominar las actualizaciones de gradiente, distorsionando la trayectoria de optimización.

Metodología

1. Construcción de Datos Orientada a Capacidades

Los autores proponen un marco de construcción de datos guiado por una taxonomía de 9 capacidades centrales de contexto largo, en lugar de simplemente inyectar longitud en los prompts.

• Composición del Conjunto de Datos: Un conjunto de datos completamente de código abierto de 22.965 muestras de RLVR (Aprendizaje por Refuerzo con Recompensas Verificables).
  • Fuentes: Aproximadamente 14K muestras curadas de código abierto de corpus establecidos (por ejemplo, LongBench Pro, CLongEval) y 9K muestras sintéticas donde los pares de preguntas y respuestas se generan a partir de documentos reales (libros, artículos académicos, expedientes legales).
  • Taxonomía de Tareas: El conjunto de datos abarca 9 tipos de tareas (T1–T9), que incluyen Recuperación Precisa, Comprensión, Recuperación Exhaustiva, Razonamiento Numérico, Extracción Estructurada, Emparejamiento Estructurado, Clasificación Graduada, Ordenamiento de Secuencias y Resumen.
  • Alineación de Recompensas: Cada tarea se empareja con su métrica de evaluación natural (por ejemplo, NDCG para clasificación, F1 para recuperación exhaustiva, ROUGE-L para resumen) en lugar de colapsarlas en una única señal binaria.
• Pipeline de Construcción: Un proceso de cuatro fases que involucra la recolección de fuentes, filtrado orientado a tareas, construcción de muestras con control de calidad de múltiples etapas (utilizando modelos como Gemini-2.5-Pro y DeepSeek-V3.2) y refinamiento iterativo basado en diagnósticos de referencia.

2. Algoritmo TMN-Reweight

Para abordar los desafíos de optimización derivados de recompensas heterogéneas, el artículo introduce TMN-Reweight (Normalización de la Media a Nivel de Tarea con Reponderación Adaptativa a la Dificultad).

• Paso 1: Normalización de la Media a Nivel de Tarea: En lugar de normalizar por la desviación estándar por prompt ($\sigma_u$), lo que confunde la corrección de escala con la amplificación de la dificultad, el método normaliza por una desviación estándar agregada a nivel de tarea ($\sigma_{task}$). Esto se calcula como la raíz cuadrada de la media de las desviaciones estándar por prompt dentro de una tarea específica. Esto reduce las diferencias de escala entre tareas mientras preserva las magnitudes de ventaja relativas dentro de cada tarea.
• Paso 2: Reponderación Adaptativa a la Dificultad: Para corregir el sesgo de dificultad dentro de las tareas, el método estima la dificultad del prompt utilizando una tasa de aprobación suavizada (interpolando entre las líneas base por prompt y a nivel de tarea).
  • Reasignación de Gradientes de Cuatro Cuadrantes: El peso de dificultad ($w$) se aplica de forma asimétrica:
    • Para prompts difíciles ($w > 1$): Las ventajas positivas se amplifican para reforzar los despliegues exitosos raros; las ventajas negativas se reducen ($1/w$) para disminuir los gradientes desestabilizadores.
    • Para prompts fáciles ($w < 1$): Las ventajas positivas se atenúan para evitar la concentración de probabilidad; las ventajas negativas se amplifican para aumentar el aprendizaje a partir de fallos inesperados.

Contribuciones Clave

1. Conjunto de Datos de Código Abierto Orientado a Capacidades: Lanzamiento de un conjunto de datos de 23K muestras que cubre 9 tipos de tareas diversas con funciones de recompensa heterogéneas. Los autores demuestran que el entrenamiento con estos datos únicamente (utilizando GRPO vanilla) supera al conjunto de datos cerrado QwenLong-L1.5 en escalas de 4B y 30B.
2. Algoritmo TMN-Reweight: Una estrategia de optimización novedosa que mitiga conjuntamente la inconsistencia de la escala de recompensas entre tareas y el sesgo de ventaja inducido por la dificultad. Produce ganancias de rendimiento consistentes sobre GRPO vanilla sin requerir una red de valores separada.
3. Preservación de la Generalización: El marco demuestra que el RL de contexto largo con datos orientados a capacidades preserva o mejora las capacidades de razonamiento general y memoria, incluyendo la transferencia a memoria de agentes y benchmarks de diálogo a largo plazo no vistos durante el entrenamiento.

Resultados

• Rendimiento en Benchmarks:
  • En el modelo Qwen3-4B-Thinking, el entrenamiento con el conjunto de datos orientado a capacidades y GRPO vanilla elevó el promedio del benchmark de contexto largo de 53.0 a 62.2, superando a QwenLong-L1.5 (59.4). Añadir TMN-Reweight mejoró aún más el promedio a 63.0.
  • En el modelo Qwen3-30B-A3B, el conjunto de datos mejoró el promedio de 60.1 a 69.8 (vs. 67.2 para QwenLong-L1.5).
  • El modelo entrenado con estos datos alcanza un rendimiento comparable a modelos cerrados mucho más grandes como DeepSeek-R1-0528 y Qwen3-235B-A22B-Thinking-2507 en benchmarks de contexto largo.
• Estudios de Ablación:
  • El propio conjunto de datos se identifica como el principal impulsor de las ganancias de rendimiento, con TMN-Reweight proporcionando un impulso adicional consistente pero modesto (0.8 puntos en el modelo 4B), particularmente en tareas intensivas en agregación como CorpusQA.
  • El hiperparámetro $\alpha$ (que controla el equilibrio entre la estimación de dificultad a nivel de prompt y a nivel de tarea) funciona mejor en 0.8.
• Capacidades Generales: Las evaluaciones en MMLU-Pro, AIME24/25 y GPQA muestran que las capacidades de razonamiento general se preservan o mejoran. Se observan ganancias significativas en memoria de agentes (Memory-Vec, Memory-Rec_Sum) y memoria de diálogo (LongMemEval).
• Extrapolación de Longitud: Los modelos entrenados en contextos de 160K se generalizan eficazmente a secuencias de evaluación de hasta 1M de tokens, mostrando ganancias consistentes a través de las escalas de los modelos.

Significado y Afirmaciones

El artículo afirma que la cobertura de datos y la diversidad de recompensas son cuellos de botella principales en el RL de contexto largo, a menudo más críticos que las refinamientos algorítmicos por sí solos. Al cambiar de una construcción de datos centrada en la recuperación a una taxonomía orientada a capacidades, los autores proporcionan señales de entrenamiento más ricas que benefician a un amplio espectro de tareas de contexto largo.

El trabajo sugiere que una cobertura más amplia y una mayor diversidad de recompensas benefician sustancialmente la mejora de las capacidades de contexto largo, incluso con algoritmos estándar de RL. Además, el TMN-Reweight propuesto ofrece un mecanismo de optimización estable para configuraciones multitarea heterogéneas, asegurando que los beneficios del entrenamiento de contexto largo no se logren a costa del razonamiento general o la degradación de la memoria. Todos los recursos, incluido el conjunto de datos, el pipeline de construcción y el código de entrenamiento, se han publicado públicamente para facilitar futuras investigaciones.