Resumen Técnico: Más allá de la ingeniería de recompensas: Una receta de datos para el aprendizaje por refuerzo de contexto largo

Planteamiento del problema

Si bien el Aprendizaje por Refuerzo (RL) ha demostrado ser eficaz para mejorar las capacidades de razonamiento de los Grandes Modelos de Lenguaje (LLMs), los esfuerzos actuales se centran predominantemente en tareas de contexto corto. Extender estos avances al razonamiento de contexto largo sigue siendo un área poco explorada. Los enfoques actuales suelen depender de una compleja ingeniería de recompensas, complementando las recompensas basadas en resultados con señales auxiliares (por ejemplo, puntuaciones de fundamentación de evidencia o pasos de razonamiento intermedio) para guiar a los modelos a través de entradas extensas. Sin embargo, estos métodos enfrentan desafíos: las recompensas basadas únicamente en el resultado proporcionan señales dispersas para localizar la evidencia en contextos largos, lo que provoca un estancamiento en la recuperación (recall) y un razonamiento de tipo "atajo". Además, los datos de entrenamiento de alta calidad y diversos para RL de contexto largo son escasos, y los conjuntos de datos sintéticos existentes suelen ser estrechos en cobertura de tareas o de código cerrado.

Metodología

Los autores proponen una perspectiva centrada en los datos, bajo la hipótesis de que el razonamiento de contexto largo se descompone en un pequeño conjunto de capacidades centrales complementarias que deben ejercitarse conjuntamente. En lugar de una compleja ingeniería de recompensas, demuestran que una receta de datos simple pero efectiva, combinada con una configuración de RL mínima basada en resultados, es suficiente para mejorar sustancialmente el rendimiento.

1. La receta de datos

La mezcla de entrenamiento apunta a tres familias de tareas complementarias, sumando un total de ~14,000 ejemplos construidos a partir de ocho conjuntos de datos:

• Recuperación (Retrieval): Se enfoca en localizar evidencia relevante de entradas largas donde la información está dispersa o es semánticamente indirecta.
  • FuzzyNeedle: Elimina los atajos léxicos parafraseando las "agujas" (información objetivo) utilizando relaciones de tipo "IS-A" de Wikidata, lo que requiere que los modelos resuelvan relaciones de instancia en lugar de realizar una búsqueda por palabras clave.
  • MultiNeedle: Requiere distinguir entre muchas agujas casi duplicadas y recuperar una específica basándose en su orden de aparición.
• Síntesis de multi-evidencia: Requiere integrar información dispersa en diferentes partes de la entrada para derivar una respuesta que ninguna pieza de información por sí sola puede proporcionar.
  • CrossEntity: Genera preguntas que requieren la agregación de atributos derivados de múltiples entidades (por ejemplo, calcular la "edad ganadora" a partir de los años de nacimiento y de campeonato).
  • WebSearch: Simula tareas de agentes de búsqueda donde los modelos deben trazar cadenas de relaciones de múltiples saltos mientras distinguen la evidencia de oro de distractores temáticamente similares.
  • MultiQuery: Embebe múltiples consultas en un documento; omitir cualquier pieza de evidencia conduce a una respuesta incorrecta, enfatizando la necesidad de una cobertura completa.
  • KeyChain: Oculta las preguntas detrás de cadenas de punteros UUID, requiriendo que los modelos tracen las cadenas para recuperar la consulta real.
  • LongDocQA: Extiende conjuntos de datos existentes (HotpotQA, MuSiQue, Qasper) con documentos de longitud completa o relleno irrelevante para aumentar la longitud del contexto.
• Razonamiento: Se enfoca en realizar la resolución de problemas complejos de múltiples pasos (por ejemplo, matemáticas) sobre entradas largas para preservar las capacidades de pensamiento profundo.
  • LongMath: Adapta problemas matemáticos difíciles de contexto corto a escenarios narrativos donde las variables y condiciones se distribuyen a través de al menos cinco fragmentos de historia dispersos en un documento largo e irrelevante.

Curación de datos: Los autores aplican un proceso de dos etapas: descartar muestras que excedan los 64K tokens y filtrar por "dificultad moderada", reteniendo solo aquellas muestras donde un modelo base (Qwen3-30B-A3B) obtiene algunas, pero no todas, las ejecuciones (rollouts) correctas.

2. Configuración de Aprendizaje por Refuerzo (RL)

Los autores emplean la Optimización de Política Relativa de Grupo (GRPO, por sus siglas en inglés) con un diseño de recompensa mínimo:

• Recompensa: Principalmente una recompensa de recuperación a nivel de palabra ($r = |\hat{y} \cap y^*| / |y^*|$) entre la respuesta final del modelo y la etiqueta. Para tareas complejas (CrossEntity, LongMath), se utiliza un LLM como juez (DeepSeek-V3.2) para verificar la corrección.
• Estabilización: Para manejar las distribuciones de recompensa heterogéneas de los ocho conjuntos de datos, los autores utilizan un muestreo equilibrado por tareas (fijando las proporciones por conjunto de datos en los lotes) y una normalización de ventaja a nivel de tarea (reescalando las ventajas mediante la desviación estándar por conjunto de datos).
• Sin recompensas de proceso: A diferencia de trabajos previos, este enfoque no utiliza señales auxiliares para los pasos de razonamiento intermedio o la fundamentación de la evidencia, confiando únicamente en la recompensa del resultado.

Contribuciones clave

1. Paradigma centrado en los datos: El artículo desafía el enfoque predominante en la ingeniería de recompensas, demostrando que una receta de datos diversa es suficiente para impulsar mejoras significativas en el razonamiento de contexto largo.
2. Taxonomía unificada de tareas: Los autores definen y curan una mezcla de entrenamiento que cubre tres capacidades complementarias (Recuperación, Síntesis de multi-evidencia y Razonamiento), argumentando que las tres son necesarias para un rendimiento óptimo.
3. Conjuntos de datos abiertos: Los autores construyen y liberan ocho conjuntos de datos que suman ~14K ejemplos para facilitar la investigación futura.
4. Transferibilidad: El estudio demuestra que las mejoras en el razonamiento de contexto largo se transfieren a tareas agénticas, lo que sugiere que el fortalecimiento de las capacidades de razonamiento central beneficia las capacidades de agentes de largo horizonte.

Resultados experimentales

El método fue evaluado en tres modelos (Qwen3-4B, Qwen3-8B y Qwen3-30B-A3B) a través de siete evaluaciones (benchmarks) de contexto largo.

• Ganancias de rendimiento: La receta de datos produjo mejoras promedio consistentes de +7.2, +3.2 y +6.4 puntos en los tres modelos, respectivamente.
• Comparación: El enfoque superó a dos conjuntos de entrenamiento de RL de contexto largo previos (DocQA-RL-1.6K y KeyChain-15K) en todos los modelos y evaluaciones.
• Generalización: A pesar de entrenar con entradas limitadas a 64K tokens, las ganancias se transfirieron a contextos sustancialmente más largos (hasta 512K+ tokens), indicando que los modelos aprendieron habilidades de razonamiento genéricas de longitud en lugar de sobreajustarse a la distribución de entrenamiento.
• Estudios de ablación:
  • Eliminar cualquier categoría de tarea o combinación de pares resultó en un rendimiento inferior al de la mezcla completa, confirmando la complementariedad de las tres familias de tareas.
  • Eliminar las técnicas de equilibrio de tareas causó una caída moderada en el rendimiento, resaltando la necesidad de mitigar la competencia entre tareas.
  • Añadir una "recompensa de proceso" (puntuación de coherencia de razonamiento mediante LLM-como-juez) no mejoró el rendimiento sobre la configuración de solo resultado, sugiriendo que los datos diversos ya proporcionan señales informativas.
• Transferencia agéntica: Continuar el entrenamiento de RL en un modelo ajustado para agentes (AgentCPM-Explore) con esta receta de datos mejoró GAIA en +4.8 puntos y BrowseComp en +7.0 puntos, demostiendo la transferibilidad de las habilidades de contexto largo a agentes autónomos.

Significado y afirmaciones

El artículo afirma que la diversidad de los datos de entrenamiento es el principal cuello de botella para el RL de contexto largo, no el diseño de la recompensa. Al construir una mezcla equilibrada de tareas de recuperación, síntesis y razonamiento, los autores logran resultados de vanguardia sin una compleja ingeniería de recompensas. El trabajo sugiere que fortalecer las capacidades centrales de contexto largo es un camino efectivo para mejorar las capacidades agénticas, ya que los agentes acumulan naturalmente un contexto masivo durante el uso de herramientas. Los autores señalan modestamente las limitaciones, incluyendo el uso de datos sintéticos que pueden no coincidir totalmente con las distribuciones del mundo real, y la restricción actual a modelos de hasta 30B de parámetros y 64K de contexto.