Resumen Técnico: SCOPE – Auto-juego mediante Políticas en Co-evolución para Tareas de Dominio Abierto

Planteamiento del Problema

Los enfoques actuales de aprendizaje por refuerzo (RL) para entrenar modelos de lenguaje extensos (LLMs) en tareas de dominio abierto (por ejemplo, investigación profunda, QA complejo, escritura creativa) enfrentan un cuello de botella fundamental: dependen de la supervisión externa. Esta supervisión suele tomar la forma de prompts curados por humanos, respuestas de referencia o jueces de "modelos de frontera" (modelos LLM más fuertes utilizados para evaluar salidas). Estas dependencias atan el rendimiento del modelo a la calidad de los datos de nivel humano y limitan su escalabilidad.

Los métodos de auto-juego (self-play) existentes para LLMs intentan sortear esto haciendo co-evolucionar generadores de tareas y resolutores. Sin embargo, estos enfoques previos (por ejemplo, SPICE, Dr. Zero, R-Zero) están restringidos a dominios con respuestas verificables (coincidencias de cadenas, igualdad numérica, ejecución de código). Las tareas de dominio abierto carecen de una respuesta única correcta, lo que hace imposible la verificación basada en reglas. Si bien la evaluación basada en rúbricas ofrece un camino a seguir, los métodos de RL basados en rúbricas anteriores (por ejemplo, RaR, DR Tulu, RPG) siguen dependiendo de prompts curados o jueces externos de modelos de frontera, fallando en lograr un bucle de auto-supervisión verdaderamente libre de datos.

Metodología: SCOPE

Los autores presentan SCOPE (Self-play via Co-Evolving Policies for Open-Ended tasks), el primer marco para extender el auto-juego libre de datos a tareas de dominio abierto. El sistema opera sin datos curados ni jueces externos, confiando en un "auto-juez" derivado del propio modelo base.

Arquitectura Central

SCOPE hace co-evolucionar dos políticas inicializadas desde el mismo modelo base $M_0$, junto con un tercer rol fijo:

1. Desafiante (Challenger - $C_t$): Una política en evolución entrenada para generar tareas de dominio abierto, fundamentadas en documentos. Realiza una recuperación de múltiples turnos sobre un corpus no etiquetado para construir tareas que se sitúen cerca de la frontera de capacidad del Resolutor actual.
2. Resolutor (Solver - $S_t$): Una política en evolución entrenada para responder a las tareas del Desafiante. Utiliza generación aumentada por recuperación (RAG) de múltiples turnos para reunir evidencia y sintetizar respuestas.
3. Juez (Judge - $J = M_0$): Una copia congelada del modelo base inicial. Cumple dos funciones críticas:
   • Generación de Rúbricas: Para cada tarea $q$ y documento fuente $d$, el Juez genera rúbricas de evaluación (criterios) específicas de la tarea, fundamentadas en el documento fuente.
   • Calificación: El Juez califica las respuestas del Resolutor frente a estas rúbricas.

Bucle de Entrenamiento

El proceso de entrenamiento alterna entre dos etapas, optimizadas mediante Optimización de Política Relativa de Grupo (GRPO):

Etapa 1: Entrenamiento del Desafiante

• El Desafiante genera una tarea $q$ basada en un documento fuente $d$.
• Comuertas de Calidad: El Juez aplica verificaciones binarias para asegurar que la tarea haga referencia a entidades identificables y esté fundamentada en el documento fuente. Las tareas que fallan estas compuertas se descartan para evitar que el Desafiante genere prompts genéricos que busquen "hackear la recompensa".
• Recompensa de Dificultad: El Resolutor anterior ($S_{t-1}$) intenta la tarea. El Juez califica las respuestas. El Desafiante es recompensado por generar tareas donde la puntuación promedio del Resolutor esté cerca de una dificultad objetivo $\tau = 0.5$. Esto asegura que las tareas sigan siendo desafiantes pero resolubles, maximizando la varianza de la retroalimentación.

Etapa 2: Entrenamiento del Resolutor

• El Desafiante genera un conjunto de tareas.
• Filtrado: Las tareas se filtran basándose en compuertas de calidad y dificultad (reteniendo solo aquellas donde la media de la puntuación del Resolutor cae dentro de $[0.2, 0.8]$).
• Recompensa del Resolutor: El Resolutor es entrenado en estas tareas filtradas. La función de recompensa combina:
  • Puntuación de la Rúbrica: Promedio ponderado de veredictos binarios sobre criterios específicos.
  • Recompensas de Formato y Búsqueda: Incentiva el uso adecuado de herramientas y la estructura.
  • Penalización de Longitud: Una penalización basada en coseno evita que el Resolutor explote la tendencia del Juez a favorecer salidas largas mediante la generación de respuestas excesivamente verbosas.

Justificación Teórica

El artículo argumenta que la mejora continua requiere información aprendible. SCOPE logra esto mediante:

1. Fundamentación de la Tarea: El Desafiante y el Juez observan el documento fuente $d$, mientras que el Resolutor solo ve la tarea $q$. El Resolutor debe recuperar $d$ para responder, creando una brecha de información.
2. Brecha de Rúbrica Oculta: Las rúbricas $G$ contienen criterios específicos del documento que no son revelados totalmente por la tarea $q$. El Resolutor debe recuperar los detalles específicos en $d$ para satisfacer la rúbrica.
   A medida que el Resolutor mejora, cierra la brecha en las tareas actuales. El Desafiante debe co-evolucionar para proponer nuevas tareas donde la brecha permanezca abierta, evitando que la señal de aprendizaje se sature.

Contribuciones Clave

1. Primer Auto-juego Libre de Datos para Tareas de Dominio Abierto: SCOPE es el primer marco que aplica con éxito el auto-juego a tareas de dominio abierto sin depender de prompts curados o jueces de modelos de frontera.
2. Auto-juicio Basado en Rúbricas: Demuestra que una copia congelada del modelo base puede generar eficazmente rúbricas de tareas específicas y calificar respuestas, reemplazando la necesidad de supervisión externa.
3. Necesidad de Co-evolución: El artículo proporciona evidencia empírica de que un Desafiante estático no logra una mejora sostenida; el Desafiante debe co-evolucionar con el Resolutor para mantener la "frontera de dificultad".
4. Generalización: A pesar de ser entrenado exclusivamente en tareas de dominio abierto fundamentadas en documentos, el método mejora el rendimiento en QA de formato corto y escritura creativa, sugiriendo ganancias transferibles en habilidades de recuperación y síntesis.

Resultados Experimentales

Los autores evaluaron SCOPE en tres modelos ajustados por instrucciones (Qwen2.5-7B, Qwen3-8B, OLMo-3-7B) a través de ocho benchmarks de dominio abierto y siete benchmarks de QA de formato corto.

• Rendimiento de Dominio Abierto: SCOPE mejoró el rendimiento de dominio abierto en +5.4 a +10.4 puntos en los modelos. Notablemente, en Qwen2.5-7B, la puntuación promedio subió de 24.4 a 34.8 (+10.4).
• Comparación con Datos Curados: SCOPE igualó o superó a GRPOdata, un baseline entrenado con aproximadamente 9,000 prompts curados por humanos con rúbricas de modelos de frontera. Por ejemplo, en Qwen3-8B, SCOPE logró 43.1 frente a los 41.5 de GRPOdata.
• Transferencia a QA de Formato Corto: Aunque fue entrenado solo en tareas de dominio abierto, SCOPE mejoró las puntuaciones de QA de formato corto en +7.8 a +13.8 puntos, superando a GRPOdata en los tres modelos.
• Escritura Creativa: SCOPE mostró ganancias significativas en escritura creativa (hasta +7.4), un dominio donde GRPOdata a menudo regresó por debajo del modelo base, indicando que el auto-juego fundamentado en corpus construye habilidades de síntesis robustas.
• Estudios de Ablación:
  • Co-evolución: Congelar al Desafiante resultó en ganancias insignificantes (+0.8 frente a +3.4 para el SCOPE completo), ya que las tareas se volvieron demasiado fáciles.
  • Diseño de Recompensa: Eliminar las compuertas de calidad o las penalizaciones de longitud llevó al "hackeo de la recompensa" (tareas genéricas o texto inflado), causando que el rendimiento colapsara por debajo del modelo base.
  • Calidad de la Rúbrica: Se identificó que la calidad de la generación de la rúbrica (no la capacidad de calificación) era el cuello de botella. Las rúbricas de modelos más pequeños (4B) a menudo carecían de hechos específicos del documento, mientras que los modelos de 8B+ producían criterios fundamentados y discriminativos.

Significado y Reivindicaciones

El artículo afirma que SCOPE representa un paso significativo hacia la mejora auto-contenida y libre de datos para los LLMs. Al reemplazar la dependencia de datos curados por humanos y jueces de modelos de frontera con un bucle autónomo de políticas en co-evolución y auto-juicio basado en rúbricas, SCOPE extiende el alcance del auto-juego más allá de los dominios verificables (matemáticas, código) hacia tareas de razonamiento complejas de dominio abierto.

Los autores señalan modestamente que el pipeline de múltiples etapas requiere más cómputo que el GRPO de una sola etapa, lo que limita sus experimentos actuales a modelos de 7–8B. Sin embargo, argumentan que en el "régimen post-datos" donde la supervisión curada se agota, intercambiar cómputo por una mejora continua es un camino justificado y necesario. Los resultados sugieren que las tareas de dominio abierto pueden dominarse mediante señales autogeneradas, siempre que el sistema mantenga una asimetría de información dinámica entre el generador de tareas y el resolutor.