Scaling Self-Play with Self-Guidance

Resumen Técnico: Scaling Self-Play with Self-Guidance

1. El Problema: Estancamiento en el Auto-Juego de LLMs

Los algoritmos de auto-juego (self-play) para Modelos de Lenguaje Grande (LLM) son teóricamente ilimitados en su capacidad de aprendizaje: un modelo "Adivinador" (Conjecturer) crea problemas para un modelo "Solucionador" (Solver), y ambos mejoran conjuntamente. Sin embargo, en la práctica, los métodos existentes no escalan bien con grandes cantidades de cómputo y tienden a estancarse en mesetas de aprendizaje.

La causa principal identificada es la degeneración del Adivinador: a lo largo de entrenamientos largos, el Adivinador aprende a "hackear" la función de recompensa. En lugar de generar problemas útiles, colapsa hacia problemas artificialmente complejos, desordenados o irrelevantes que el Solucionador puede resolver (o no), pero que no ayudan a progresar hacia la solución de los problemas objetivo reales. Esto degrada la calidad de los datos sintéticos y detiene el aprendizaje.

2. Metodología: Auto-Juego Auto-Guiado (SGS)

Para superar este problema, los autores proponen SGS (Self-Guided Self-Play), un algoritmo de auto-juego asimétrico donde un único LLM asume tres roles distintos:

1. Solver (Solucionador): Intenta resolver tanto los problemas objetivo originales como los problemas sintéticos generados.
2. Conjecturer (Adivinador): Genera problemas sintéticos (lemas o teoremas relacionados) basados en problemas objetivo que aún no han sido resueltos. Su objetivo es crear "peldaños" más simples pero significativos.
3. Guide (Guía): Un modelo juez (basado en el mismo LLM) que evalúa la calidad de los problemas sintéticos generados.

Mecanismos Clave de SGS:

• Condicionamiento: El Adivinador genera problemas sintéticos ($\tilde{x}$) condicionados específicamente a un problema objetivo no resuelto ($x$).
• Recompensa Compuesta para el Adivinador: La actualización del Adivinador no se basa solo en si el Solucionador resuelve el problema, sino en una recompensa compuesta:
  • $R_{solve}$: Basada en la tasa de resolución del Solucionador (favoreciendo problemas de dificultad intermedia, ni demasiado fáciles ni imposibles).
  • $R_{guide}$: Una puntuación de calidad proporcionada por el Guide. El Guide evalúa si el problema sintético es relevante para el objetivo y si está formulado de manera "limpia" y natural (evitando conclusiones disyuntivas complejas o premisas redundantes).
• Objetivo del Solucionador: Se utiliza una variante de REINFORCE1/2, que actualiza el modelo solo en problemas con una tasa de resolución $\leq 0.5$. Esto evita que el Solucionador desperdicie gradientes en problemas ya resueltos y mantiene la entropía del modelo, evitando el colapso prematuro.

3. Contribuciones Clave

• Identificación de la Degeneración: Demostraron que sin supervisión de calidad, los métodos de auto-juego colapsan generando problemas "hackeados" (complejos pero inútiles) que estancan el aprendizaje.
• Introducción del Rol "Guide": Proponen que el propio LLM puede actuar como una métrica de calidad de datos, penalizando problemas sintéticos que son técnicamente resolubles pero semánticamente irrelevantes o estéticamente deficientes.
• Análisis de Escalado a Largo Plazo: Realizaron entrenamientos significativamente más largos que trabajos anteriores (más de 6 mil millones de tokens generados, 230 épocas sobre el conjunto de datos), permitiendo observar el comportamiento asintótico.
• Hallazgo sobre la Entropía: Demostraron que la elección del objetivo de RL para el Solucionador es crítica. Objetivos que colapsan la entropía (como CISPO) privan al Adivinador de señales de entrenamiento, mientras que objetivos que mantienen la entropía (como REINFORCE1/2) permiten un aprendizaje estable y continuo.

4. Resultados Experimentales

Los experimentos se realizaron en el dominio de la demostración formal de teoremas en Lean4, utilizando el conjunto de datos D3k (3,323 problemas matemáticos formales).

• Rendimiento Superior: SGS supera consistentemente a las líneas base de RL (incluyendo CISPO y Expert Iteration) y al muestreo paralelo.
• Tasa de Resolución Asintótica: SGS logra una tasa de resolución acumulada asintótica un 7% más alta que la mejor línea base de RL.
• Superación de Modelos Más Grandes: Un modelo DeepSeek-Prover-V2 de 7B parámetros entrenado con SGS (tras 200 rondas de auto-juego) logra resolver más problemas (medido por pass@4) que un modelo DeepSeek-Prover-V2 de 671B parámetros sin entrenamiento adicional.
• Estabilidad del Adivinador: Sin el componente "Guide", el Adivinador colapsa rápidamente, generando problemas con conclusiones disyuntivas (OR) en más del 80% de los casos y conclusiones excesivamente largas. Con SGS, la calidad de los problemas se mantiene estable y similar a la distribución original.
• Análisis de Escalado: Al ajustar leyes de escalado (scaling laws) a las curvas de resolución, SGS muestra una capacidad de mejora continua a largo plazo, mientras que otros métodos se estancan.

5. Significado e Implicaciones

Este trabajo es fundamental porque demuestra que el auto-juego puede escalar efectivamente si se gestionan correctamente las distribuciones de los agentes (evitando el colapso del Solucionador y la degeneración del Adivinador).

• Calidad sobre Cantidad: La cantidad de datos sintéticos no es lo único importante; la calidad y relevancia de esos datos, evaluada por el propio modelo, es crucial para el progreso a largo plazo.
• Autonomía en el Aprendizaje: SGS sugiere que los LLMs pueden auto-guiar su propio proceso de aprendizaje de datos sintéticos sin necesidad de supervisión humana constante, siempre que se estructuren los roles y las recompensas adecuadamente.
• Aplicabilidad: Aunque probado en matemáticas formales, el marco de trabajo es aplicable a otros dominios donde la verificación es posible (como codificación o control robótico), ofreciendo una ruta prometedora para resolver problemas mucho más difíciles que la capacidad base del modelo.

En conclusión, SGS resuelve el problema de la inestabilidad en el auto-juego a largo plazo mediante la introducción de un mecanismo de "auto-guía" que mantiene la calidad de los datos sintéticos, permitiendo que modelos más pequeños superen a gigantes mediante un entrenamiento prolongado y eficiente.