Vocabulary Dropout for Curriculum Diversity in LLM Co-Evolution

Resumen Técnico: Vocabulary Dropout for Curriculum Diversity in LLM Co-Evolution

1. El Problema: Colapso de Diversidad en la Co-evolución

El artículo aborda un fallo crítico en los sistemas de co-evolución auto-juego (self-play) para Grandes Modelos de Lenguaje (LLM). En este paradigma, un modelo "propositor" genera problemas de razonamiento y un modelo "solucionador" intenta resolverlos, creando un bucle iterativo de aprendizaje autónomo (curriculum learning).

• La Limitación: En la práctica, el proponente converge rápidamente a una distribución estrecha de problemas que maximizan la función de recompensa (generalmente basada en la incertidumbre del solucionador). Esto provoca un colapso de la diversidad.
• Consecuencia: Aunque los problemas pueden parecer variados superficialmente, se basan en plantillas subyacentes idénticas. El solucionador deja de recibir señales de entrenamiento informativas, estancando la mejora del sistema.
• Causa Raíz: A diferencia de los juegos (como Go o StarCraft), donde las reglas definen un espacio de acciones estructurado, el lenguaje natural carece de restricciones externas verificables. El proponente puede "engañar" al sistema de recompensa convergiendo en plantillas estrechas que inducen errores en el solucionador sin necesidad de generar problemas genuinamente difíciles o diversos.

2. Metodología: Vocabulary Dropout (VD)

Los autores proponen Vocabulary Dropout (VD), un mecanismo ligero que impone restricciones directas sobre el espacio de acciones (vocabulario) del proponente, análogo a las reglas de un juego.

• Mecanismo: Se aplica una máscara no estacionaria y dura a los logits de salida del proponente durante tanto el entrenamiento (GRPO) como la generación del currículo.
  • En cada lote (batch), se selecciona aleatoriamente un subconjunto de tokens del vocabulario para ser "eliminados" (sus logits se establecen en $-\infty$).
  • Un pequeño subconjunto de tokens críticos para el formato (ej. etiquetas XML, símbolos matemáticos) se protege para garantizar la validez sintáctica.
  • La máscara cambia en cada lote, impidiendo que el modelo se adapte a un conjunto fijo de secuencias de tokens.
• Integración: Se implementa dentro del marco R-Zero (un sistema de co-evolución que no requiere verificador externo, usando la auto-consistencia del solucionador como recompensa) y se entrena con el algoritmo GRPO (Group Relative Policy Optimization).
• Filosofía: Al igual que el dropout en redes neuronales previene la co-adaptación de neuronas, el VD previene la co-adaptación de secuencias de tokens, forzando al proponente a explorar regiones diferentes del espacio de tokens.

3. Contribuciones Clave

1. Caracterización Empírica: Se demuestra que el estancamiento funcional del proponente ocurre muy temprano (entre las iteraciones 1 y 2) y no es detectado por métricas de diversidad léxica estándar (como Self-BLEU), requiriendo métricas semánticas y funcionales (Epiplexity, Vendi Score) para su detección.
2. Mecanismo de VD: Introducción de una restricción dura en el espacio de acciones que mantiene la diversidad léxica, semántica y funcional a lo largo de todo el entrenamiento, sin necesidad de modelos auxiliares o modificaciones complejas en la recompensa.
3. Mejora del Solucionador: Demostración de que una mayor diversidad en el currículo se traduce directamente en un mejor rendimiento del solucionador, especialmente en benchmarks de alto nivel.

4. Resultados Experimentales

Los experimentos se realizaron con modelos Qwen3-4B y Qwen3-8B en tareas de razonamiento matemático.

• Rendimiento del Solucionador:
  • En el modelo de 8B, la configuración con VD (retención $\alpha=0.75$) logró una mejora promedio de +4.4 puntos en precisión (Pass@1) sobre la línea base, con ganancias significativas en benchmarks competitivos (AMC, AIME, Olympiad).
  • En el modelo de 4B, una retención más suave ($\alpha=0.85$) fue óptima, superando a la línea base, mientras que una máscara muy agresiva ($\alpha=0.75$) degradó el rendimiento, indicando que la intensidad del VD debe calibrarse según la capacidad del modelo.
• Métricas de Diversidad:
  • Léxica: El Self-BLEU se redujo a la mitad bajo VD.
  • Semántica: El Vendi Score (número efectivo de tipos de preguntas) mostró una brecha de ~15 tipos de preguntas adicionales en favor de VD.
  • Funcional: La Epiplexity (contenido de información aprendible) fue un 35% mayor, indicando un currículo estructuralmente más rico.
• Análisis de Fases: La aplicación de VD tanto en la fase de entrenamiento del proponente como en la generación del currículo ("Both") produjo los mejores resultados, aunque la fase de generación ("Gen-only") contribuyó más a la diversidad inicial.
• Limitaciones: El VD no mejora modelos ya ajustados por instrucciones (instruction-tuned) y puede ser contraproducente si el proponente tiene mucha más capacidad que el solucionador (desajuste de escala).

5. Significado e Implicaciones

El trabajo ofrece un cambio de paradigma en el diseño de sistemas de auto-juego para LLM:

• Estructura del Espacio de Acciones vs. Diseño de Recompensa: El artículo sugiere que, en lugar de solo refinar las funciones de recompensa (que a menudo fallan ante el colapso de modos), es crucial imponer restricciones estructurales en el espacio de acciones (el vocabulario), imitando cómo las reglas de un juego limitan y guían el aprendizaje en entornos de juegos.
• Simplicidad y Eficiencia: VD es una solución computacionalmente barata que no requiere modelos de verificación externos ni arquitecturas complejas, funcionando como un regulador directo sobre la distribución de tokens.
• Futuro: Abre la puerta a la creación de currículos dinámicos y diversos que eviten el estancamiento, permitiendo que los sistemas de co-evolución escalen de manera más robusta en dominios donde la verificación automática es difícil.

En conclusión, Vocabulary Dropout es una técnica efectiva para sostener la productividad de la co-evolución en lenguaje, demostrando que la diversidad forzada en la generación de problemas es esencial para el progreso continuo del razonamiento en LLMs.