Resumen Técnico: Bandidos de Variedad (Manifold Bandits) – Aprendizaje de Currículo Bayesiano sobre la Geometría Latente de los Grandes Modelos de Lenguaje

1. Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) se ha convertido en un método primordial para mejorar las capacidades de razonamiento de los Grandes Modelos de Lenguaje (LLMs), particularmente a través de algoritmos de optimización de grupo-relativo como GRPO, DAPO y GSPO. Estos métodos dependen de la varianza de la recompensa dentro de un grupo de ejecuciones (rollouts) para generar gradientes de política. Si un modelo resuelve consistentemente o falla consistentemente ante un prompt, la varianza de la recompensa es cero, lo que no genera una señal de aprendizaje y desperdicia recursos computacionales.

Los métodos existentes de aprendizaje de currículo adaptativo intentan abordar esto priorizando prompts de dificultad intermedia (aquellos que probablemente generen una varianza no nula). Sin embargo, estos enfoques suelen enmarcar la selección de problemas como un problema estándar de bandido de múltiples brazos con brazos independientes. Este enmarcado pasa por alto dos dinámicas críticas del entrenamiento de LLMs:

1. No Estacionariedad Endógena: La distribución de recompensas sobre los prompts evoluciona no solo debido a factores externos, sino como una consecuencia directa de las propias actualizaciones y decisiones de muestreo del modelo.
2. Heterogeneidad Estructurada: Los problemas no son independientes; los prompts de tipos similares comparten patrones de razonamiento y características latentes. Ignorar estas relaciones conduce a una exploración ineficiente.

Además, las estrategias actuales suelen centrarse únicamente en la productividad (maximizar la señal de aprendizaje inmediata) mientras descuidan la diversidad (cobertura del espacio de tareas) y la utilidad (relevancia para los benchmarks de evaluación posteriores). Esto puede conducir a una cobertura estrecha y a una generalización subóptima.

2. Metodología

Los autores proponen el Currículo de Variedad Bayesiana (BMC), un marco que redefine la selección de problemas como un problema de bandido estructurado en una variedad (manifold) con no estacionariedad endógena. La metodología consta de tres componentes principales:

A. Árboles de Tareas Latentes

En lugar de tratar los prompts como brazos independientes, el BMC construye un Árbol de Tareas Latente jerárquico directamente a partir de las representaciones internas del modelo de política.

• Construcción: El árbol se construye recursivamente utilizando embeddings de una capa intermedia del modelo de política. En cada nodo, los embeddings se reducen mediante PCA, se proyectan mediante UMAP y se agrupan mediante HDBSCAN.
• Criterio de Parada: La recursión se detiene cuando una región pasa una "Prueba de Carta" (Chart Test), verificando que la variedad local es aproximadamente suave y coherente (baja dimensionalidad intrínseca y conectividad).
• Propósito: Esta jerarquía aproxima la variedad de tareas latente del modelo, organizando los prompts en regiones multiescala que reflejan la percepción interna del modelo sobre las relaciones entre tareas, en lugar de depender de anotaciones externas o taxonomías fijas.

B. Currículo de Variedad Bayesiana (BMC)

El BMC realiza la toma de decisiones estructurada sobre el Árbol de Tareas Latente utilizando un ciclo de tres pasos:

1. Selección Descendente (Muestreo de Thompson Jerárquico): Para formar un lote de entrenamiento, los agentes atraviesan el árbol desde la raíz hasta las hojas. En cada nodo, muestrean estimaciones de recompensa para los nodos hijos de una distribución de creencia Gaussiana ($\mathcal{N}(\mu, \sigma^2)$) y seleccionan el hijo con la muestra más alta. Esto equilibra la exploración (diversidad) y la explotación (productividad) a través de diferentes niveles de abstracción.
2. Modelado de Creencia No Estacionaria (Filtrado Bayesiano): Los nodos hoja (prompts individuales) mantienen creencias sobre su señal de aprendizaje esperada (varianza de la recompensa). Estas creencias se actualizan en línea utilizando un filtro bayesiano ligero inspirado en el modelo Normal-Inversa-Gamma. El mecanismo de actualización incorpora la sorpresa (error de predicción estandarizado) y la obsolescencia (staleness, tiempo transcurrido desde el último muestreo) para adaptarse a las capacidades evolutivas del modelo.
3. Propagación de Creencia Ascendente (Empirical Bayes): Después de las actualizaciones, la información se propaga hacia arriba. Las creencias de los nodos padre se estiman como promedios ponderados por precisión de las creencias de sus hijos, ajustados por la heterogeneidad del subárbol. Esto permite que las observaciones de un prompt informen las creencias sobre prompts relacionados en la misma región, explotando la estructura latente.

C. Extensión Sensible a la Utilidad (BMC-T)

Para abordar la desalineación entre la productividad del entrenamiento y el rendimiento de la evaluación posterior, los autores introducen BMC-T. Esta variante sesga el muestreo hacia regiones de la distribución de entrenamiento que se traslapan con una distribución objetivo (por ejemplo, un benchmark de evaluación específico) en el espacio latente. Trata el Árbol de Tareas Latente como un modelo de intervención aproximado, asumiendo que el entrenamiento en tareas cercanas tiene efectos de transferencia más fuertes.

3. Contribuciones Clave

1. Árboles de Tareas Latentes: Un método jerárquico para aproximar la estructura de la variedad de tareas directamente desde los embeddings del modelo, proporcionando una representación multiescala de las relaciones entre prompts sin necesidad de etiquetas externas.
2. Currículo de Variedad Bayesiana (BMC): Un marco de currículo adaptativo sensible a la estructura que realiza la toma de decisiones bayesianas sobre estos árboles, permitiendo una exploración eficiente mientras se tiene en cuenta la no estacionariedad endógena inducida por el modelo.
3. Compromisos entre Productividad–Diversidad–Utilidad: Un análisis diagnóstico que demuestra que los currículos adaptativos no pueden caracterizarse únicamente por el rendimiento posterior. Los autores distinguen tres ejes:
   • Productividad: Señal de aprendizaje (varianza de la recompensa).
   • Diversidad: Cobertura de la variedad de tareas.
   • Utilidad: Relevancia para benchmarks de evaluación específicos.
     Ellos muestran que estos ejes no son intercambiables; optimizar uno no garantiza la optimización de los otros.

4. Resultados Experimentales

Los autores evaluaron el BMC en tareas de razonamiento matemático utilizando el conjunto de datos DAPO-Math-17K y modelos Qwen3 (4B y 8B) con GSPO y GRPO.

• Eficiencia de Entrenamiento (Productividad): El BMC y su ablación "Solo Dificultad" lograron velocidades de aprendizaje comparables al Muestreo Dinámico (que regenera lotes para asegurar la varianza), pero con un tiempo de ejecución significativamente menor, manteniéndose cerca de la eficiencia del Muestreo Uniforme.
• Cobertura e Intercambio de Información (Diversidad): El BMC logró equilibrar con éxito la diversidad del modelo "Solo Árbol" (que enfatiza la cobertura) con la productividad de "Solo Dificultad". Las métricas mostraron que el BMC proporcionó una mejor cobertura de las regiones subrepresentadas (exposición ponderada por rareza) y que el Árbol de Tareas Latente explicó una variación significativa en las señales de aprendizaje (structure gain), confirmando que las señales de aprendizaje están correlacionadas con la estructura latente.
• Rendimiento de Evaluación (Utilidad):
  • El Muestreo Dinámico funcionó mal en benchmarks menos representados (por ejemplo, matemáticas en chino, ciencia fuera de la distribución/OOD) debido al filtrado implícito de tipos de prompts raros.
  • BMC logró un sólido rendimiento en el benchmark fuera de dominio GPQA-Diamond, sugiriendo que la optimización conjunta de la productividad y la diversidad promueve capacidades no capturadas por las evaluaciones estándar de matemáticas in-distribution.
  • BMC-T demostró que la utilidad puede ser dirigida: apuntar a benchmarks específicos (por ejemplo, AIME2024) mejoró el rendimiento en esos benchmarks específicos mientras preservaba la productividad general, confirmando que diferentes tipos de problemas conllevan diferentes relevancias de evaluación.

5. Significado y Reivindicaciones

El artículo argumenta que la dificultad por sí sola es insuficiente para un fuerte rendimiento posterior. Maximizar la señal de aprendizaje (productividad) no garantiza mejores resultados si el modelo no es expuesto a los tipos de problemas que impulsan la generalización hacia las tareas objetivo.

Los autores sostienen que la selección de problemas debe enmarcarse como un problema de bandido estructurado en una variedad sobre la geometría latente de la política. Al derivar la estructura del currículo de las propias representaciones aprendidas de la política (adhiriéndose a la "Lección Amarga" de usar datos y cómputo para aprender la estructura en lugar de imponer definiciones humanas), el BMC ofrece una forma de:

• Navegar por los compromisos entre productividad, diversidad y utilidad.
• Explotar la no estacionariedad endógena donde las decisiones de muestreo dan forma a los futuros paisajes de recompensa.
• Generalizar a través de dominios, lenguajes y modalidades sin requerir taxonomías definidas por humanos o modelos de embedding externos.

El trabajo destaca un fenómeno de "zona muerta de evaluación": un modelo puede ser entrenado productivamente en un conjunto específico de problemas, pero si estos no se alinean con la distribución de evaluación, el rendimiento posterior puede no mejorar. El BMC-T proporciona un mecanismo para abordar esto mediante la dirección del esfuerzo de entrenamiento hacia regiones relevantes para el objetivo en la variedad latente.