Resumen Técnico: Currículo Consciente de la Transferencia para RLVR Multidominio

Declaración del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha mejorado con éxito las capacidades de razonamiento de los Modelos de Lenguaje Extensos (LLMs) en dominios únicos como las matemáticas y la programación. Sin embargo, extender esto a suites de razonamiento multidominio (que abarcan matemáticas, programación, lógica, simulación, tablas y STEM) presenta un desafío crítico: las habilidades de razonamiento se transfieren de manera desigual entre dominios.

Los enfoques actuales para el entrenamiento multidominio suelen depender de programas de muestreo fijos o currículos ajustados manualmente. Aunque los enfoques recientes basados en la "aprendibilidad" (por ejemplo, SEC) adaptan el muestreo según el dominio en el que la política está mejorando actualmente (utilizando ventajas on-policy), sufren de un punto ciego fundamental: no tienen en cuenta la transferibilidad entre dominios. Un dominio puede ser altamente aprendible localmente (proporcionando gradientes inmediatos fuertes), pero sus actualizaciones pueden no beneficiar, o incluso perjudicar, el rendimiento en otros dominios. Por el contrario, un dominio menos obviamente aprendible podría generar actualizaciones de gradiente que mejoren ampliamente la política en todo el conjunto. Los métodos existentes corren el riesgo de comprometerse excesivamente con dominios localmente ricos pero globalmente estrechos, dejando sin aprovechar un potencial significativo de mejora trans-dominio.

Metodología: Currículo Consciente de la Transferencia (TAC)

Los autores proponen el Currículo Consciente de la Transferencia (TAC), un currículo en línea automatizado, de estilo bandit, que integra la transferibilidad entre dominios como una señal de primera clase para la selección de dominios. TAC opera dentro del marco de Optimización de Política de Grupo Relativo (GRPO) y formula la selección de domidades como un problema de multi-armed bandit.

Componentes Principales

1. Formulación de Bandit:

   • Cada dominio de razonamiento es tratado como un "brazo" (arm).
   • En cada paso de entrenamiento, el currículo muestrea un dominio basado en una estimación de valor $Q_m$ derivada de una señal de retroalimentación $S_m$.
   • La distribución de muestreo se actualiza utilizando una distribución de Boltzmann sobre valores aumentados por el Límite de Confianza Superior (UCB) para equilibrar la exploración y la explotación.

2. Señal de Retroalimentación Dual ($S_m$):
   La señal de retroalimentación para cada dominio es una combinación ponderada de dos términos:

   • Aprendibilidad Local ($\hat{L}_m$): Derivada de la media del valor absoluto de la ventaja de GRPO. Captura la señal de aprendizaje inmediata (mejora activa) dentro del dominio. Se normaliza mediante un z-score móvil para manejar las variaciones de escala.
   • Transferibilidad entre Dominios ($T_m$): Una novedosa señal autosupervisada que estima qué tan bien un paso de gradiente en el dominio $m$ se alinea con las direcciones de gradiente de otros dominios.
     • Mecanismo: En lugar de calcular gradientes completos de alta dimensión, TAC utiliza gradientes proyectados (mediante proyecciones aleatorias, por ejemplo, esquemas tipo TRAK) para representar la dirección de actualización en un espacio de baja dimensión.
     • Seguimiento de Estado: Cada dominio mantiene un Promedio Móvil Exponencial (EMA) de sus vectores de gradiente proyectados.
     • Métrica de Alineación: Periódicamente, se computan las similitudes de coseno por pares entre el estado del gradiente de un dominio y los estados de todos los demás dominios activos. La puntuación de transferibilidad $T_m$ es la media de la similitud de coseno, normalizada mediante escalado min-max a un rango de $[0, 1]$.
     • Eficiencia: Esta señal se calcula enteramente a partir de los gradientes ya generados durante el entrenamiento estándar de RL, sin requerir rollouts adicionales, sondas de validación externa o anotaciones de oráculo. La sobrecarga es insignificante (<1% del tiempo de ejecución).

3. Integración de Señales:
   La puntuación final es $S_m = \beta \hat{L}_m + (1-\beta) T_m$. El coeficiente $\beta$ equilibra las dos señales. El método actualiza dinámicamente las estimaciones de valor tanto para los brazos muestreados como para los no muestreados (usando la aprendibilidad en caché y estimaciones frescas de transferibilidad), lo que permite que el currículo cambie su enfoque incluso cuando un dominio no se está muestreando actualmente.

Contribuciones Clave

1. Currículo de Bandit Consciente de la Transferencia: El primer marco de currículo para RL multidominio que optimiza explícitamente la transferibilidad entre dominios junto con la aprendibilidad local. Aborda la limitación de los métodos previos que solo consideran "qué puede aprender la política ahora" en lugar de "qué ayuda a la política a aprender en todas partes".
2. Señal de Geometría de Gradiente Autosupervisada: Un método computacionalmente eficiente para estimar la transferibilidad utilizando cosenos de gradientes proyectados. Esta señal es adaptativa (evoluciona con la política) y relativa (clasifica los dominios basándose en la alineación actual en lugar de la magnitud absoluta), evitando la necesidad de validaciones externas costosas.
3. Validación Empírica: Demostrado en una suite de seis dominios de razonamiento (Matemáticas, Codegen, Lógica, Simulación, Tablas y STEM) utilizando modelos Qwen3-1.7B y Llama3.2-3B.

Resultados Experimentales

El artículo evalúa TAC frente a cuatro líneas base:

• Base: Sin entrenamiento de RL.
• Random: Muestreo aleatorio proporcional (uniforme o ponderado por tamaño de datos).
• M2O (Math-to-Others): Un currículo de dos etapas diseñado a mano (entrenar en matemáticas, luego otros).
• SEC: Un currículo de bandit basado únicamente en la aprendibilidad ($\beta=1$).

Hallazgos Clave:

• Rendimiento Superior: TAC logra la mejor precisión promedio macro en ambos backbones de modelos. En Qwen3-1.7B, mejora sobre la línea base más fuerte (SEC) en +1.8 puntos porcentuales (+5.6% relativo). En Llama3.2-3B, mejora sobre M2O en +1.6 puntos porcentuales (+5.4% relativo).
• Robustez ante el Desequilibrio: En experimentos con presupuestos de datos sesgados (donde Math y STEM tienen 3 veces más datos que otros dominios), TAC supera a SEC por +1.5 puntos. La línea base de solo aprendibilidad (SEC) se compromete excesivamente con los dominios dominantes (Math/STEM) incluso cuando sus actualizaciones dejan de beneficiar a otros dominios, mientras que la señal de transferibilidad de TAC redirige el muestreo hacia dominios subrepresentados pero altamente transferibles (como Table y Logic).
• Dinámica del Currículo: El análisis muestra que el dominio más aprendible (a menudo STEM o Math) frecuentemente no es el más transferible. SEC tiende a "anclarse" en el dominio más aprendible temprano en el entrenamiento, mientras que TAC desplaza dinámicamente el muestreo hacia dominios con alta alineación de gradiente (por ejemplo, Table), lo que conduce a una generalización más amplia.
• Ablaciones: Eliminar el término de transferibilidad ($\beta=1$) provoca una caída brusca en el rendimiento, confirmando su necesidad. El método es robusto a las variaciones de hiperparámetros, particularmente al coeficiente de mezcla $\beta$, que alcanza su pico alrededor de 0.2 (indicando una fuerte necesidad de señales de transferibilidad incluso cuando hay aprendibilidad presente).

Significado y Reivindicaciones

El artículo sostiene que la transferibilidad entre dominios es una señal clave, previamente infrautilizada, para el diseño de currículos en RLVR multidominio.

• Cambio de Paradigma: El trabajo va más allá de optimizar las ganancias locales inmediatas (aprendibilidad) para optimizar la alineación geométrica de las actualizaciones a través de todo el conjunto de entrenamiento.
• Eficiencia: Demuestra que se pueden derivar señales de currículo de alta calidad "gratuitamente" a partir de los gradientes de entrenamiento existentes, lo que lo convierte en una adición práctica a los pipelines de RLVR actuales sin un costo computacional significativo.
• Generalización: Los resultados sugieren que una única política puede razonar competentemente a través de tareas heterogéneas si el currículo de entrenamiento tiene en cuenta explícitamente cómo se transfieren las habilidades, en lugar de tratar los dominios como silos independientes o depender de programas estáticos.
• Limitaciones: Los autores señalan que TAC apunta a la distribución de muestreo y es complementario a, no un sustituto de, los avances en optimizadores, modelos de recompensa o arquitecturas. Además, la implementación actual depende de recompensas verificables (RLVR); extender estas señales a dominios no verificables (que dependen de jueces LLM) queda para trabajos futuros.

En resumen, TAC establece que para el razonamiento multidominio, saber dónde está mejorando el modelo es insuficiente; también se debe saber dónde se propagarán esas mejoras.