Resumen Técnico: GAC – Mezcla Adaptativa Consciente del Ruido para el Entrenamiento Posterior Híbrido SFT-RL

1. Declaración del Problema

Los Modelos de Lenguaje Grandes (LLMs) se entrenan posteriormente típicamente mediante un paradigma híbrido que combina el Ajuste Fino Supervisado (SFT) y el Aprendizaje por Refuerzo (RL). El SFT estabiliza el formato de salida del modelo utilizando demostraciones de expertos, mientras que el RL mejora el comportamiento de búsqueda de recompensas mediante despliegues en política. Sin embargo, estos objetivos no pueden desacoplarse completamente sin degradación mutua (Niu et al., 2026).

Los métodos híbridos actuales a menudo dependen de programaciones de mezcla fijas o reglas heurísticas para equilibrar los gradientes de SFT y RL. Estos enfoques estáticos fallan al adaptarse cuando el ruido relativo de las dos señales evoluciona durante el entrenamiento. Específicamente, no pueden tener en cuenta:

• Deriva de política evolutiva: Cambios en la distribución del modelo a lo largo del tiempo.
• Ruido de recompensa: Variabilidad en las estimaciones de ventaja de RL.
• Discrepancia de gradientes: Conflictos entre los objetivos de SFT y RL.

Esta falta de adaptabilidad puede inducir colapso de entropía, sobre-imitación en etapas tardías o manipulación de recompensas. Aunque trabajos recientes (por ejemplo, CHORD, SRFT, HPT) han introducido ponderación dinámica o acoplamiento consciente de conflictos, ninguno modela explícitamente simultáneamente tanto la varianza del ruido de los gradientes como la discrepancia SFT–RL para derivar un peso de mezcla óptimo.

2. Metodología: GAC (Controlador Adaptativo Guiado)

El método propuesto, GAC, reformula el problema de mezcla como una tarea de control consciente del ruido. Consiste en un estimador de forma cerrada teórico y un controlador guiado práctico.

2.1 Fundamento Teórico: $\mu^*$ de Forma Cerrada

La contribución central es la derivación de un peso de mezcla óptimo $\mu^*$ minimizando el Error Cuadrático Medio (MSE) entre el gradiente estocástico mezclado y un gradiente objetivo.

• Supuestos: Sean $\hat{g}_s$ y $\hat{g}_r$ los estimadores de gradiente para SFT y RL, compuestos por gradientes sin ruido ($g^*_s, g^*_r$) y ruido de media cero ($\varepsilon_s, \varepsilon_r$) con varianzas $\sigma^2_s$ y $\sigma^2_r$.
• Objetivo: Minimizar $E(\mu) = E[\|\mu\hat{g}_s + (1-\mu)\hat{g}_r - g^*\|^2]$, donde $g^*$ es un gradiente objetivo definido por una relación de compensación deseada $\alpha_{tgt}$.
• Resultado: Bajo supuestos de independencia, el minimizador único es:
  $$\mu^* = \frac{\alpha_{tgt} \Delta g^2 + \sigma^2_r}{\Delta g^2 + \sigma^2_s + \sigma^2_r}$$
  donde $\Delta g^2 = \|g^*_s - g^*_r\|^2$ representa la discrepancia de gradientes.
• Interpretación: Esta fórmula encarna una compensación sesgo-varianza. Cuando la discrepancia ($\Delta g^2$) es baja, el peso se aproxima a la ponderación inversa de la varianza. Cuando la discrepancia es alta, el peso se establece en la preferencia especificada por el usuario $\alpha_{tgt}$.

2.2 Implementación Práctica: Señales Proxy y Estimación en Línea

Dado que las estadísticas reales de los gradientes son costosas de calcular en cada paso, GAC emplea señales proxy computacionalmente manejables estimadas en línea a partir de tensores de entrenamiento existentes:

1. Incertidumbre de RL ($\sigma^2_r$): Estimada mediante la dispersión de la ventaja a nivel de secuencia.
2. Incertidumbre de SFT ($\sigma^2_s$): Estimada mediante la varianza de la Negativa Log-Verosimilitud (NLL) recortada y normalizada por longitud.
3. Proxy de Discrepancia ($\Delta \tilde{g}^2$): Estimada mediante la varianza de las diferencias de coeficientes normalizados con z entre los gradientes de RL y SFT.

Estas señales proxy se validan para tener altas correlaciones de Pearson ($r \approx 0.76\text{--}0.84$) con las estadísticas reales de los gradientes.

2.3 Directrices de Diseño Motivadas por la Estabilidad

Para evitar cambios abruptos y garantizar la estabilidad del entrenamiento, el estimador crudo $\mu^*$ se procesa a través de un Controlador Adaptativo Guiado con tres pasos protegidos:

1. Suavizado EMA: $\mu_{ada} = \beta \mu_{t-1} + (1-\beta)\mu^*$ para amortiguar el ruido de alta frecuencia.
2. Mezcla de Prioridad de Programación: $\mu_{blend} = (1-\lambda)\mu_{prior} + \lambda \mu_{ada}$, donde $\mu_{prior}$ es una programación de calentamiento/coseno, asegurando que el controlador no se desvíe demasiado de una línea base razonable.
3. Actualizaciones Limitadas: El cambio de paso $\delta_t$ se recorta a un límite pequeño $\bar{c}$ (por ejemplo, 0.01) para evitar saltos desestabilizadores.

Adicionalmente, la relación objetivo $\alpha_{tgt}$ se ajusta dinámicamente a $\alpha_{ctrl}$ utilizando una regla de histéresis controlada por KL para prevenir la deriva de política.

3. Contribuciones Clave

1. Controlador de Mezcla Consciente del Ruido (C1): Una solución de forma cerrada para el peso de mezcla óptimo derivada de la minimización del MSE, equilibrando la varianza del ruido de los gradientes y la discrepancia de objetivos. Se instancia mediante proxies normalizados con z y se envuelve en un controlador con garantía de estabilidad con <1% de sobrecarga computacional.
2. Integración de Reponderación a Nivel de Token (C2): El sistema adopta la función de reponderación a nivel de token $\phi(p) = p(1-p)$ de CHORD (Zhang et al., 2025). Los autores demuestran que este componente es ortogonal al controlador global, proporcionando una ganancia adicional de +0.4–1.4pp.
3. Evaluación Sistemática (C3): Evaluación exhaustiva en benchmarks de matemáticas, código, ciencia y lógica a escalas de 1.5B, 7B y 14B parámetros.

4. Resultados Experimentales

Los experimentos se realizaron en el modelo Qwen2.5-7B-Instruct (y escalado a 1.5B/14B) utilizando OpenR1-Math-220k y otros benchmarks (MBPP, HumanEval, GPQA, SciBench, BBH).

• Ganancias de Rendimiento:
  • Matemáticas (AMC): GAC + Token-φ logra 67.2%, superando la mejor línea base híbrida (HPT, 63.4%) en +3.8pp y al controlador consciente del ruido solo (GAC sin φ) en +3.0pp sobre controladores basados en reglas.
  • Código: GAC logra 78.8% en MBPP (+3.4pp sobre CHORD) y 83.5% en HumanEval.
  • Ciencia/Lógica: GAC mejora GPQA en +3.9pp y los subconjuntos lógicos de BBH en +3.1pp sobre HPT.
• Mejoras en Estabilidad:
  • Deriva KL: Reducción del área de deriva KL en un 28% comparado con mezcla constante.
  • Cambios Grandes: Reducción de eventos grandes de $|\Delta \mu|$ en >70%.
  • Dinámicas de Entrenamiento: GAC mantiene una mayor precisión de despliegue, longitudes de respuesta moderadas (evitando picos de manipulación de recompensas) y una estabilización de entropía más rápida en comparación con programaciones fijas.
• Escalabilidad: Las ganancias escalan con el tamaño del modelo, mostrando +2.2pp en 1.5B, +3.8pp en 7B y +3.3pp en 14B.
• Eficiencia: El método añade solo 3 escalares EMA e incurre en <1% de sobrecarga de tiempo de pared sin aumento medible de memoria.

5. Significado y Afirmaciones

El artículo afirma que GAC reformula exitosamente la mezcla SFT–RL como un problema de control consciente del ruido en lugar de una tarea de programación heurística.

• Impulsor Principal: El análisis de atribución causal confirma que el estimador consciente del ruido (la señal derivada del MSE) es el contribuyente dominante a las ganancias de rendimiento (+3.7pp), mientras que el suavizado EMA y las prioridades de programación proporcionan estabilidad necesaria pero ganancias incrementales menores.
• Robustez: El controlador es robusto ante programaciones de prioridad débiles o mal especificadas; incluso con prioridades constantes "malas", GAC corrige el peso de mezcla de manera efectiva.
• Limitaciones: Los autores notan que el análisis de estabilidad se basa en supuestos idealizados (pérdidas L-suaves, actualizaciones acotadas por KL) y proporciona directrices de diseño en lugar de garantías estrictas de convergencia. El método se valida actualmente en tareas con recompensas verificables; la extensión a alineación abierta con modelos de recompensa aprendidos permanece como trabajo futuro.

En resumen, GAC proporciona un mecanismo fundamentado teóricamente y de baja sobrecarga para equilibrar dinámicamente SFT y RL basándose en estimaciones de incertidumbre en tiempo real, superando significativamente a las programaciones fijas y controladores heurísticos en diversas tareas de razonamiento.