Resumen Técnico: Selección de Prompts Guiada por Kalman (KGPS) para el Ajuste Fino de RL Adaptativo

1. Planteamiento del Problema

El ajuste fino mediante Aprendizaje por Refuerzo (RL) mejora significativamente las capacidades de razonamiento de los Grandes Modelos de Lenguaje (LLMs), pero su eficacia depende en gran medida de la selección de prompts de dificultad adecuada para la política actual. Un desafío crítico en este dominio es la no estacionariedad: a medida que la política mejora, la dificultad de los prompts evoluciona. Los prompts que antes eran informativos pueden volverse triviales, mientras que aquellos que antes eran demasiado difíciles pueden volverse aprendibles.

Los métodos existentes de selección de prompts en línea enfrentan un compromiso (trade-off):

• Los enfoques basados en evaluación (por ejemplo, Muestreo Dinámico) son precisos pero computacionalmente costosos, ya que requieren una cantidad masiva de ejecuciones (rollouts) adicionales para estimar las tasas de éxito de los prompts, lo que a menudo resulta en un exceso de 7× en la sobrecarga de inferencia respecto al entrenamiento estándar.
• Los enfoques basados en predicción (por ejemplo, MoPPS, GRESO) son eficientes pero típicamente modelan la dificultad del prompt como un parámetro latente estacionario. Dependen de factores de decaimiento heurísticos para manejar la no estacionariedad, lo cual falla al intentar rastrear con precisión el cambiante panorama de dificultad inducido por las actualizaciones continuas de la política, lo que conduce a errores de estimación persistentemente altos.

El artículo argumenta que se requiere un cambio de paradigma, pasando de la estimación de parámetros estáticos a la estimación de estados dinámicos, para mantener la alineación con la evolución de la política sin incurrir en costos de inferencia adicionales.

2. Metodología: Selección de Prompts Guiada por Kalman (KGPS)

KGPS reformula la selección de prompts como un problema de estimación de estado dinámico. En lugar de tratar la tasa de éxito de un prompt como un parámetro fijo, KGPS la modela como un estado latente variable en el tiempo dentro de un modelo de espacio de estados Gaussiano-lineal (SSM).

Componentes Principales:

1. Formulación del Espacio de Estados en el Espacio de Logit:

   • La tasa de éxito latente $\phi^t_\tau$ de un prompt $\tau$ en el paso $t$ se transforma al espacio de logit: $\psi^t_\tau = \text{logit}(\phi^t_\tau)$.
   • Evolución del Estado: El estado latente evoluciona como un paseo aleatorio: $\psi^t_\tau = \psi^{t-1}_\tau + w^t_\tau$, donde la varianza del ruido del proceso $Q_t$ está explícitamente acoplada a la magnitud de la actualización de la política: $Q_t = \gamma \cdot \|\theta^t - \theta^{t-1}\|^2$. Esto asegura que la incertidumbre aumente cuando la política cambia sustancialmente, reflejando el potencial cambio en la dificultad del prompt.
   • Modelo de Observación: Cuando un prompt es seleccionado y se ejecutan $k$ veces, la tasa de éxito empírica se transforma mediante el método delta para aproximar una observación Gaussiana en el espacio de logit.

2. Filtro de Kalman para el Mantenimiento de la Posterior:

   • KGPS emplea un filtro de Kalman para mantener una posterior Gaussiana $N(\hat{\psi}^t_\tau, P^t_\tau)$ para cada prompt en el conjunto (pool).
   • Paso de Predicción: En cada paso de entrenamiento, la varianza $P^t_\tau$ de todos los prompts (seleccionados o no) se infla mediante $Q_t$. Este mecanismo aumenta naturalmente la puntuación de incertidencia para los prompts que no han sido evaluados recientemente, evitando que sean ignorados permanentemente.
   • Paso de Actualización: Para los prompts seleccionados en el paso anterior, el filtro incorpora las nuevas observaciones de las ejecuciones para actualizar la media y reducir la varianza.

3. Selección de Utilidad Esperada de la Posterior:

   • En lugar de seleccionar prompts basados en una estimación puntual de dificultad, KGPS selecciona prompts maximizando una utilidad de entrenamiento esperada de la posterior: $\tilde{A}(\tau, t) = \mathbb{E}_{\psi \sim N(\hat{\psi}^t_\tau, P^t_\tau)}[h(\psi)]$, donde $h(\psi) = \sigma(\psi)(1-\sigma(\psi))$ alcanza su máximo en una dificultad intermedia.
   • Esta expectativa integra sobre la distribución posterior completa. En consecuencia, los prompts con alta incertidumbre (gran $P^t_\tau$) reciben naturalmente puntuaciones más altas, equilibrando la explotación de las estimaciones actuales con la exploración de los prompts inciertos.
   • La expectativa se calcula eficientemente utilizando la cuadratura de Gauss–Hermite, sin requerir muestreo estocástico.

Característica Clave de Eficiencia: KGPS opera enteramente sobre los resultados de las ejecuciones ya generados para el entrenamiento estándar de la política. No requiere ejecuciones adicionales ni inferencias del LLM para el proceso de selección en sí.

3. Principales Contribuciones

El artículo identifica tres contribuciones primarias:

1. Reformulación del Rastreo de Dificultad: Los autores proponen modelar la dificultad del prompt como un problema de estimación de estado dinámico utilizando un SSM Gaussiano-lineal, donde el ruido del proceso está acoplado a las magnitudes de actualización de la política, en lugar de tratarlo como un parámetro estacionario.
2. Derivación del Filtro de Kalman y Puntuación de Utilidad: Derivan un filtro de Kalman para el rastreo de dificultad en línea e introducen una puntuación de utilidad esperada de la posterior que equilibra la explotación y la exploración sin necesidad de esquemas de decaimiento ajustados manualmente.
3. Validación Empírica: Experimentos extensos demuestran que KGPS supera consistentemente a las líneas base existentes tanto en la precisión final como en la eficiencia de las ejecuciones en tareas de razonamiento matemático, de planificación y de geometría, con un costo computacional insignificante.

4. Resultados Experimentales

Los autores evaluaron KGPS en tres bancos de pruebas de razonamiento (Matemáticas, Planificación/Countdown, Geometría Visual) utilizando varios escalados de modelos (desde Qwen3-0.6B hasta DeepSeek-R1-Distill-7B) y diversos algoritmos de RL (GRPO, PPO, Reinforce++).

• Desempeño vs. Costo de Ejecución: En el modelo DeepSeek-R1-Distill-7B, KGPS logró un desempeño comparable o ligeramente superior al de la Oracle (Muestreo Dinámico) utilizando un 83% menos de ejecuciones. Comparado con la línea base de predicción MoPPS, KGPS mejoró el desempeño promedio en 0.12 puntos a través de seis bancos de pruebas matemáticos utilizando el mismo presupuesto de ejecuciones.
• Ganancias de Precisión: En todos los escalados de modelos y tareas, KGPS alcanzó consistentemente la mayor precisión de prueba entre los métodos de selección en línea, superando a menudo a la Oracle (DS) que incurre en costos computacionales masivos.
• Precisión de Estimación: KGPS mantuvo un Error Absoluto Medio (MAE ≈ 0.15) significativamente más bajo entre las tasas de éxito predichas y las empíricas en comparación con MoPPS (MAE ≈ 0.40), demostrando un rastreo superior de la dificultad no estacionaria.
• Estudios de Ablación:
  • Eliminar la esperanza de la posterior (usando estimaciones puntuales) redujo el desempeño en aproximadamente ~1.09 puntos.
  • Desacoplar el ruido del proceso de la magnitud de la actualización de la política (usando ruido fijo) redujo el desempeño en ~1.21 puntos, confirmando la importancia de la incertidumbre adaptativa.
  • Eliminar la inicialización de calentamiento (warmup) causó una ligera caída en el desempeño, validando la necesidad de posteriores iniciales estables.

5. Significado y Reivindicaciones

El artículo afirma que KGPS establece un nuevo estado del arte para la selección de prompts en línea en el ajuste fino de RL. Su importancia radica en resolver la tensión entre eficiencia y adaptabilidad:

• Logra la precisión de los métodos costosos basados en evaluación sin su sobrecarga computacional.
• Supera las limitaciones de los métodos de predicción estática al modelar rigurosamente la naturaleza no estacionaria de la dinámica de entrenamiento de RL.
• Al tratar la dificultad como un estado dinámico en lugar de un parámetro estático, KGPS proporciona un mecanismo basado en principios para la gestión de la incertidumbre que revisita naturalmente los prompts descuidados, asegurando que el currículo de entrenamiento permanezca alineado con la competencia evolutiva del modelo.

Los autores concluyen que la estimación de estado dinámico es una alternativa práctica y superior a las aproximaciones de dificultad estática para el ajuste fino de RL adaptativo.