💬 NLP

Online Causal Kalman Filtering for Stable and Effective Policy Optimization

Este artículo propone KPO, un método de optimización de políticas que utiliza un filtro de Kalman en línea para modelar y suavizar las ratios de muestreo de importancia a nivel de token, resolviendo así la inestabilidad en el aprendizaje por refuerzo de modelos de lenguaje grandes y logrando un rendimiento superior en tareas de razonamiento matemático.

Autores originales: Shuo He, Lang Feng, Xin Cheng, Lei Feng, Bo An

Publicado 2026-03-03

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Shuo He, Lang Feng, Xin Cheng, Lei Feng, Bo An

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás entrenando a un genio matemático (un modelo de Inteligencia Artificial) para que resuelva problemas muy difíciles. Para hacerlo, le das miles de ejercicios y le dices: "¡Bien hecho!" cuando acierta y "¡Inténtalo de nuevo!" cuando falla.

El problema es que, a veces, el genio empieza a "alucinar" o a cambiar de opinión tan rápido y tan bruscamente que se confunde y deja de aprender. En el mundo de la IA, esto se llama inestabilidad.

Aquí es donde entra este nuevo método, llamado KPO, que actúa como un filtro de ruido mágico para la enseñanza. Vamos a desglosarlo con una analogía sencilla:

1. El Problema: El "Grito" de cada Palabra

Imagina que el genio está escribiendo una respuesta palabra por palabra.

La forma antigua (GRPO): El profesor (el algoritmo) mira cada palabra individualmente. Si la palabra 5 fue un poco diferente a lo que el profesor esperaba, le grita "¡ERROR!". Si la palabra 6 fue buena, le dice "¡BIEN!".
El caos: El problema es que el genio a veces cambia de opinión de una palabra a la siguiente de forma muy brusca (como si cambiara de "sí" a "no" en un milisegundo). Esto crea un ruido terrible. Es como si el profesor estuviera gritando y susurrando al mismo tiempo sin sentido. El genio se estresa, se confunde y su aprendizaje se derrumba (se le "colapsa" el cerebro).

2. La Solución Antigua: El "Promedio Ciego"

Para calmar el ruido, otros métodos anteriores decidieron: "¡Olvídese de las palabras individuales! Vamos a promediar todo el párrafo y darle una sola calificación".

El problema de esto: Es como si el profesor le dijera al genio: "Bueno, la mitad de tu respuesta fue genial y la otra mitad fue un desastre, así que el promedio es 'más o menos'".
Resultado: Se pierde el detalle. Si el genio tuvo un momento brillante en medio de un error, el promedio lo oculta. No se aprovecha bien el aprendizaje.

3. La Innovación: KPO (El Filtro Kalman)

Los autores de este paper proponen KPO. Imagina que KPO es un director de orquesta muy sabio que escucha al genio.

La idea clave: El director sabe que el genio no cambia de opinión de la nada. Si el genio está en un "modo de error", es probable que siga en ese modo por unas cuantas palabras más. Si está en un "modo de acierto", también se mantendrá así.
El Filtro Kalman: Es una herramienta matemática que actúa como un suavizador de video.
- Si ves un video con mucho "ruido" (píxeles que parpadean locamente), el filtro suaviza la imagen para que se vea fluida, pero sin borrar la acción real.
- En nuestro caso, KPO mira la palabra actual y la compara con las palabras anteriores (porque el genio escribe en orden, como una historia).
- Si la palabra actual parece un "grito" aislado (ruido), el filtro dice: "Espera, las palabras anteriores decían algo diferente, probablemente esto sea un error de cálculo, lo suavizaré".
- Si la palabra actual es parte de una tendencia real (un cambio de estrategia), el filtro lo mantiene.

4. ¿Qué logra esto en la vida real?

Gracias a este "director de orquesta":

Menos gritos, más sentido: El genio ya no recibe señales contradictorias de una palabra a la siguiente. Las señales son suaves y coherentes.
Aprendizaje más rápido: Al eliminar el ruido, el genio puede concentrarse en lo que realmente importa: aprender matemáticas difíciles.
Resultados increíbles: En las pruebas de matemáticas (como olimpiadas de matemáticas), el genio entrenado con KPO resolvió muchos más problemas que los entrenados con los métodos anteriores.

En resumen

Imagina que estás aprendiendo a conducir.

Método antiguo: Tu instructor te grita "¡Frena!" en cada bache y "¡Acelera!" en cada curva, sin lógica. Te vuelves loco.
Método KPO: Tu instructor mira el camino completo. Si ves un bache, te dice suavemente "suaviza un poco", y si ves una curva larga, te guía con calma. No ignora los detalles, pero suaviza el ruido para que puedas conducir de forma segura y eficiente.

Este paper nos dice que, para entrenar a las IAs más inteligentes, no necesitamos gritar más fuerte ni promediar todo; necesitamos escuchar con más sabiduría y suavizar las señales para que el aprendizaje sea estable y efectivo.

1. El Problema: Inestabilidad en la Optimización de Políticas a Gran Escala

El aprendizaje por refuerzo (RL) para Grandes Modelos de Lenguaje (LLM), especialmente métodos como GRPO (Group Relative Policy Optimization), enfrenta desafíos críticos de estabilidad cuando se escala.

Alta Varianza en Muestreo de Importancia (IS): En configuraciones off-policy (donde la política actual difiere de la política de comportamiento), la optimización depende de los ratios de muestreo de importancia (IS) a nivel de token. Estos ratios suelen exhibir una varianza extremadamente alta y fluctuaciones ruidosas.
Inconsistencia Estructural Local: Los autores identifican empíricamente que, a nivel de token, la desviación off-policy es estructuralmente inconsistente. Los tokens adyacentes en una secuencia (especialmente en tareas de razonamiento complejo) cambian frecuentemente entre estados on-policy y off-policy, con duraciones de ejecución (run-lengths) muy cortas y frecuencias de cambio altas.
Consecuencias: Esta inconsistencia local distorsiona las actualizaciones del gradiente de la política entre tokens adyacentes, amplificando la varianza y llevando al colapso del entrenamiento (entropy collapse) o a la inestabilidad de la optimización.
Limitaciones de Métodos Actuales:
- Métodos a nivel de secuencia (GSPO, GMPO): Utilizan un ratio IS fijo para toda la secuencia. Esto suaviza el ruido globalmente pero elimina la estructura local y la heterogeneidad necesaria para asignar crédito preciso a tokens específicos.
- Métodos a nivel de token sin filtrado: Mantienen la estructura local pero sufren de ruido excesivo que desestabiliza el entrenamiento.

2. Metodología: KPO (Filtrado de Kalman Causal en Línea)

Para abordar este problema, los autores proponen KPO, un método que aplica un Filtro de Kalman Causal a los ratios IS a nivel de token. La idea central es modelar el ratio IS deseado como un estado latente que evoluciona suavemente a través de los tokens, separando la señal estructural del ruido de observación.

Componentes Clave del Método:

Modelo de Espacio de Estados:
- Se trata la serie temporal de ratios IS (en espacio logarítmico para estabilidad numérica) como observaciones ruidosas ( $z_t$ ) de un estado latente suave ( $\rho_t$ ).
- Ecuación de Estado (Dinámica): $\rho_t = \rho_{t-1} + \eta_t$ , donde $\eta_t \sim N(0, Q)$ . El parámetro $Q$ controla qué tan rápido puede evolucionar el estado latente (suavidad temporal).
- Ecuación de Observación: $z_t = \rho_t + \epsilon_t$ , donde $\epsilon_t \sim N(0, V)$ . El parámetro $V$ representa la varianza del ruido en el ratio IS calculado.
Filtrado Causal (Autoregresivo):
- A diferencia de filtros no causales, KPO utiliza solo la información de tokens pasados y el token actual para estimar el estado latente del token actual. Esto es crucial para la generación autoregresiva de LLMs.
- El proceso sigue tres pasos iterativos:
  1. Predicción: Estimar el estado y la incertidumbre basándose en el paso anterior.
  2. Cálculo de la Ganancia de Kalman ( $K_t$ ): Determina cuánto peso dar a la nueva observación frente a la predicción previa. Si la incertidumbre es alta o el ruido de observación es bajo, se confía más en la nueva medición.
  3. Actualización: Corregir la predicción con la innovación (diferencia entre observación y predicción) multiplicada por la ganancia.
Integración en el Objetivo de RL:
- El ratio IS estimado y filtrado ( $\hat{r}_t = \exp(\hat{\rho}_t)$ ) reemplaza al ratio IS crudo en la función de pérdida de GRPO/PPO.
- Esto permite mantener la asignación de crédito a nivel de token (heterogeneidad) mientras se suavizan las picaduras de ruido y se preserva la coherencia estructural local.

3. Contribuciones Principales

Descubrimiento Empírico: Revelan que la desviación off-policy a nivel de token es estructuralmente inconsistente (cambios frecuentes y cortos), lo cual contradice la intuición de homogeneidad local y es la causa raíz de la inestabilidad en GRPO.
Nuevo Método (KPO): Introducen un enfoque novedoso que utiliza el filtrado de Kalman causal para suavizar las fluctuaciones locales sin perder la coherencia estructural de la secuencia, mejorando la estabilidad en actualizaciones off-policy.
Resultados Empíricos Robustos: Demuestran que KPO supera consistentemente a los métodos más avanzados (SOTA) en tareas de razonamiento matemático, logrando un mejor equilibrio entre estabilidad de entrenamiento y rendimiento final.

4. Resultados Experimentales

Los experimentos se realizaron utilizando el modelo Qwen3-4B en seis benchmarks de razonamiento matemático desafiantes (AIME'24, AIME'25, AMC'23, MATH500, OlympiadBench, Minerva).

Rendimiento Superior:
- KPO-clipped logró los mejores resultados en avg@16 (precisión media) en 5 de los 6 benchmarks y en pass@16 (probabilidad de al menos una solución correcta) en 3 benchmarks.
- Las mejoras fueron más pronunciadas en los conjuntos de datos más difíciles (AIME'24/25), donde el razonamiento a largo plazo es crítico.
- En AIME'24, KPO-clipped mejoró el avg@16 de 32.70 (GSPO) a 37.91.
Estabilidad del Entrenamiento:
- GRPO estándar: Mostró inestabilidad, con colapso de entropía y divergencia después de ~200 pasos.
- GSPO/GMPO: Estables pero se saturaron temprano (rendimiento estancado).
- KPO: Mantuvo una alta entropía (exploración), una pérdida de gradiente baja y estable, y continuó mejorando a lo largo de todo el entrenamiento sin colapsar.
Análisis de la Distribución de Ratios IS:
- Longitud de Ejecución (Run-length): Antes del filtrado, los tokens cambiaban de estado cada ~1.5 tokens. Después del filtrado KPO, los bloques continuos de tokens en el mismo estado (Up/Down) aumentaron drásticamente (hasta ~120-135 tokens), indicando una coherencia estructural restaurada.
- Frecuencia de Cambio: La frecuencia de cambio de estado disminuyó de 0.43 a 0.01.
- Varianza: La varianza global y local de los ratios IS se redujo casi a cero ( $10^{-4}$ y $10^{-5}$ ), confirmando la eliminación efectiva del ruido de alta frecuencia.

5. Significado e Impacto

El trabajo de KPO es significativo por varias razones:

Cambio de Paradigma: Propone una nueva perspectiva temporal para los ratios IS, tratando la estimación como un problema de inferencia de estado en línea en lugar de un simple cálculo estático o promediado.
Solución al Dilema Estabilidad-Precisión: Resuelve el compromiso tradicional entre suavizar el ruido (perdiendo información local) y mantener la granularidad (sufriendo inestabilidad). KPO logra ambas cosas al preservar la estructura local coherente mientras elimina el ruido espurio.
Aplicabilidad Práctica: Es un método ligero, compatible con pipelines existentes de RLHF/RL y no requiere modelos de valor adicionales (critic), manteniendo la eficiencia de GRPO.
Implicaciones Futuras: Abre la puerta a aplicar técnicas de filtrado de estado (como Kalman) en otros aspectos de la optimización de LLMs, aunque los autores notan que la naturaleza secuencial del filtrado dificulta la paralelización masiva, sugiriendo futuras investigaciones en algoritmos paralelizados.

En resumen, KPO demuestra que entender y modelar la dinámica temporal local de los ratios de importancia es crucial para escalar el aprendizaje por refuerzo en LLMs de manera estable y efectiva.