💬 NLP

Online Causal Kalman Filtering for Stable and Effective Policy Optimization

Dieses Paper stellt KPO vor, eine Methode, die mithilfe eines Online-Kalman-Filters die Instabilität von Reinforcement-Learning-Trainings bei großen Sprachmodellen durch die autoregressive Glättung von Token-level-Importance-Sampling-Verhältnissen adressiert und so eine stabilere und effektivere Policy-Optimierung ermöglicht.

Ursprüngliche Autoren: Shuo He, Lang Feng, Xin Cheng, Lei Feng, Bo An

Veröffentlicht 2026-03-03

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shuo He, Lang Feng, Xin Cheng, Lei Feng, Bo An

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du bist ein Lehrer, der einem sehr intelligenten Schüler (einem großen Sprachmodell) beibringt, komplexe Matheaufgaben zu lösen. Der Schüler versucht, Lösungen zu generieren, und du gibst ihm Feedback: „Das war gut!" oder „Das war falsch!".

Das Problem dabei ist: Manchmal ist das Feedback verrauscht. Der Schüler ändert seine Meinung von Satz zu Satz so wild, dass er am Ende gar nicht mehr weiß, was er eigentlich lernen soll. Er wird instabil, verwirrt und lernt nichts mehr.

Hier kommt die Idee aus dem Papier „Online Causal Kalman Filtering" (KPO) ins Spiel.

Das Problem: Der verrauschte Kompass

Stell dir vor, der Schüler hat einen Kompass, der ihm sagt, wie stark er von seiner alten Strategie abweichen darf.

Das alte Problem: Bei herkömmlichen Methoden schaut der Lehrer entweder auf die gesamte Antwort und gibt ein einziges Feedback für den ganzen Text (wie ein grober Durchschnitt). Oder er schaut auf jedes einzelne Wort und gibt für jedes ein eigenes Feedback.
Der Fehler: Wenn man auf jedes einzelne Wort schaut, ist der Kompass extrem wackelig. Ein Wort sagt „Geh nach links", das nächste „Geh nach rechts", das dritte wieder „Links". Das liegt daran, dass die Berechnung für jedes Wort einzeln oft zufällige Fehler (Rauschen) enthält. Der Schüler stolpert ständig hin und her, anstatt einen klaren Pfad zu gehen. Das nennt man im Papier „hohe Varianz" und führt dazu, dass das Training zusammenbricht.

Die Lösung: Der glatte Fluss (KPO)

Die Autoren schlagen eine neue Methode vor, die wie ein weise alter Fluss funktioniert.

Stell dir vor, der Schüler läuft durch einen Fluss.

Die Wassertropfen (die einzelnen Wörter): Jeder Tropfen (Wort) hat eine eigene Strömung. Manchmal ist die Strömung stark, manchmal schwach, manchmal gibt es kleine Wirbel (das Rauschen).
Die alte Methode: Sie würde versuchen, jeden einzelnen Wirbel zu analysieren und sofort zu reagieren. Das führt dazu, dass der Schüler sich dreht und dreht.
Die neue Methode (KPO): Sie nutzt einen Kalman-Filter. Das ist wie ein sehr kluger Navigator, der nicht nur auf den aktuellen Tropfen schaut, sondern weiß: „Hey, die Strömung hier ist wahrscheinlich ähnlich wie die der letzten paar Tropfen."

Der Navigator macht zwei Dinge:

Er glättet: Er ignoriert die kleinen, zufälligen Wirbel (das Rauschen).
Er behält die Struktur: Er merkt sich, wenn die Strömung wirklich stark in eine Richtung dreht (z. B. weil der Schüler in einen neuen Denkabschnitt übergeht). Er ändert den Kurs nicht abrupt, sondern fließt sanft mit.

Warum ist das so gut?

Stell dir vor, du fährst ein Auto auf einer kurvigen Straße:

Ohne Filter (alte Methode): Du drehst das Lenkrad bei jedem kleinen Steinchen auf der Straße. Das Auto zittert, die Reifen quietschen, und du kommst nicht weit.
Mit KPO (neue Methode): Du siehst die Straße als Ganzes. Du merkst: „Ah, hier kommt eine Kurve." Du drehst das Lenkrad sanft und gleichmäßig. Du ignorierst die kleinen Steine, aber du folgst der Kurve perfekt.

Das Ergebnis ist, dass der Schüler (das KI-Modell) viel stabiler lernt. Er macht weniger Fehler, bleibt nicht stecken und kann schwierige Aufgaben (wie Mathe-Olympiaden) viel besser lösen.

Zusammenfassung in einem Satz

Die Forscher haben eine Methode entwickelt, die den „wackeligen Kompass" eines KI-Modells glättet, indem sie die Vergangenheit berücksichtigt, um den aktuellen Kurs sanft und logisch zu korrigieren – ähnlich wie ein erfahrener Kapitän, der Wellen ignoriert, aber den Kurs des Schiffes behält.

Das Ergebnis: Die KI wird nicht nur klüger, sondern auch ruhiger und zuverlässiger beim Lernen.

1. Problemstellung

Das Paper adressiert ein zentrales Stabilitätsproblem beim Reinforcement Learning (RL) für Large Language Models (LLMs), insbesondere bei skalierbaren Methoden wie GRPO (Group Relative Policy Optimization).

Hohe Varianz bei Importance Sampling (IS): Bei der Off-Policy-Optimierung (wenn das aktuelle Policy von der alten Policy abweicht) werden Token-Level-Importance-Sampling-Ratios ( $r_t$ ) verwendet, um den Verteilungsunterschied zu korrigieren. Diese Ratios weisen jedoch eine extrem hohe Varianz auf.
Strukturelle Inkonsistenz: Empirische Analysen zeigen, dass Off-Policy-Abweichungen auf Token-Ebene lokal strukturell inkonsistent sind. Statt einer glatten, kohärenten Abweichung innerhalb eines semantischen Segments (z. B. eines logischen Denkwegs), wechseln die Ratios zwischen „On-Policy", „Up" und „Down" sehr häufig und kurzlebig.
Folgen: Diese hochfrequente, verrauschte Variation verzerrt die Policy-Gradient-Updates benachbarter Token, führt zu einer hohen Varianz im Gradienten und kann im schlimmsten Fall zum Training-Collapse (Instabilität, Entropie-Kollaps) führen.
Grenzen bestehender Lösungen:
- Sequenz-Level-Ratios (z. B. GSPO, GMPO): Glätten alle Token auf einen einzigen Wert. Dies reduziert die Varianz, ignoriert aber die lokale Struktur und semantische Unterschiede innerhalb der Sequenz.
- Token-Level-Anpassungen: Versuchen, Ratios separat zu regulieren, vernachlässigen aber die zeitliche Abhängigkeit zwischen Token.

2. Methodik: KPO (Online Causal Kalman Filtering)

Die Autoren schlagen KPO vor, eine Methode, die Importance-Sampling-Ratios als zeitliche Reihe modelliert und mittels eines Kausalen Kalman-Filters glättet.

Grundidee: Die IS-Ratios werden als verrauschte Beobachtungen ( $z_t$ ) eines zugrunde liegenden latenten, glatten Zustands ( $\rho_t$ ) betrachtet. Das Ziel ist es, diesen latenten Zustand online und autoregressiv (nur basierend auf vergangenen und aktuellen Token) zu schätzen.
Kalman-Filter-Modell:
- Zustandsraummodell:
  - Prozessmodell: $\rho_t = \rho_{t-1} + \eta_t$ (Random Walk mit Prozessrauschen $Q$ ). Dies modelliert die langsame Evolution der Off-Policy-Abweichung.
  - Beobachtungsmodell: $z_t = \rho_t + \epsilon_t$ (Beobachtung mit Rauschen $V$ ). Dies modelliert die rohen, verrauschten IS-Ratios.
- Filterprozess (autoregressiv):
  1. Vorhersage (Prediction): Schätzung des latenten Zustands basierend auf der Vergangenheit.
  2. Kalman-Gewinn (Gain): Berechnung eines adaptiven Gewichts $K_t$ , das bestimmt, wie stark die neue Beobachtung ( $z_t$ ) gegenüber der Vorhersage gewichtet wird. Bei hohem Rauschen ( $V$ ) wird mehr auf die zeitliche Glättung vertraut.
  3. Update: Korrektur der Vorhersage durch die Innovation (Differenz zwischen Beobachtung und Vorhersage).
Integration in die Loss-Funktion: Die gefilterten, log-glätteten Schätzwerte $\hat{\rho}_t$ werden exponentiiert, um die neuen Ratios $\hat{r}_t$ zu erhalten. Diese ersetzen die rohen Ratios in der GRPO-Zielfunktion (entweder geklippt oder ungeklippt).
Vorteil: Die Methode erhält die lokale strukturelle Kohärenz (benachbarte Token haben ähnliche Ratios), unterdrückt aber gleichzeitig hochfrequentes Rauschen und einzelne Ausreißer.

3. Schlüsselbeiträge

Empirische Entdeckung: Die Autoren identifizieren und quantifizieren erstmals die strukturelle Inkonsistenz lokaler Off-Policy-Abweichungen auf Token-Ebene. Sie zeigen, dass diese Inkonsistenz (hohe Switch-Frequenz, kurze Laufzeiten) der Hauptgrund für Instabilität ist.
Neue Optimierungsmethode (KPO): Einführung eines kausalen Kalman-Filters für Token-Ratios. Dies ist ein neuartiger Ansatz, der State-Space-Inferenz in das RL-Training von LLMs integriert, um Rauschen zu reduzieren und Struktur zu bewahren.
Robuste Ergebnisse: KPO erzielt konsistent bessere und stabilere Ergebnisse als State-of-the-Art-Basen (GRPO, GSPO, GMPO) auf komplexen mathematischen Reasoning-Aufgaben, ohne dabei die Rechenkomplexität signifikant zu erhöhen.

4. Experimentelle Ergebnisse

Die Evaluation erfolgte auf sechs herausfordernden mathematischen Reasoning-Benchmarks (AIME'24/25, AMC'23, MATH500, OlympiadBench) mit dem Modell Qwen3-4B.

Leistungssteigerung: KPO (insbesondere die geklippte Variante) übertrifft alle Baselines signifikant.
- Auf AIME'24 steigerte sich der avg@16 von 32,70 (GSPO) auf 37,91 (KPO).
- Auf AIME'25 wurde eine Steigerung von 29,16 auf 36,87 erreicht.
- Insgesamt erzielte KPO die besten Ergebnisse auf 5 von 6 Benchmarks.
Trainingsstabilität:
- Reward: KPO zeigt einen stetigen Anstieg des Rewards, während GRPO nach ca. 200 Schritten divergiert und GSPO/GMPO früh stagnieren.
- Entropie: GRPO kollabiert früh zu fast Null (fehlende Exploration). KPO hält eine hohe Entropie aufrecht.
- Clip-Fraction: KPO nutzt das Clipping effizienter; es werden weniger Token geklippt als bei sequenzbasierten Methoden, da die lokalen Strukturen erhalten bleiben und nicht die gesamte Sequenz als „riskant" eingestuft wird.
Analyse der gefilterten Ratios:
- Nach dem Filtern sinkt die Switch-Frequenz drastisch (von 0,43 auf 0,01).
- Die Laufzeit (Run-Length) gleicher Zustände (Up/Down/On) steigt massiv an (z. B. von ~1,6 auf ~120 Token).
- Die Varianz der Ratios sinkt um Größenordnungen, was eine extrem glatte und stabile Signalverarbeitung bestätigt.

5. Bedeutung und Ausblick

Paradigmenwechsel: Das Paper führt einen neuen temporalen Blickwinkel auf Importance-Sampling ein. Statt Ratios als statische Werte oder globale Mittelwerte zu betrachten, werden sie als dynamische, zeitlich korrelierte Signale behandelt.
Stabilität bei Skalierung: KPO bietet eine Lösung für das Stabilitätsproblem beim skalierbaren RL von LLMs, insbesondere in Off-Policy-Szenarien, ohne auf die Feinabstimmung auf Token-Ebene verzichten zu müssen.
Praktische Relevanz: Die Methode ist leichtgewichtig, kompatibel mit bestehenden Pipelines (wie GRPO) und verbessert die Lernfähigkeit bei komplexen, mehrstufigen Aufgaben (wie mathematischem Beweisen).
Zukunft: Ein potenzieller Nachteil ist die sequentielle Natur des Kalman-Filters, die eine Parallelisierung erschwert. Die Autoren schlagen vor, parallele Kalman-Filter-Algorithmen für zukünftige Arbeiten zu entwickeln.

Zusammenfassend demonstriert KPO, dass die Berücksichtigung der lokalen zeitlichen Struktur von Importance-Sampling-Ratios entscheidend ist, um die Varianz in RL-Updates zu reduzieren und gleichzeitig die semantische Kohärenz der Policy-Updates zu erhalten.