🤖 machine learning

K-Score: Kalman Filter as a Principled Alternative to Reward Normalization in Reinforcement Learning

Dit paper stelt K-Score voor, een methode die een 1D Kalman-filter gebruikt voor online schatting van beloningen als een efficiënt en principieel alternatief voor reward-normalisatie in reinforcement learning.

Oorspronkelijke auteurs: Zixuan Xia, Quanxi Li

Gepubliceerd 2026-04-28

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zixuan Xia, Quanxi Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een puppy probeert te trainen om een trucje te doen, zoals "zitten". Je geeft hem een koekje elke keer dat het lukt. Maar er is een probleem: soms is het koekje heel groot, soms heel klein, en soms ben je per ongeluk een beetje onhandig waardoor de puppy denkt dat hij iets fout deed, terwijl dat niet zo was.

Als je de puppy te streng corrigeert op basis van één enkel moment, raakt hij in de war. Als je hem te veel beloont op basis van één gelukstreffer, wordt hij een luie die alleen maar op koekjes wacht.

Dit wetenschappelijke artikel, getiteld "K-Score", biedt een slimme oplossing voor dit probleem in de wereld van Kunstmatige Intelligentie (AI).

Het probleem: De "Ruis" in de beloning

In de wereld van AI (Reinforcement Learning) leren computers door vallen en opstaan. Ze krijgen een "score" (een beloning) als ze iets goed doen. Maar die scores zijn vaak heel onrustig:

Soms is de score een enorme uitschieter (een gelukje).
Soms is de score heel laag door toeval (een foutje in de omgeving).
Soms verandert de manier waarop punten worden gegeven tijdens het leren.

De meeste AI-systemen proberen dit op te lossen met een soort "gemiddelde" (normalisatie), maar dat is een beetje alsof je een thermometer gebruikt die alleen naar het gemiddelde van de afgelopen week kijkt. Als het vandaag plotseling vriest, merkt die thermometer dat veel te laat op, of hij raakt volledig in de war door de uitschieters.

De oplossing: De "Kalman-filter" (De slimme bril)

De onderzoekers stellen iets nieuws voor: de Kalman-filter.

Stel je voor dat de AI een speciale, slimme bril opzet. Deze bril kijkt niet alleen naar de score die hij nu krijgt, maar hij doet ook een intelligente voorspelling. De bril denkt: "Ik zie nu een score van 10, maar ik weet dat de puppy meestal rond de 5 scoort. Is dit een echt verbeterd trucje, of is het gewoon een toevallig groot koekje?"

De Kalman-filter werkt als een soort geavanceerde ruisonderdrukking, net zoals de technologie in je noise-cancelling koptelefoon.

Voorspellen: De AI doet een gokje over wat de volgende score zal zijn.
Observeren: De AI ziet de werkelijke score.
Wegen: De AI vergelijkt zijn gok met de werkelijkheid. Als de score heel vreemd is (veel "ruis"), vertrouwt de AI zijn gok meer. Als de score heel stabiel lijkt, vertrouwt hij de nieuwe data meer.

Waarom is dit een doorbraak?

In plaats van blindelings te reageren op elke kleine schommeling, leert de AI nu met zelfvertrouwen.

De onderzoekers testten dit op twee bekende digitale spelletjes (een karretje balanceren en een lander die moet landen). De resultaten waren indrukwekkend:

Sneller leren: De AI begrijpt sneller wat hij moet doen.
Minder paniek: De leercurve is veel rustiger. Waar de AI eerst alle kanten op schoot (instabiliteit), gaat hij nu in een rechte lijn naar succes.
Aanpassingsvermogen: Als de regels van het spel veranderen, merkt de "slimme bril" dat op en past de beloningen direct aan.

Samenvatting in één zin

In plaats van een AI te laten reageren op elke wilde schommeling in zijn score, geeft dit onderzoek de AI een "slimme bril" (de Kalman-filter) die het verschil ziet tussen een echte verbetering en een toevallig gelukje, waardoor hij veel sneller en rustiger leert.

Technische Samenvatting: K-Score

1. Het Probleem: Variantie en Niet-Stationariteit

In Policy Gradient methoden (zoals PPO, REINFORCE en Actor-Critic) is de stabiliteit van het leerproces sterk afhankelijk van de kwaliteit van het beloningssignaal (reward signal). Een groot probleem is de hoge variantie in de returns, wat leidt tot ruis in de gradiëntschattingen, inefficiënte training en instabiliteit.

Om dit op te lossen, gebruiken onderzoekers momenteel meestal reward normalization via een Z-score (het standaardiseren van returns met behulp van een voortschrijdend gemiddelde en standaarddeviatie). De auteurs stellen dat deze huidige methoden tekortschieten omdat:

Ze uitgaan van een stationaire beloningsverdeling, terwijl de beloningen in RL constant veranderen naarmate de agent leert (niet-stationariteit).
Ze gebaseerd zijn op heuristieken (zoals decay rates) die handmatig moeten worden afgesteld.
Ze geen expliciet rekening houden met de onzekerheid in de geschatte statistieken.

2. Methodologie: De 1D Kalman Filter

De kern van het voorstel is het vervangen van de heuristische normalisatie door een 1D Kalman Filter. In plaats van simpelweg een voortschrijdend gemiddelde te nemen, modelleert de K-Score de werkelijke beloningswaarde als een verborgen (latent) stochastisch proces.

Het model werkt als volgt:

Latente Dynamiek: De werkelijke gemiddelde beloning ( $x_t$ ) wordt gemodelleerd als een proces dat over de tijd evolueert met een bepaalde procesruis ( $Q$ ).
Observatie: De geobserveerde return ( $G_t$ ) wordt gezien als de werkelijke waarde plus meetruis ( $R$ ).
Recursieve Update: De Kalman filter voert een tweestaps-proces uit:
1. Predict Step: Voorspelt de volgende staat en de onzekerheid ( $P_t$ ).
2. Update Step: Corrigeert de voorspelling op basis van de nieuwe observatie met behulp van de Kalman Gain ( $K_t$ ). Deze gain bepaalt de balans tussen de eerdere schatting en de nieuwe, mogelijk ruisige data.

Normalisatie: De return wordt vervolgens genormaliseerd met behulp van de gefilterde schatting en de bijbehorende onzekerheid:
$\hat{G}_t = \frac{G_t - x_t}{\sqrt{P_t} + \epsilon}$

De auteurs introduceren ook een Adaptive Kalman variant, waarbij de meetruis ( $R_t$ ) dynamisch wordt bijgewerkt op basis van de residuen (het verschil tussen voorspelling en observatie), waardoor het systeem zich nog beter aanpast aan veranderende omgevingen.

3. Belangrijkste Bijdragen

Principieel Alternatief: Een overstap van heuristische normalisatie naar een statistisch optimaal Bayesiaans raamwerk.
Lichtgewicht & Architectuur-agnostisch: De methode vereist geen aanpassingen aan de neurale netwerken van de agent en voegt minimale computationele overhead toe.
Onzekerheidsbewust: De methode gebruikt de geschatte variantie ( $P_t$ ) om de schaal van de normalisatie aan te passen, wat zorgt voor robuustheid tegen uitschieters.

4. Resultaten

De methode is getest op de CartPole-v1 en LunarLander-v2 omgevingen. De belangrijkste bevindingen zijn:

Snellere Convergentie: In de CartPole omgeving bereikte PPO met K-Score de doelbeloning in slechts 77 episodes, vergeleken met 306 episodes met standaard Z-score normalisatie (een verbetering van bijna 4x).
Hogere Stabiliteit: De leercurves zijn aanzienlijk gladder. Waar standaard methoden vaak te maken hebben met plotselinge instabiliteit ("spikes" en "collapses"), zorgt de Kalman filter voor een stabieler verloop, vooral in de vroege stadia van de training.
Effectiviteit van Adaptiviteit: De Adaptive Kalman variant presteerde beter dan de Simple Kalman variant, wat bewijst dat het dynamisch bijsturen van de ruisparameters essentieel is voor complexe taken zoals LunarLander.

5. Betekenis en Conclusie

De K-Score biedt een elegante oplossing voor een fundamenteel probleem in Reinforcement Learning. Door de normalisatie van beloningen te behandelen als een probleem van toestandschatting onder onzekerheid, wordt het leerproces minder gevoelig voor de ruis die inherent is aan interactie met een omgeving.

De implicaties zijn groot voor praktische RL-toepassingen (zoals robotica), waar omgevingen vaak onvoorspelbaar en niet-stationair zijn. De methode is een "plug-and-play" oplossing die direct kan worden toegepast op bestaande algoritmen zoals PPO en Actor-Critic om de efficiëntie en betrouwbaarheid te verhogen.