🤖 machine learning

Dynamics Models for Offline Hyperparameter Selection in Real-World RL

Dit artikel presenteert de eerste praktische toepassing van offline kalibratiemodellen voor hyperparameterselectie in reinforcement learning, waarbij de effectiviteit ervan wordt aangetoond in een gemeentelijke waterzuiveringsinstallatie door het genereren van realistische langetermijn-rollouts en het herstellen van betekenisvolle sensitiviteitstrends op hoogdimensionale, niet-stationaire sensordata.

Oorspronkelijke auteurs: Jordan Coblin, Han Wang, Martha White, Adam White

Gepubliceerd 2026-08-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jordan Coblin, Han Wang, Martha White, Adam White

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren een complexe taak uit te voeren, zoals het besturen van een auto of het beheren van een elektriciteitscentrale. Je kunt niet zomaar de instellingen van zijn brein raden; je moet ze perfect afstemmen. Dit wordt "hyperparameterselectie" genoemd. Meestal doen wetenschappers dit door de robot te laten oefenen in een videogame-simulator. Maar wat als de echte wereld te gevaarlijk, te duur of te traag is om te simuleren? Wat als je geen perfecte videogame van een waterzuiveringsinstallatie kunt bouwen omdat de fysica er te chaotisch is?

Hier komt een slimme truc genaamd "kalibratiemodellen" kijken. In plaats van een nepwereld vanaf nul op te bouwen, fungeren deze modellen als een tijdreizende spiegel. Ze kijken naar een enorme bibliotheek van oude opnames (offline data) van het echte systeem en proberen te voorspellen wat er zou gebeuren als een robot een specifieke actie onderneemt. Het doel is niet om een perfecte kristallen bol te zijn die de toekomst met 100% nauwkeurigheid voorspelt; het doel is slechts om een goede beoordelaar te zijn. Als het model je kan vertellen welke robotinstellingen het beste werken in zijn "spiegelwereld", dan zouden diezelfde instellingen ook goed werken wanneer je de robot uiteindelijk de chaotische, echte wereld in stuurt.

Het Papier: Een Spiegel voor Waterinstallaties

In dit onderzoek besloot een team onderzoekers om dit "spiegel"-idee voor het eerst in de echte wereld te testen. Ze gebruikten geen simpele videogame; ze gingen naar een gemeentelijke waterzuiveringsinstallatie in Drayton Valley, Alberta. Deze plek is een chaotische mix van hoogdimensionele sensordata, veranderend weer en constante ruis. De onderzoekers wilden zien of ze een "kalibratiemodel" konden gebruiken om de beste instellingen te kiezen voor een AI-agent die voorspelt wat de sensoren van de installatie vervolgens zullen doen.

De Uitdaging: Het "Nexting"-spel
De taak was niet om het water te besturen (zoals het aan- of uitzetten van kleppen). In plaats daarvan moest de AI een voorspellingsspel spelen genaamd "nexting". Stel je voor dat je ziet dat het waterpeil van een rivier stijgt. De taak van de AI is om de huidige data te bekijken en het volledige toekomstige pad van dat waterpeil voor een lange periode vooruit te raden. Het is alsof je probeert de plot van een film te raden door alleen naar de eerste paar minuten te kijken. De AI moet dit goed krijgen, zodat als hij er uiteindelijk voor wordt gebruikt om de installatie aan te sturen, hij weet wat hij kan verwachten.

Het Experiment: Het Bouwen van de Spiegel
Het team bouwde vier verschillende soorten "spiegels" (modellen) om het gedrag van de waterinstallatie te simuleren met behoud van een jaar aan sensordata.

De K-Nearest Neighbors (KNN) Modellen: Dit zijn als een bibliothecaris die de meest vergelijkbare dagen uit de geschiedenisboeken zoekt. Als de installatie nu vreemd doet, zoekt het model naar dagen in het verleden die er precies hetzelfde uitzagen en zegt: "Oké, op die dagen ging de druk om deze manier omhoog." Ze probeerden twee versies: één die alleen naar ruwe getallen keek (Euclidisch) en één die naar de diepere structuur van de data keek (Laplace).
De Neurale Netwerken: Dit zijn de standaard, complexe AI-hersenen (een Feedforward NN en een Gated Recurrent Unit) die proberen de regels van de waterinstallatie vanaf nul te leren.

Ze testten deze modellen door ze 30.000 stappen vooruit te laten lopen in de tijd (een lange tijd in computertijd) om te zien of ze realistische sensorgegevens konden genereren zonder uit elkaar te vallen.

Wat Ze Vonden
De resultaten waren een mix van "veelbelovend" en "het is ingewikkeld".

De KNN-Bibliothecarissen Wonnen de Lange Race: De neurale netwerken (de complexe AI-hersenen) begonnen na ongeveer 50 tot 100 stappen te bezwijken en gaven onzinnige antwoorden. Ze konden de lange termijn voorspelling niet aan. De KNN-modellen, vooral de Laplace-versie, waren echter veel stabieler. Ze konden lange, realistische trajecten genereren die erg leken op de echte sensordata.
De Spiegel Werkte voor Afstemming: De belangrijkste test was of de spiegel kon helpen bij het kiezen van de juiste "learning rate" (hoe snel de AI leert). De onderzoekers ontdekten dat de KNN-modellen succesvol konden identificeren welke leercurves goed waren en welke slecht, waarbij ze de trends zagen die in de echte data voorkwamen. Dit suggereert dat zelfs als het model niet perfect is, het goed genoeg is om te vertellen welke instellingen je moet gebruiken.
De "Big Data"-Vraag: Ze testten ook of het gebruik van een heel jaar aan data (3,2 miljoen monsters) in plaats van slechts één week het model beter maakte. De resultaten waren gemengd. Het grotere model kon een breder scala aan vreemde weersomstandigheden vastleggen, maar presteerde niet consistent beter dan het kleinere model in elke test. Dit suggereert dat het hebben van meer data helpt, maar geen magische oplossing is.
Het "Tijdreis"-probleem: De onderzoekers probeerden te zien of het model om kon gaan met "distributieverschuiving" (distribution shift)—kortom, wat er gebeurt als de installatie verandert door een nieuw seizoen of een defecte sensor? Ze kwamen tot de conclusie dat het model moeite had om een toekomst perfect te simuleren die erg anders was dan de trainingsdata. Hoewel het algemene veranderingen kon nabootsen, kon het specifieke, unieke verschuivingen niet perfect voorspellen zonder hulp.

De Kern van de Zaak
Dit papier is een "proof of concept". Het laat zien dat we voor het eerst deze offline "spiegel"-modellen in een echte, chaotische industriële omgeving kunnen gebruiken om AI-agenten af te stemmen. De KNN-aanpak, die vertrouwt op het vinden van vergelijkbare momenten uit het verleden in plaats van het leren van complexe regels, bleek verrassend robuust voor langetermijnvoorspellingen.

De auteurs zijn echter voorzichtig om dit niet als een opgelost probleem te presenteren. Ze wijzen erop dat hoewel de modellen de rangorde van goede instellingen kunnen bewaren (vertellen dat "Optie A beter is dan Optie B"), ze nog steeds moeite hebben om de toekomst perfect te simuleren als de wereld op onverwachte manieren verandert. Het is een solide stap voorwaarts, die aantoont dat we oude data kunnen gebruiken om AI voor te bereiden op de echte wereld, maar er moet nog veel werk worden verzet om deze spiegels elke mogelijke toekomst perfect te laten reflecteren.

Technische Samenvatting: Dynamische Modellen voor Offline Hyperparameterselectie in Real-World RL

Probleemstelling

Het implementeren van reinforcement learning (RL) in real-world industriële systemen wordt frequent gehinderd door de moeilijkheid van hyperparameterselectie. Standaardbenaderingen kennen significante beperkingen: standaard hyperparameters komen zelang overeen met specifieke systeemdynamiek; simulator-gebaseerde tuning vereist nauwkeurige modellen die vaak niet beschikbaar zijn; en directe online tuning is vaak onhaalbaar vanwege de hoge kosten, risico's of de tijdintensieve aard van real-world interacties.

Hoewel "kalibratiemodellen"—dynamische modellen getraind op offline data om te dienen als surrogaatomgevingen voor hyperparameterselectie—zijn voorgesteld (Wang et al., 2022), zijn deze voorheen alleen geëvalueerd in eenvoudige gesimuleerde domeinen. Het blijft onduidelijk of deze modellen effectief complexe, niet-stationaire, real-world dynamiek kunnen benaderen om de relatieve rangorde van hyperparameterconfiguraties te behouden. Dit artikel adresseert de kloof tussen theoretische kalibratiemodellen en hun toepassing in een real-world industriële setting.

Methodologie

Framework: Data2Online

De studie maakt gebruik van het "Data2Online"-framework (Wang et al., 2022). In deze setting wordt een kalibratiemodel $\hat{p}$ getraind op offline logs om de ware omgevingsdynamiek $p$ te benaderen. Het model wordt niet gebruikt om direct een policy te optimaliseren, maar dient als een evaluatie-omgeving om hyperparameters ( $\lambda$ ) te selecteren voor een agent die vervolgens online zal leren. Het doel is om ervoor te zorgen dat de optimale hyperparameters gevonden in het model ( $\lambda^*_{model}$ ) overeenkomen met die van de ware omgeving ( $\lambda^*_{env}$ ).

Taak: Nexting Prediction

De specifiefte taak die wordt geëvalueerd is nexting prediction, een General Value Function (GVF) probleem (Modayil et al., 2012). In plaats van de plant aan te sturen, voorspelt een passieve agent de verdisconteerde som van toekomstige waarden voor specifieke sensorsignalen (cumulanten). Prestaties worden gemeten aan de hand van de Root Mean Squared Error (RMSE) tussen voorspelde waarden en empirische Monte Carlo returns, in plaats van door de control return.

Kalibratiemodel Architecturen

De auteurs evalueren verschillende modelarchitecturen:

k-Nearest Neighbors (kNN): Een niet-parametrische benadering die extrapolatie vermijdt door de volgende staten en beloningen te voorspellen met behulp van enkel transities binnen de dataset. Twee varianten worden getest:
- Euclidean kNN: Gebruikt de ruwe staat-actie afstand.
- Laplacian kNN: Gebruikt een benaderende Laplacische representatie (Wu et al., 2018) om een afstandmetriek te construeren die gevoelig is voor de onderliggende MDP-structuur.
- Ensembling: Om epistemische onzekerheid aan te pakken, wordt een Leave-One-Block-Out (LOBO) ensemble van vijf kNN-modellen gebruikt. Prestaties worden geaggregeerd door de slechtste rang over de modellen te nemen om een conservatieve schatting te geven.
Parametrische Baselines: Een Feedforward Neuraal Netwerk (NN) en een Gated Recurrent Unit (GRU) getraind om de one-step next-state voorspellingsverlies te minimaliseren.

Evaluatiemetrieken

Rollout Kwaliteit: Kwalitatieve visuele vergelijking van langetermijn (30k stappen) trajecten tegenover ware data.
Hyperparameter Sensitiviteit: Vergelijking van leercurve-sensitiviteitscurven (NRMSE vs. learning rate) tussen het kalibratiemodel en de "Online" setting (afgespeelde gehouden-out data).
Dynamic Time Warping (DTW): Gebruikt om de gelijkenis tussen model-gegenereerde en ware trajecten te meten, rekening houdend met verschillen in snelheid, timing of fase.

Experimentele Opzet

De studie past deze methoden toe op een gemeentelijke waterzuiveringsinstallatie (WTP) in Drayton Valley, Alberta.

Dataset: Meer dan twee jaar aan sensorlogs (2022–2024) op 1 Hz, gereduceerd tot een 142-dimensionale feature vector.
Sensoren: Drie kritieke sensoren werden geselecteerd: Membraandruk (PIT300), Inlaat Temperatuur (TIT101) en Inlaat Troebelheid (TUIT101).
Scenario's:
1. Standaard: Training op een eenweekse slice (~350k transities).
2. Scaling: Training op een volled jaar aan data (~3.2M samples na subsampling).
3. Fine-Tuning: Het pre-trainen van een agent op 6 maanden data en het gebruik van het model om fine-tuning learning rates te selecteren.
4. Distributieverschuiving: Testen op data van april, mei en juli 2023 om generalisatie naar seizoensgebonden veranderingen en sensordrift te evalueren.

Belangrijkste Resultaten

1. Real-World Toepassing en Rollout Kwaliteit

Superioriteit van kNN: De kNN-modellen (zowel Euclidean als Laplacian) genereerden succesvol realistische langetermijn rollouts voor de PIT300 sensor, die nauw overeenkwamen met de ware data. In tegenstelling hiertoe neigden de parametrische baselines (NN en GRU) naar instorting na 50–100 tijdstappen.
Laplacian vs. Euclidean: De Laplacian kNN vertoonde een nauwere algemene uitlijning voor PIT300, hoewel de Euclidean kNN nauwer aansloot bij de Online curves voor TIT101 en TUIT101. Dit suggereert dat de Laplacische representatie specifieke tuning vereist voor de sensor-dynamiek.

2. Hyperparameter Sensitiviteit

Rangbehoud: Beide kNN-modellen herstelden over het algemeen de correcte hyperparameter rangordes (learning rate sensitiviteit) vergeleken met de Online setting.
Falen van Parametrische Modellen: De NN en GRU modellen faalden in het behouden van de hyperparameter sensitiviteit, wat consistent is met hun zwakke rollout kwaliteit.
Conclusie: Kalibratiemodellen kunnen ondersteuning bieden bij de offline selectie van learning rates voor TD(0) predictie-agents.

3. Schaalbaarheid en Distributieverschuiving

Datavolume: Het schalen van het kNN-model naar een jaarlijkse dataset (12-maanden kNN) stelde het in staat een breder bereik aan dynamiek te vangen vergeleken met het 1-week model. De kwantitatieve resultaten met DTW waren echter gemengd; het 12-maanden model presteerde het best op TIT101, terwijl het 1-week model beter presteerde op TUIT101.
Fine-Tuning: In een fine-tuning scenario was het 6-maanden kNN-model in staat een generieke distributieverschuiving te reflecteren, wat aantoonde dat de prestaties van de kleinste learning rates verslechteren naarmate de deployment periode verder weg ligt, wat wijst op een behoefte aan meer adaptatie. Echter, het model had moeite om specifieke verschuivingen te vangen, wat een mismatch liet zien met de Online sensitiviteitscurven voor latere deployment periodes.
Selectie van Starttoestanden: Strategieën voor het selecteren van rollout starttoestanden (bijv. het selecteren van de dichtstbijzijnde buren uit de deployment periode) toonden beperkt voordeel boven willekeurige selectie in deze specifieke setup, wat suggereert dat gerichte selectie van starttoestanden alleen onvoldoende is om willekeurige distributieverschuivingen volledig te simuleren.

Betekenis en Claims

Het artikel presenteert de eerste toepassing van kalibratiemodellen voor offline hyperparameterselectie in een real-world industriële setting. De primaire betekenis ligt in het bieden van een proof of concept dat offline dynamische modellen de RL-implementatie kunnen ondersteunen in omgevingen waar simulators niet beschikbaar zijn en online experimentatie kostbaar is.

De auteurs claimen bescheiden dat hoewel hun bevindingen aantonen dat het haalbaar is om kalibratiemodellen te gebruiken om realistische rollouts te genereren en betekenisvolle hyperparameter trends te herstellen, er nog steeds significante praktische uitdagingen zijn. Specifiek benadrukt het artikel openstaande vragen over:

De condities waaronder extrapolatie van modellen faalt.
Hoe effectief distributieverschuivingen geassocieerd met specifieke doel-deployment periodes gesimuleerd kunnen worden.
De noodzaak van predictieve accuratesse versus het behoud van hyperparameter rangordes.
De ontwikkeling van metrieken die informatiever zijn dan DTW voor het beoordelen van langetermijn rollout kwaliteit.

Het werk overbrugt de kloof tussen gesimuleerd kalibratiemodel onderzoek en real-world deployment, waarbij wordt benadrukt dat hoewel de aanpak veelbelovend is, verdere investigatie vereist is om schaalbaarheid en niet-stationariteit in complexe industriële systemen aan te pakken.