⚡ electrical engineering

Privileged observations enable rapid and reliable policy discovery directly in the physical world

Dit artikel으로ontstaat dat geprivilegieerde observaties van een chaotisch fysisch systeem doorslaggevend zijn voor het in staat stellen van reinforcement learning-agenten om snel hoogpresterende policies direct in de echte wereld te ontdekken, aangezien agenten die dergelijke flow-data misten, er niet in slaagden om drag-verhogende strategieën te leren ondanks het succesvol leren van drag-reducerende strategieën.

Oorspronkelijke auteurs: Antonio Terpin, Raffaello D'Andrea

Gepubliceerd 2026-09-15

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Antonio Terpin, Raffaello D'Andrea

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een zwemmer voor die door het water probeert te bewegen. Als de zwemmer de stromingen om zich heen zou kunnen zien wervelen, zou hij kunnen leren om zijn lichaam op een manier te draaien die de weerstand doorsnijdt, of misschien op een manier om het water te vangen om zichzelf vooruit te duwen. Dit is de essentie van actieve stromingscontrole: een vakgebied waar ingenieurs proberen de onzichtbare, chaotische beweging van vloeistoffen te manipuleren om te verbeteren hoe objecten bewegen of stil blijven liggen. Decennialang wisten wetenschappers al dat het laten draaien van een cilinder in een stroming kan veranderen hoeveel water er tegen het object duwt. Soms vermindert een constante rotatie de weerstand, waardoor het object gemakkelijker door het water glijdt. Op andere tijden kan een specifieke ritmische rotatie de weerstand juist vergroten, waardoor het object wordt tegengehouden. De uitdaging is altijd geweest om de exacte timing en snelheid van die rotatie te bepalen om het beste resultaat te krijgen, vooral omdat waterstroming chaotisch en moeilijk te voorspellen is.

Normaal gesproken, wanneer ingenieurs een computer willen leren om een dergelijk systeem te besturen, bouwen ze een virtueel model van het water en laten ze de computer daar oefenen. Maar virtuele modellen zijn nooit perfect; ze missen de minuscule, rommelige details van echt water. Daarom besloot een team onderzoekers van ETH Zürich om de simulatie volledig over te slaan. Ze bouwden een fysiek waterkanaal en leerden een computeragent direct van het echte, kolkende water. De vraag die ze stelden was simpel maar diepgaand: om de beste manier te leren om het water te beheersen, moet de computer de waterstromingen rond het object kunnen zien terwijl hij leert? Of kan hij het uitzoeken door alleen de druk en de trek aan het object zelf te voelen?

De onderzoekers richtten een tafelmodel waterkanaal in, een heldere tank waarin water in een lus circuleert. Binnenin zit een cilinder in de stroming, en een motor kan deze met elke gewenste snelheid of richting laten draaien. Om te meten hoe goed het water tegen de cilinder duwt, gebruikten ze een gevoelige koppelmeter. Om het water te zien, gebruikten ze een techniek genaamd particle image velocimetry. Dit houdt in dat een laserblad door het water wordt gestraald, dat kleine zwevende deeltjes bevat, en dat er razendsnelle foto's worden gemaakt. Door te volgen hoe die deeltjes tussen de foto's bewegen, kan een computer een gedetailleerde, real-time kaart maken van de snelheid en richting van het water direct achter de cilinder. Deze kaart is de "geprivilegieerde observatie" — extra informatie die de computer tijdens de training kan zien, maar die hij later misschien niet nodig heeft.

Ze trainden een algemene leeragent, een type kunstmatige intelligentie, om de cilinder te besturen. In één reeks experimenten kreeg de agent zowel het gevoel van de weerstand als de gedetailleerde kaart van de waterstroom. In een andere reeks experimenten kreeg de agent alleen het gevoel van de weerstand, waarbij de waterkaart verborgen bleef. Het doel was tweeledig: enerzijds wilde men een manier vinden om de cilinder te laten draaien die de weerstand zo veel mogelijk vermindert, en anderzijds een manier om de cilinder te laten draaien die de weerstand zo veel mogelijk vergroot.

De resultaten waren opmerkelijk en onthulden een verrassende asymmetrie. Wanneer de agent toegang had tot de gedetailleerde kaart van de waterstroom, leerde hij ongelooflijk snel. Binnen enkele minuten van interactie met het echte water ontdekte de agent een strategie om de weerstand met ongeveer 32 procent te verminderen. Het vond ook snel een strategie om de weerstand met 25 procent te vergroten. Deze cijfers kwamen overeen met, of overtroffen zelfs, de prestaties van de beste bekende door mensen ontworpen strategieën, die over decennia van studie zijn ontwikkeld.

Echter, wanneer de onderzoekers de waterkaart verborgen en de agent dwongen om te leren met alleen de weerstandsmeting, veranderde het verhaal volledig. De agent was nog steeds in staat om te leren hoe de weerstand te verminderen, waarbij hij uiteindelijk een vermindering van ongeveer 31 procent bereikte. Het duurde wel iets langer en was wat variabeler. Maar wanneer het doel was om de weerstand te vergroten, faalde de agent. Zonder de waterstroom te zien, slaagde geen enkele van de trainingen erin om een strategie te leren die de weerstand significant verhoogde. De agent kon niet uitzoeken hoe hij de weerstand sterker kon maken, ook al was de beste mogelijke strategie aanwezig en fysiek mogelijk.

Om te begrijpen waarom dit gebeurde, keken de onderzoekers nauwgezet naar wat het water deed. Ze ontdekten dat telkens wanneer de cilinder begon te draaien, het water bijna altijd reageerde door eerst minder tegen de cilinder te duwen, ongeacht of het doel was om meer of minder te duwen. Deze initiële daling in weerstand is een natuurlijke fysieke reactie. Voor de agent die probeerde de weerstand te verminderen, was deze initiële daling een behulpzaam teken dat hij op de goede weg was. Maar voor de agent die de weerstand wilde vergroten, was deze initiële daling verwarrend; het voelde als het tegenovergestelde van wat hij wilde bereiken. Zonder de gedetailleerde kaart van het water om het grotere plaatje te zien en te begrijpen dat de weerstand uiteindelijk zou stijgen, bleef de agent steken in deze initiële dip en leerde hij nooit de juiste strategie.

De onderzoekers testten vervolgens of de strategieën die de agent met de waterkaart had geleerd, ook zonder de kaart gebruikt konden worden. Ze namen de exacte draaibewegingen op die de agent gebruikte wanneer hij de kaart had, en speelden die exacte patronen vervolgens af als vaste sequenties, zonder nieuwe observaties. Verrassend genoeg werkten deze vaste sequenties net zo goed als de live, denkende agent. De agent had een specifieke set bewegingen geleerd die zo goed werkten dat hij de waterstroom niet meer hoefde te observeren om ze uit te voeren. Dit bewijst dat de waterkaart niet nodig was om de taak te uitvoeren, maar dat het absoluut essentieel was om de taak te ontdekken.

Dit resultaat benadrukt een cruciaal onderscheid in het leerproces: wat je nodig hebt om een oplossing te vinden, is vaak anders dan wat je nodig hebt om deze te gebruiken. In dit geval fungeerde het rijke, gedetailleerde beeld van de waterstroom als een leraar, die de agent door de verwarrende initiële reacties van de vloeistof leidde. Zodra de agent het juiste pad had gevonden, kon hij het blindelings bewandelen. De studie suggereert dat in complexe fysieke systemen toegang tot extra informatie tijdens de leerfase het verschil kan zijn tussen succes en falen, zelfs als die informatie niet beschikbaar is wanneer het systeem daadwerkelijk functioneert. Het laat zien dat als kunstmatige intelligentie de rommelige, chaotische echte wereld wil beheersen, het meer mag zien dan het ooit zal mogen gebruiken.

Technische Samenvatting: Geprivilegieerde Observaties voor de Ontdekking van Fysieke Beleidsregels

Probleemstelling
Deze studie onderzoekt hoe "geprivilegieerde informatie"—observaties die beschikbaar zijn tijdens de training maar mogelijk niet beschikbaar zijn tijdens de inzet—invloed heeft op de ontdekking van hoogpresterende beleidsregels (policies) bij het trainen van een reinforcement learning (RL) agent direct op een fysiek systeem. De auteurs richten zich op actieve stromingscontrole, een domein dat wordt gekenmerkt door oneindig-dimensionale, chaotische nietlineaire dynamica (geregeerd door de Navier-Stokes-vergelijkingen) die moeilijk nauwkeurig te modelleren of te simuleren zijn. Specifiek betreft de taak het controleren van de rotatie van een cilinder in een waterkanaal om de hydrodynamische weerstand die op deze cilinder werkt, ofwel te minimaliseren of te maximaliseren. Hoewel decennia-oude experimentele studies hebben aangetoond dat eenvoudige, periodieke open-loop beleidsregels (bijv. sinusvormige rotatie) de weerstand aanzienlijk kunnen veranderen, ligt de uitdaging in het autonoom ontdekken van deze effectieve sequenties zonder voorafgaande kennis van de optimale strategie.

Methodologie
De auteurs hebben een goedkope, tafelmodel circulatie-waterkanaal (CWC) ontworpen en ingezet, uitgerust met een real-time, hardware-versneld Particle Image Velocimetry (PIV) systeem. Deze opstelling maakt dichte, volledige veldobservaties (snelheidsvectoren en vorticiteit) mogelijk die tijdens de training naar de agent kunnen worden gevoed.

Systeem: Een cilinder (straal $R=0,021$ m) wordt gedraaid door een borstelloze motor binnen een afgesloten waterkanaal. De stroming wordt aangedreven door propellers en gestabiliseerd door honingraatstructuren en geleidingsvinnen. Het Reynoldsgetal is ongeveer $5,0 \times 10^3$ .
Agent: De auteurs maken gebruik van DreamerV3, een generalistische, model-gebaseerde RL-algoritme, met standaard hyperparameters en geen taakspecifieke inductieve bias.
Observatiesets: De studie vergelijkt twee observatieconfiguraties:
1. Augmented Set: Bevat de standaard scalaire weerstandsmeting, de vorige opdracht voor rotatiesnelheid, motordata, plus de dichte stromingsveld-schatting van het PIV-systeem.
2. Reduced Set: Bevat alleen de scalaire weerstandsmeting, de vorige opdracht en de motordata (waarbij de stromingsobservaties worden achtergehouden).
Beloning (Reward): De beloning wordt gedefend als de verandering in weerstand ten opzichte van het begin van de episode ( $r_t = s(d_t - d_0)$ ), waarbij $s=+1$ voor maximalisatie en $s=-1$ voor minimalisatie.
Protocol: De training vindt direct op het fysieke systeem plaats over budgetten van 60 minuten (60 episodes). De auteurs voeren uitgebreide ablatiestudies uit, waarbij ze de observatiesets, modelgroottes en leeralgoritmen variëren. Ze leggen ook actie-trajecten vast tijdens succesvolle online runs en spelen deze af als vaste open-loop sequenties om te testen of online feedback vereist is voor uitvoering.

Belangrijkste Resultaten
De experimenten onthullen een opvallende asymmetrie in de manier waarop geprivilegieerde observaties de ontdekking van beleid beïnvloeden, afhankelijk van het doel van de taak:

Weerstandsmaximalisatie:
- Met stromingsobservaties: De agent ontdekt snel hoogpresterende beleidsregels en verhoogt de weerstand met 25,5% ± 0,9% binnen enkele tientallen minuten.
- Zonder stromingsobservaties: De agent slaagt er niet in om een hoogpresterende beleidsregel te ontdekken in alle 10 de trainingsruns, en bereikt slechts een verwaarloosbare toename van 1,8% ± 4,3%.
- Replay: Actie-trajecten die tijdens online uitvoering (met stromingsobservaties) zijn opgenomen, kunnen open-loop worden afgespeeld (zonder observaties) en bereiken nog steeds een weerstandsverhoging van 23,2% ± 2,2%, wat aantoont dat de acties zelf geen continue stromingsfeedback vereisen om effectief te zijn, maar de ontdekking van deze acties wel.
Weerstandsminimalisatie:
- Met stromingsobservaties: De agent leert de weerstand te verminderen met 32,4% ± 1,6%.
- Zonder stromingsobservaties: De agent slaagt er nog steeds in de weerstand te verminderen met 31,4% ± 2,1%, hoewel het leerproces trager en variabeler is.
- Replay: Open-loop replay van opgenomen trajecten bereikt een reductie van 32,1% ± 3,0%, vergelijkbaar met online uitvoering.
Mechanisme van Asymmetrie:
De auteurs identificeren een "traject-niveau inverse respons" als de oorzaak van de asymmetrie. In 94,4% van de online trajecten veroorzaken de initiële acties van de agent een onmiddellijke afname van de weerstand, ongeacht het uiteindelijke doel.
- Voor minimalisatie zorgt deze initiële afname voor een positief leersignaal, waardoor de agent zelfs zonder stromingsdata het beleid kan verfijnen.
- Voor maximalisatie fungeert deze initiële afname als een negatief leersignaal (tegengesteld aan het doel), wat de agent misleidt. Geprivilegieerde stromingsobservaties stellen de agent in staat om de onderliggende stromingsdynamica te "zien" en deze initiële misstap te corrigeren, wat de ontdekking van de contra-intuïtieve, hoge-weerstandsstrategie mogelijk maakt.
Ablaties:
- Het falen om de weerstand te maximaliseren zonder stromingsobservaties houdt stand bij verschillende modelgroottes (1M vs. 25M parameters) en leeralgoritmen (PPO, SAC), wat bevestigt dat het resultaat geen artefact is van een specifieke architectuur.
- De asymmetrie is robuust over verschillende configuraties van de observatiesets.

Betekenis en Claims
Het artikel claimt de eerste fysieke demonstratie te bieden dat geprivilegieerde observaties doorslaggevend kunnen zijn voor de ontdekking van beleid, zelfs in scenario's waar de resulterende optimale acties open-loop kunnen worden uitgevoerd zonder die observaties.

Ontkoppeling van Ontdekking en Uitvoering: De studie scheidt de moeilijkheid van het vinden van een hoogpresterende beleidsregel van de noodzaak om rijke observaties tijdens de uitvoering te gebruiken. Het toont aan dat hoewel dichte stromingsvelden niet strikt vereist zijn voor het uitvoeren van een hoge-weerstandsstrategie (zoals bewezen door replay), ze essentieel zijn voor de RL-agent om die strategie te ontdekken in de aanwezigheid van een initiële ongunstige fysieke respons (non-minimum phase gedrag).
Fysieke RL-haalbaarheid: Het werk demonstreert dat generalistische RL-agenten complexe controlebeleidsregels in chaotische, echte vloeistofsystemen snel en betrouwbaar kunnen ontdekken zonder afhankelijk te zijn van hoogwaardige simulaties, mits ze toegang hebben tot rijke, geprivilegieerde trainingsdata.
Praktische Implicatie: De bevindingen suggereren dat rijke, dure of computationeel intensieve sensoren (zoals volledige veld-PIV) zeer waardevol kunnen zijn tijdens laboratoriumtrainingsfasen om de ontdekking van beleid te "bootstrappen", zelfs als dergelijke sensoren onpraktisch zijn om continu in het veld in te zetten. De getrainde beleidsregel kan dan effectief opereren met een gereduceerde set observaties.

De auteurs blijven bescheiden over de generaliseerbaarheid en merken op dat de resultaten specifief zijn voor de geteste beloningsspecificaties, trainingsbudgetten en het sterk wand-beperkte stromingsregime van hun apparaat. Ze presenteren dit werk als een startpunt voor het in kaart brengen van hoe de beschikbaarheid van observaties interacteert met fysieke dynamica om leerresultaten te vormen.

Meer zoals dit