Calibration-First Reward-Component Auditing for Reinforcement Learning Control in Smart Greenhouses

Technische Samenvatting: Kalibratie-georiënteerde Audit van Beloningscomponenten voor Reinforcement Learning-besturing in Slimme Kassen

Probleemstelling
Reinforcement learning (RL) biedt de potentie om klimaatbeheersstrategieën in slimme kassen te testen op snelheden en schalen die onbereikbaar zijn voor fysieke gewasexperimenten. Echter, een significante barrière voor adoptie is de interpreteerbaarheid van het RL-doel (objective). In bestaande frameworks zoals GreenLight-Gym is de beloning doorgaans een enkele scalaire waarde die groeiafbrengst en energiekosten combineert. Deze aggregatie verduistert de specifieke fysieke acties (bijv. verwarming, CO2-verrijking, schermbediening) die de prestaties van het beleid (policy) aansturen. Hierdoor kunnen kwekers en regeltechnici niet gemakkelijk bepalen of een toename in beloning voortkomt uit fysiologische verbeteringen, verschoven setpoints, gunstige weersomstandigheden of simulator-artefacten. Bovendien vormt de "sim-to-real" kloof een risico: beloningscomponenten die in simulatie worden berekend, bezitten mogelijk geen consistente semantiek of schalen wanneer ze worden vergeleken met gelogde kasgegevens, wat leidt tot beleidsregels die falen bij implementatie.

Methodologie
De auteurs stellen een "kalibratie-georiënteerd audit-framework voor beloningscomponenten" voor, ontworpen om beloningen te deconstruceren, te valideren en te interpreteren vóór de overdracht van de controller. De methodologie bestaat uit drie primaire fasen:

1. Deconstructie van de beloning: Het scalaire GreenLight-Gym doel wordt uitgebreid met een "physics-prior" diagnostische term. De totale beloning $r_t$ is een mengeling van de natuurlijke scalaire beloning ($0.7r_{native}$) en een diagnostische term ($0.3r_{diag}$). De diagnostische term is een gewogen som van zeven benoemde componenten: temperatuurcomfort, temperatuurrichting, CO2-richting, luchtvochtigheid/VPD, licht, scherm en een actuatie-proxy. Deze componenten zijn ontworpen om interpreteerbaar te zijn en afgestemd te zijn op de fysieke kasdynamiek.
2. Simulator Kalibratie: Voordat simulatie-runs als bewijs worden gebruikt, wordt de GreenLight-simulator aangepast aan gelogde klimaattraces van de Autonomous Greenhouse Challenge (AGC2). Een parametercallibratie (waarbij warmte-uitwisseling, ventilatie en capaciteitsparameters variëren) wordt uitgevoerd om de fout tussen gesimuleerde en gemeten luchttemperatuur, relatieve luchtvochtigheid en CO2 te minimaliseren. Deze kalibratie zorgt ervoor dat de staat-dynamiek van de simulator nauw aansluit bij de beoogde faciliteit.
3. Multi-Layer Auditing: Het framework evalueert het geleerde beleid via zes specifieke controles:
   • Leerbaarheid (Learnability): Verifiëren dat de gedeconstrueerde beloning PPO-agenten in staat stelt om een regelgebaseerde baseline te overtreffen.
   • Tijd-geconditioneerd Gedrag: Analyseren of acties (specifiek CO2-dosering) verschuiven naar fysiologisch plausibele regimes (bijv. dag versus nacht).
   • Cross-Domein Vergelijkbaarheid: Het scoren van dezelfde benoemde componenten op gelogde AGC-data (AGC1, AGC2, AGC4) om de semantische en schaal-consistentie tussen simulatie en realiteit te controleren.
   • Regelgetrouwheid (Rule Fidelity): Het distilleren van de neurale beleidsacties naar ondiepe beslissingsbomen om te bepalen of het geleerde gedrag een eenvoudige, interpreteerbare regel benadert (bijv. "sluit scherm als straling > X").
   • Actuatie-Proxy Trade-offs: Beoordelen of beloningswinsten worden behaald door realistische controlebelastingen of door simulator-shortcuts.

Belangrijkste Resultaten

• Leerbaarheid: De gedeconstrueerde beloning bleef volledig leerbaar. Negen 500k-stappen PPO-runs met de component-beloning slaagden erin de vloer van de regel-controller te doorbreken, waarbij de natuurlijke beloningen de scalaire baseline evenaarden of licht overtroffen.
• Impact van Kalibratie: Het aanpassen van de GreenLight-simulator aan de AGC2 gelogde data verbeterde de nauwkeurigheid van de state-rollouts aanzienlijk. De aangepaste simulator verminderde de gemiddelde wortelgemiddelde kwadratische fout (RMSE) met 0,184°C voor temperatuur, 4,3 procentpunten voor relatieve luchtvochtigheid en 563 ppm voor CO2 vergeleken met de standaard simulator, zonder de temperatuurnauwkeurigheid te verslechteren.
• Interpreteerbaarheid (Regelgetrouwheid): In de standaard (niet-aangepaste) simulator produceerde de physics-prior beloning beleidsregels die aanzienlijk beter werden benaderd door ondiepe beslissingsbomen dan de scalaire baseline. Specifiek steeg de $R^2$ voor thermische schermen van 0,652 naar 0,835, voor lampen van 0,63- naar 0,838 en voor blackout-schermen van 0,592 naar 0,750. Echter, na faciliteit-adaptatie convergeerden beide beloningsontwerpen naar vergelijkbaar hoge regelgetrouwheidsscores ($R^2 \approx 0,94$), wat suggereert dat de aangepaste dynamiek zelf het beleid richting fysiek gestructureerde regels dwingt.
• Cross-Domein Afstemming: Bij het scoren van dezelfde componenten op gelogde AGC-data identificeerde het framework gewas- en kanaalspecifieke afstemmingssignalen. Zo werd een positieve maar statistisch ondergekapitaliseerde rangcorrelatie ($\rho = 0,829$) gevonden tussen de samengestelde prior en de AGC1 komkommeropbrengst-rangschikkingen. Individuele kanalen, zoals de CO2-richting in AGC2 en AGC4, vertoonden sterkere correlaties, wat wijst op specifieke gebieden voor kalibratie.

Betekenis en Claims
Dit artikel positioneert dit framework niet als een methode voor directe verbetering van de opbrengst op veldniveau, maar als een diagnostische laag voorafgaand aan de implementatie voor kas-RL. De auteurs claimen dat:

1. Transparantie van Beloning: Het deconstrueren van beloningen in benoemde componenten stelt onderzoekers in staat om te rapporteren hoe een beleid zijn beloning verdient, in plaats van alleen de geaggregeerde score te tonen.
2. Noodzaak van Kalibratie: Simulator-kalibratie is een vereiste voor betekenvolle cross-domein vergelijking; zonder kalibratie missen beloningscomponenten een consistente semantiek tussen simulatie en gelogde data.
3. Diagnostisch Nut: Het framework identificeert effectief welke actuator-kanalen (bijv. schermen, lampen) geschikt zijn voor regelgebaseerde inspectie en welke gewas-specifieke kanalen verdere kalibratie of meetondersteuning vereisen.
4. Beperkte Omvang: De auteurs verklaren expliciet dat de resultaten het gebruik van beloningscomponent-auditing ondersteunen als een validatiestap. Zij beweren niet dat de component-beloning inherent de scalaire beloning overtreft in termen van uiteindelijke opbrengst, of dat de beleidsregels klaar zijn voor closed-loop implementatie in de praktijk zonder verdere prospectieve proeven. De studie dient om de kloof tussen simulator-gebaseerd onderzoek en faciliteit-specifieke validatie te overbruggen door ervoor te zorgen dat de "taal" van de beloning consistent is over verschillende domeinen.