Calibration-First Reward-Component Auditing for Reinforcement Learning Control in Smart Greenhouses

Sintesi Tecnica: Audit dei Componenti di Ricompensa Basato sulla Calibrazione per il Controllo tramite Apprendimento per Rinforzo in Serre Intelligenti

Problematica
L'apprendimento per rinforzo (RL) offre il potenziale per testare strategie di controllo climatico in serre intelligenti a velocità e scale non raggiungibili con esperimenti colturali fisici. Tuttavia, una barriera significativa all'adozione è l'interpretabilità dell'obiettivo di RL. Nei framework esistenti come GreenLight-Gym, la ricompensa è tipicamente un singolo valore scalare che combina le entrate derivanti dalla crescita e i costi energetici. Questa aggregazione oscura le specifiche azioni fisiche (ad esempio, riscaldamento, arricchimento di CO2, dispiegamento di schermi) che guidano le prestazioni della policy. Di conseguenza, i coltivatori e gli ingegneri del controllo non possono facilmente determinare se un aumento della ricompensa derivi da miglioramenti fisiologici, spostamenti dei setpoint, condizioni meteorologiche favorevoli o artefatti del simulatore. Inoltre, il divario "sim-to-real" pone un rischio: i componenti della ricompensa calcolati in simulazione potrebbero non possedere semantica o scale coerenti rispetto ai dati registrati della serra, portando a policy che falliscono al momento del deployment.

Metodologia
Gli autori propongono un framework di "audit dei componenti di ricompensa basato sulla calibrazione" progettato per decomporre, validare e interpretare le ricompense di RL prima del trasferimento del controller. La metodologia consiste in tre fasi primarie:

1. Decomposizione della Ricompensa: L'obiettivo scalare di GreenLight-Gym viene aumentato con un termine diagnostico basato su "prior fisici". La ricompensa totale $r_t$ è una miscela della ricompensa scalare nativa ($0.7r_{native}$) e di un termine diagnostico ($0.3r_{diag}$). Il termine diagnostico è una somma pesata di sette componenti nominate: comfort della temperatura, direzione della temperatura, direzione della CO2, umidità/VPD, luce, schermo e un proxy di attuazione. Questi componenti sono progettati per essere interpretabili e allineati con la dinamica fisica della serra.
2. Calibrazione del Simulatore: Prima di utilizzare i rollout della simulazione come evidenza, il simulatore GreenLight viene adattato a tracce climatiche registrate dall'Autonomous Greenhouse Challenge (AGC2). Viene condotta una ricerca dei parametri (variando scambio termico, ventilazione e parametri di capacità) per minimizzare l'errore tra la temperatura dell'aria, l'umidità relativa e la CO2 misurate e simulate. Questa calibrazione assicura che le dinamiche di stato del simulatore corrispondano strettamente alla struttura target.
3. Auditing Multi-livello: Il framework valuta la policy appresa attraverso sei controlli specifici:
   • Learnability (Capacità di apprendimento): Verificare che la ricompensa decomposta permetta agli agenti PPO di superare una baseline basata su regole.
   • Comportamento Condizionato dal Tempo: Analizzare se le azioni (specificamente il dosaggio di CO2) si spostano verso regimi fisiologicamente plausibili (ad esempio, giorno vs notte).
   • Comparabilità Cross-Domain: Valutare gli stessi componenti nominati su dati registrati AGC (AGC1, AGC2, AGC4) per verificare la coerenza semantica e di scala tra simulazione e realtà.
   • Fedeltà alle Regole: Distillare le azioni della policy neurale in alberi decisionali superficiali per determinare se il comportamento appreso approssima regole semplici e interpretabili (ad esempio, "chiudi lo schermo se la radiazione > X").
   • Tradeoff del Proxy di Attuazione: Valutare se i guadagni di ricompensa siano ottenuti attraverso carichi di controllo realistici o scorciatoie del simulatore.

Risultati Chiave

• Learnability: La ricompensa decomposta è rimasta pienamente apprendibile. Nove run PPO da 500k step utilizzando la ricompensa a componenti hanno superato con successo il pavimento del controller a regole, con le ricompense native che eguagliavano o superavano leggermente la baseline scalare.
• Impatto della Calibrazione: L'adattamento del simulatore GreenLight ai dati registrati di AGC2 ha migliorato significativamente l'accuratezza dei rollout di stato. Il simulatore adattato ha ridotto l'errore quadratico medio (RMSE) di 0,184°C per la temperatura, di 4,3 punti percentuali per l'umidità relativa e di 563 ppm per la CO2 rispetto al simulatore predefinito, senza degradare l'accuratezza della temperatura.
• Interpretabilità (Fedeltà alle Regole): Nel simulatore predefinito (non adattato), la ricompensa con prior fisico ha prodotto policy che erano significativamente più approssimate da alberi decisionali superficiali rispetto alla baseline scalare. Nello specifico, l'$R^2$ per gli schermi termici è aumentato da 0,652 a 0,835, per le lampade da 0,631 a 0,838 e per gli schermi oscuranti da 0,592 a 0,750. Tuttavia, dopo l'adattamento della struttura, entrambi i design di ricompensa hanno converguto verso punteggi di fedeltà alle regole similmente elevati ($R^2 \approx 0,94$), suggerendo che le dinamiche adattate stesse costringono la policy verso regole fisicamente strutturate.
• Allineamento Cross-Domain: Scorando gli stessi componenti su dati registrati AGC, il framework ha identificato segnali di allineamento specifici per coltura e canale. Ad esempio, è stata trovata una correlazione di rango positiva ma statisticamente debole ($\rho = 0,829$) tra il composite prior e le classifiche di resa del cetriolo di AGC1. Singoli canali, come la direzione della CO2 in AGC2 e AGC4, hanno mostrato correlazioni più forti, evidenziando aree specifiche per la calibrazione.

Significatività e Rivendicazioni
Il paper posiziona questo framework non come un metodo per il miglioramento immediato della resa in campo, ma come uno strato diagnostico pre-deployment per la RL in serra. Gli autori affermano che:

1. Trasparenza della Ricompensa: Decomporre le ricompense in componenti nominate permette ai ricercatori di riportare come una policy ottiene la sua ricompensa, piuttosto che solo il punteggio aggregato.
2. Necessità di Calibrazione: La calibrazione del simulatore è un prerequisito per un confronto cross-domain significativo; senza di essa, i componenti della ricompensa mancano di una semantica coerente tra simulazione e dati registrati.
3. Utilità Diagnostica: Il framework identifica efficacemente quali canali di attuazione (ad esempio, schermi, lampade) sono ammissibili all'ispezione basata su regole e quali canali specifici della coltura richiedono ulteriore calibrazione o supporto di misurazione.
4. Ambito Modesto: Gli autori dichiarano esplicitamente che i risultati supportano l'uso dell'audit dei componenti di ricompensa come fase di validazione. Non sostengono che la ricompensa a componenti superi intrinsecamente la ricompensa scalare in termini di resa finale o che le policy siano pronte per il deployment in campo a ciclo chiuso senza ulteriori prove prospettiche. Lo studio serve a colmare il divario tra la ricerca basata solo su simulazione e la validazione specifica per l'impianto, assicurando che il "linguaggio" della ricompensa sia coerente tra i diversi domini.