Riepilogo Tecnico: Un Framework Python Unificato per il Controllo Diretto basato su PPO delle Unità di Trattamento Aria (AHU)

Enunciato del Problema

I sistemi HVAC degli edifici sono responsabili di una porzione significativa del consumo energetico globale (30–40% dell'energia utilizzata negli edifici), tuttavia il mantenimento di prestazioni ottimali è impegnativo a causa delle caratteristiche non lineari degli involucri edilizi e delle variazioni stocastiche del carico. Le strategie di controllo tradizionali, come i termostati On/Off e i controllori PID a setpoint fissi, spesso faticano a bilanciare simultaneamente il comfort termico, la qualità dell'aria interna (IAQ) e l'efficienza energetica. Nello specifico, questi metodi convenzionali falliscono frequentemente nell'adattare dinamicamente i tassi di ventilazione in base all'occupazione in tempo reale e ai livelli di CO2, portando sia a uno spreco energetico eccessivo dovuto alla sovra-ventilazione, sia a rischi per la salute derivanti da una scarsa IAQ. Inoltre, gli studi esistenti sul Reinforcement Learning (RL) profondo trattano spesso l'IAQ come una penalità soft piuttosto che come un vincolo hard, si affidano a strumenti complessi di co-simulazione che ostacolano l'implementazione o mancano di modelli fisici integrati (come reti termiche ed equazioni di bilancio di massa) all'interno di un ambiente Python unificato.

Metodologia

Gli autori propongono un framework Python unificato che implementa un algoritmo di Ottimizzazione Diretta della Politica Prossimale (PPO) per il controllo di un'Unità di Trattamento Aria (AHU). La metodologia si fonda sui seguenti componenti:

1. Modellazione Fisica e Matematica

L'ambiente di simulazione utilizza un modello di rete termica 2R-2C accoppiato con equazioni di bilancio di massa dinamiche per l'umidità e la CO2.

• Dinamiche Termiche: Modellate utilizzando la resistenza termica ($R_{in}, R_{out}$) e la capacità termica ($C_{wall}$) per simulare il comportamento termodinamico transitorio.
• Umidità e CO2: Il sistema calcola l'umidità interna e la concentrazione di CO2 in base ai tassi di generazione degli occupanti, alle proprietà dell'aria di mandata e ai tassi di ventilazione.
• Logica Economizer: È integrato un economizzatore basato sull'entalpia per abilitare il "raffreddamento gratuito" quando le condizioni esterne (temperatura e umidità) sono più favorevoli rispetto alle condizioni interne.

2. Strategie di Controllo Confrontate

Lo studio valuta quattro distinte strategie di controllo in una simulazione dinamica di 24 ore:

1. Termostato On/Off: Una logica di commutazione di base con un differenziale fisso (isteresi).
2. Controllore PID: Un segnale di controllo continuo che modula la velocità del ventilatore in base a guadagni proporzionali, integrali e derivativi.
3. Agente PPO Standard: Un agente RL addestrato per regolare la temperatura con un rapporto di aria fresca fisso (50%).
4. Agente PPO "Intelligente" Proposto: Un agente avanzato dotato di Logica di Flusso Gerarchica.

3. Il Framework PPO Proposto

L'innovazione principale risiede nella Logica di Flusso Gerarchica e nella progettazione dell'ambiente:

• Spazio degli Stati: L'agente osserva la temperatura interna corrente ($T_{air}$) e l'errore termico istantaneo ($e(t)$).
• Spazio delle Azioni: L'agente produce un'azione continua per controllare la portata totale dell'aria.
• Logica di Flusso Gerarchica (Sovrascrittura IAQ): Questo è un meccanismo di sicurezza critico. L'ambiente calcola il volume minimo di aria fresca necessario per mantenere la CO2 al di sotto di 1000 ppm in base all'occupazione in tempo reale. L'attuazione finale è il massimo tra la portata richiesta dall'agente e la portata minima calcolata per l'IAQ. Ciò garantisce che l'agente non possa spegnere la ventilazione per risparmiare energia se ciò comprometterebbe la qualità dell'aria.
• Funzione di Ricompensa: L'agente viene ricompensato in base all'errore quadratico negativo della deviazione della temperatura dal setpoint di 22°C ($R = -|T_{air} - T_{set}|^2$).
• Addestramento: L'agente viene addestrato utilizzando la libreria Stable Baselines3 per 300.000 passi temporali con disturbi dinamici orari.

Contributi Chiave

Il documento identifica tre contributi principali nel campo del controllo HVAC:

1. Ambiente Gym Autonomo: Un ambiente Python personalizzato che accoppia un modello termico 2R-2C con un bilancio dinamico della CO2, eliminando la necessità di strumenti di co-simulazione esterni.
2. Vincoli Hard sull'IAQ: A differenza di molti studi RL che trattano l'IAQ come una penalità soft, questo framework impone l'IAQ come vincolo hard tramite la Logica di Flusso Gerarchica, garantendo che i livelli di CO2 non superino mai il limite di sicurezza di 1000 ppm.
3. Ottimizzazione Integrata: Il sistema bilancia con successo l'obiettivo unico della regolazione della temperatura con la necessità fisica della ventilazione, dimostrando che un agente RL può imparare a ottimizzare l'uso energetico senza sacrificare la salute degli occupanti.

Risultati

I risultati della simulazione, che confrontano le quattro strategie in un periodo di 24 ore con profili dinamici di occupazione e meteo, indicano:

• Comfort Termico: Sia i controllori PID che PPO hanno superato significativamente il termostato On/Off, eliminando le grandi oscillazioni di temperatura (andamento a dente di sega) associate alla commutazione binaria. Gli agenti PPO hanno raggiunto una stabilità paragonabile a quella del controllore PID.
• Qualità dell'Aria Interna (CO2):
  • Il termostato On/Off ha causato frequenti picchi di CO2 superiori a 1300 ppm.
  • Il controllore PID ha mantenuto la CO2 intorno a 920 ppm, ma ha mostrato occasionali superamenti del limite durante i cali di occupazione.
  • Il PPO Intelligente con Logica Economizer ha dimostrato la massima precisione, mantenendo i livelli di CO2 rigorosamente al di sotto di 910 ppm durante la domanda di picco e tracciando accuratamente la soglia di 1000 ppm per prevenire la sovra-ventilazione.
• Efficienza Energetica:
  • On/Off: 2776 kWh
  • PID: 2760 kWh
  • PPO Standard: 2762 kWh
  • PPO Intelligente (con Economizer/DCV): 2609 kWh
    La strategia PPO Intelligente ha raggiunto un risparmio energetico di circa il 6% rispetto alle baseline PID e On/Off, ottenendo simultaneamente i livelli di CO2 più bassi.

Significato e Affermazioni

Il documento afferma che questa ricerca affronta lacune significative nella letteratura attuale sul controllo HVAC fornendo una soluzione robusta, generalizzata e facilmente implementabile basata su Python. Il significato del lavoro è duplice:

1. Implementazione Pratica: Integrando modelli fisici (2R-2C, bilancio di massa) direttamente in un ambiente di tipo Gym, il framework offre una via per soluzioni "end-to-end" che possono essere trasferite più facilmente a implementazioni hardware reali rispetto agli approcci complessi di co-simulazione.
2. Sicurezza ed Efficienza: La Logica di Flusso Gerarchica dimostra che gli agenti RL possono essere vincolati a dare priorità alla sicurezza (IAQ) senza compromettere la loro capacità di apprendere politiche energetiche ottimali. Lo studio dimostra che la ventilazione dinamica controllata dalla domanda guidata dall'RL può ridurre il consumo energetico rispettando rigorosamente gli standard sanitari, offrendo un'alternativa praticabile ai sistemi di controllo tradizionali basati su regole o reattivi.

Gli autori concludono che, sebbene il lavoro attuale sia una simulazione, il framework è progettato per essere distribuito su AHU fisici reali, con lavori futuri pianificati per validare questi risultati utilizzando dati reali degli edifici e implementazioni hardware nel mondo reale.