Resumo Técnico: Um Framework Unificado em Python para Controle Direto Baseado em PPO de Unidades de Tratamento de Ar (AHUs)

Declaração do Problema

Os sistemas de aquecimento, ventilação e ar condicionado (HVAC) de edifícios são responsáveis por uma parcela significativa do consumo global de energia (30–40% do uso de energia em edifícios), mas manter o desempenho ideal é desafiador devido às características não lineares das envoltórias dos edifícios e às variações estocásticas de carga. Estratégias de controle tradicionais, como termostatos Liga/Desliga e controladores PID de ponto de ajuste fixo, frequentemente lutam para equilibrar simultaneamente o conforto térmico, a Qualidade do Ar Interior (QAI) e a eficiência energética. Especificamente, esses métodos convencionais frequentemente falham em ajustar dinamicamente as taxas de ventilação com base na ocupação em tempo real e nos níveis de CO2, levando tanto ao desperdício excessivo de energia por super-ventilação quanto a riscos à saúde devido à má QAI. Além disso, estudos existentes de Aprendizado por Reforço Profundo (DRL) frequentemente tratam a QAI como uma penalidade suave em vez de uma restrição rígida, dependem de ferramentas complexas de co-simulação que dificultam a implementação ou carecem de modelos físicos integrados (como redes térmicas e equações de balanço de massa) dentro de um ambiente Python unificado.

Metodologia

Os autores propõem um framework unificado em Python que implementa um algoritmo de Otimização Direta de Política Próxima (PPO) para controlar uma Unidade de Tratamento de Ar (AHU). A metodologia é construída sobre os seguintes componentes:

1. Modelagem Física e Matemática

O ambiente de simulação utiliza um modelo de rede térmica 2R-2C acoplado a equações de balanço de massa dinâmicas para umidade e CO2.

• Dinâmica Térmica: Modelada usando resistência térmica ($R_{in}, R_{out}$) e capacitância ($C_{wall}$) para simular o comportamento termodinâmico transitório.
• Umidade e CO2: O sistema calcula a umidade interna e a concentração de CO2 com base nas taxas de geração dos ocupantes, propriedades do ar de suprimento e taxas de ventilação.
• Lógica do Economizador: Um economizador baseado em entalpia é integrado para permitir "resfriamento gratuito" quando as condições externas (temperatura e umidade) são mais favoráveis do que as condições internas.

2. Estratégias de Controle Comparadas

O estudo avalia quatro estratégias de controle distintas ao longo de uma simulação dinâmica de 24 horas:

1. Termostato Liga/Desliga: Uma lógica de comutação de base com uma diferença fixa (histerese).
2. Controlador PID: Um sinal de controle contínuo que modula a velocidade do ventilador com base em ganhos proporcional, integral e derivativo.
3. Agente PPO Padrão: Um agente de RL treinado para regular a temperatura com uma taxa de ar fresco fixa (50%).
4. Agente PPO "Inteligente" Proposto: Um agente avançado com Lógica de Fluxo Hierárquica.

3. O Framework PPO Proposto

A inovação central reside na Lógica de Fluxo Hierárquica e no design do ambiente:

• Espaço de Estados: O agente observa a temperatura interna atual ($T_{air}$) e o erro térmico instantâneo ($e(t)$).
• Espaço de Ações: O agente gera uma ação contínua para controlar a taxa total de fluxo de ar.
• Lógica de Fluxo Hierárquica (Sobreposição de QAI): Este é um mecanismo de segurança crítico. O ambiente calcula o volume mínimo de ar fresco necessário para manter o CO2 abaixo de 1000 ppm com base na ocupação em tempo real. A atuação final é o máximo entre o fluxo solicitado pelo agente e o fluxo mínimo de QAI calculado. Isso garante que o agente não possa desligar a ventilação para economizar energia se isso comprometer a qualidade do ar.
• Função de Recompensa: O agente é recompensado com base no erro quadrático negativo do desvio de temperatura em relação ao ponto de ajuste de 22°C ($R = -|T_{air} - T_{set}|^2$).
• Treinamento: O agente é treinado usando a biblioteca Stable Baselines3 ao longo de 300.000 passos de tempo com perturbações horárias dinâmicas.

Principais Contribuições

O artigo identifica três contribuições primárias para o campo de controle de HVAC:

1. Ambiente Gym Autossuficiente: Um ambiente Python personalizado que acopla um modelo térmico 2R-2C com um balanço dinâmico de CO2, eliminando a necessidade de ferramentas externas de co-simulação.
2. Restrições Rígidas de QAI: Ao contrário de muitos estudos de RL que tratam a QAI como uma penalidade suave, este framework impõe a QAI como uma restrição rígida por meio da Lógica de Fluxo Hierárquica, garantindo que os níveis de CO2 nunca excedam o limite de segurança de 1000 ppm.
3. Otimização Integrada: O sistema equilibra com sucesso o único objetivo de regulação de temperatura com a necessidade física de ventilação, demonstrando que um agente de RL pode aprender a otimizar o uso de energia sem sacrificar a saúde dos ocupantes.

Resultados

Os resultados da simulação, comparando as quatro estratégias ao longo de um período de 24 horas com perfis de ocupação e clima dinâmicos, indicam:

• Conforto Térmico: Tanto os controladores PID quanto PPO superaram significativamente o termostato Liga/Desliga, eliminando as grandes oscilações de temperatura (padrão de dente de serra) associadas à comutação binária. Os agentes PPO alcançaram estabilidade comparável à do controlador PID.
• Qualidade do Ar Interior (CO2):
  • O termostato Liga/Desliga resultou em picos frequentes de CO2 excedendo 1300 ppm.
  • O controlador PID manteve o CO2 em torno de 920 ppm, mas apresentou excedências ocasionais do limite durante quedas de ocupação.
  • O PPO Inteligente com Lógica de Economizador demonstrou a maior precisão, mantendo os níveis de CO2 estritamente abaixo de 910 ppm durante a demanda de pico e rastreando com precisão o limiar de 1000 ppm para prevenir a super-ventilação.
• Eficiência Energética:
  • Liga/Desliga: 2776 kWh
  • PID: 2760 kWh
  • PPO Padrão: 2762 kWh
  • PPO Inteligente (com Economizador/DCV): 2609 kWh
    A estratégia PPO Inteligente alcançou aproximadamente 6% de economia de energia em comparação com as bases PID e Liga/Desliga, enquanto simultaneamente alcançou os níveis mais baixos de CO2.

Significado e Alegações

O artigo alega que esta pesquisa aborda lacunas significativas na literatura atual de controle de HVAC, fornecendo uma solução robusta, generalizada e facilmente implementável baseada em Python. O significado do trabalho é duplo:

1. Implementação Prática: Ao integrar modelos físicos (2R-2C, balanço de massa) diretamente em um ambiente estilo Gym, o framework oferece um caminho para soluções "ponta a ponta" que podem ser transferidas mais facilmente para implementações de hardware real em comparação com abordagens complexas de co-simulação.
2. Segurança e Eficiência: A Lógica de Fluxo Hierárquica prova que agentes de RL podem ser restringidos para priorizar a segurança (QAI) sem comprometer sua capacidade de aprender políticas energéticas ótimas. O estudo demonstra que a ventilação dinâmica controlada por demanda, impulsionada por RL, pode reduzir o consumo de energia enquanto adere estritamente aos padrões de saúde, oferecendo uma alternativa viável aos sistemas de controle tradicionais baseados em regras ou reativos.

Os autores concluem que, embora o trabalho atual seja uma simulação, o framework foi projetado para ser implantado em AHUs físicas reais, com trabalhos futuros planejados para validar essas descobertas usando dados reais de edifícios e implantação de hardware no mundo real.