Safe Deep Reinforcement Learning for Building Heating Control and Demand-side Flexibility

1. Problema e Contexto

O setor de construção é responsável por aproximadamente 40% do consumo global de energia e uma parcela significativa das emissões de CO2. Com a crescente integração de fontes de energia renovável intermitente, a estabilidade da rede elétrica depende cada vez mais da flexibilidade da demanda, especialmente em sistemas de aquecimento, ventilação e ar condicionado (HVAC).

O desafio central é controlar o aquecimento de edifícios de forma a:

1. Minimizar custos energéticos e consumo.
2. Garantir o conforto térmico dos ocupantes.
3. Cumprir solicitações de flexibilidade impostas pelos operadores do sistema elétrico (ex.: reduzir ou aumentar o consumo em janelas de tempo específicas).

Abordagens tradicionais, como o Controle Baseado em Regras (RBC), são simples, mas não se adaptam bem a preços dinâmicos ou padrões de ocupação. O Controle Preditivo Baseado em Modelo (MPC) é mais eficiente, mas depende de modelos físicos precisos e tem alta complexidade computacional. O Aprendizado por Reforço Profundo (DRL) oferece uma alternativa orientada a dados, mas sua natureza exploratória levanta preocupações de segurança: um agente DRL pode violar restrições críticas de conforto ou falhar em cumprir compromissos de flexibilidade com a rede, o que é inaceitável em aplicações reais.

2. Metodologia

Os autores propõem um framework de Aprendizado por Reforço Profundo Seguro (Safe DRL) que combina um agente de aprendizado com um Filtro de Segurança Adaptativo em Tempo Real (RASF).

A. Arquitetura de Controle

• Agente DRL: Utiliza o algoritmo Deep Deterministic Policy Gradient (DDPG), adequado para espaços de ação contínuos (abertura da válvula da bomba de calor).
  • Estado ($S_t$): Inclui irradiação solar, temperatura ambiente, temperatura do quarto, temperatura do quarto vizinho, hora do dia, cenário de aquecimento/resfriamento, janela de flexibilidade e histórico de consumo.
  • Recompensa ($R_t$): Balanceia penalidades por violação de conforto térmico, custos de eletricidade e não cumprimento das restrições de flexibilidade.
• Modelo do Ambiente: O comportamento térmico do edifício é simulado usando Redes Neurais Fisicamente Consistentes (PCNNs), que integram conhecimento físico com aprendizado de dados para prever a temperatura futura.

B. Filtro de Segurança Adaptativo em Tempo Real (RASF)

Este é o componente central para garantir a segurança. O RASF atua como uma camada de proteção que ajusta a ação proposta pelo agente DRL ($u_t$) para uma ação segura ($u_{safe,t}$) antes de ser aplicada ao ambiente.

• Mecanismo: Calcula uma ação média necessária para cumprir o orçamento de energia restante na janela de flexibilidade.
• Adaptação Dinâmica: Introduz uma tolerância ($\tau_t$) que varia em tempo real baseada em:
  1. Temperatura do quarto: Aumenta a tolerância se a temperatura se aproximar dos limites de conforto, permitindo mais liberdade de ação para evitar desconforto.
  2. Preço da eletricidade: Aumenta a tolerância quando os preços são baixos, incentivando o consumo.
• Garantia: O filtro garante matematicamente que o consumo total de energia dentro da janela de flexibilidade não exceda o orçamento definido pelo operador da rede, independentemente das ações exploratórias do DRL.

3. Contribuições Principais

1. Filtro de Segurança sem Modelo: Desenvolvimento de um filtro de segurança adaptativo que não requer identificação de modelo físico prévio ou conhecimento do sistema, ajustando-se apenas com base em observações em tempo real (temperatura e preço).
2. Integração DRL-Segurança: Implementação bem-sucedida deste filtro em um framework de controle para flexibilidade de aquecimento, permitindo operação segura em tempo real sem sacrificar significativamente o desempenho de controle.
3. Validação em Cenário Realista: Simulação utilizando dados reais de um apartamento de laboratório vivo (UMAR, no campus NEST da Empa, Suíça), demonstrando a capacidade do controlador de otimizar energia, garantir conforto e entregar serviços de flexibilidade.

4. Resultados

O estudo comparou quatro estratégias em uma simulação de um mês:

1. Controle Baseado em Regras (RBC) - Baseline.
2. DRL sem consideração de flexibilidade.
3. DRL com flexibilidade, mas sem filtro de segurança.
4. DRL com Filtro de Segurança Adaptativo (RASF) (Proposta do artigo).

Desempenho Chave (Comparado ao RBC):

• Economia de Custos: O controlador com RASF reduziu os custos de eletricidade em 64,5% em relação ao RBC.
• Eficiência Energética: Redução de consumo de energia de aproximadamente 49% (de 134,62 kWh para 69,02 kWh).
• Conformidade: O RASF garantiu 100% de conformidade com as solicitações de flexibilidade, algo que o DRL puro (sem filtro) falhou em fazer consistentemente.
• Conforto: Houve um aumento mínimo nas violações de temperatura de conforto (apenas 3 horas adicionais de violação em um mês comparado ao DRL sem filtro), mantendo-se muito superior ao RBC (que teve 97,12 horas de violação).
• Comparação Geral: O DRL com RASF superou o RBC em conforto térmico (redução de 45,5% nas violações) e custos, enquanto o DRL puro (sem filtro) falhou em cumprir as restrições de flexibilidade.

5. Significado e Conclusão

O artigo demonstra que é possível utilizar agentes de aprendizado por reforço profundos em sistemas críticos de infraestrutura (como aquecimento de edifícios) sem comprometer a segurança operacional.

• Viabilidade Técnica: A abordagem "sem modelo" (model-free) do DRL, combinada com o filtro de segurança, oferece uma solução escalável que não depende de modelos físicos complexos e precisos, tornando-a aplicável a diversos tipos de edifícios.
• Impacto na Rede: O método permite que edifícios atuem como participantes ativos na gestão da rede elétrica, fornecendo serviços de flexibilidade essenciais para a integração de energias renováveis, sem violar contratos ou comprometer o bem-estar dos ocupantes.
• Futuro: Os autores sugerem que o próximo passo é testar a robustez do filtro em cenários de múltiplos agentes (vários edifícios coordenados) e sob condições climáticas extremas, onde o trade-off entre flexibilidade e conforto pode ser mais desafiador.

Em resumo, este trabalho preenche uma lacuna crítica na aplicação de IA em edifícios, oferecendo um mecanismo prático para garantir que a otimização baseada em dados respeite rigorosamente as restrições de segurança e contrato.