Resumo Técnico: Building2Building (B2B)

Declaração do Problema

O Aprendizado por Reforço (RL) tem demonstrado um forte desempenho em tarefas de controle, mas as políticas aprendidas frequentemente permanecem frágeis diante de mudanças na dinâmica, espaços de ação, espaços de observação ou objetivos. Essa falta de generalização é uma barreira crítica para a implantação no mundo real. Benchmarks existentes para estudar a generalização, como o Meta-World e o RLBench, são amplamente confinados à robótica e jogos de vídeo. Eles frequentemente introduzem uma diversidade limitada, focando primariamente em variações de parâmetros dinâmicos (ex: fricção) ou objetivos de tarefas, enquanto raramente oferecem espaços de observação e ação heterogêneos ou ambientes físicos complexos. Consequentemente, a pesquisa em adaptação de domínio cruzado e transferência em RL muitas vezes depende de configurações experimentais customizadas e não reprodutíveis, fragmentando o progresso.

Os autores identificam o controle de Aquecimento, Ventilação e Ar Condicionado (HVAC) em edifícios como um domínio ideal para abordar essas lacunas. Edifícios exibem uma vasta diversidade em layouts, materiais, exposição climática e configurações de HVAC, mas compartilham princípios físicos comuns baseados na termodinâmica e conservação de energia. Além disso, os sistemas HVAC representam um desafio social significativo, respondendo por quase metade do consumo de energia em edifícios (que compõem aproximadamente um terço do uso global de energia).

Metodologia

A Suíte Building2Building (B2B)

Os autores introduzem a Building2Building (B2B), uma suíte de grande escala de ambientes realistas de controle de HVAC construída sobre o EnergyPlus, um simulador de energia de edifícios de última geração. A B2B é projetada para ser totalmente compatível com a interface Gymnasium.

Geração de Ambiente:

• Escala: A suíte gera um conjunto de dados de 6.000 ambientes abrangendo múltiplos tipos de edifícios (casas, restaurantes, armazéns, lojas de varejo, escritórios pequenos/médios), climas e configurações de HVAC.
• Geradores:
  1. Um gerador residencial que produz casas de zona única baseadas nas características estatísticas do estoque de edifícios residenciais de Québec.
  2. Um gerador paramétrico baseado em edifícios comerciais de referência da ASHRAE 90.1 em 16 locais da América do Norte. Este gerador amostra o tamanho do edifício, razões janela-parede, isolamento e infiltração de ar, enquanto impõe limites de parâmetros dependentes do clima para garantir consistência física.
• Interface de Controle: A B2B expõe atuadores de HVAC de baixo nível, lidando com:
  • Sistemas unitários: Controle da Temperatura do Ar de Suprimento (SAT) e taxa de fluxo de ar de suprimento.
  • Sistemas de loop central de ar: Controle de SAT central, misturadores de ar externo, aberturas de dampers de zona e serpentinas de reaquecimento ao nível da zona.
  • Sistemas de base/apenas aquecimento: Controle via termostatos de zona.
• Observações: Os agentes recebem dados meteorológicos (temperatura, umidade), informações de calendário, temperaturas das zonas internas e consumo de energia de HVAC normalizado.

Representação Estruturada de Ambiente

Para abordar a falta de formas padronizadas de descrever frotas heterogêneas de ambientes, a B2B introduz uma representação estruturada que estende a API padrão do Gymnasium.

• Universo Morfológico: Define um vocabulário comum para uma família de ambientes, incluindo um espaço de atributos comum ($C_c$), espaço de observação ($S_c$) e espaço de ação ($A_c$), juntamente com um conjunto de tipos de nós ($T$) com espaços locais.
• Morfologia: Descreve uma instância específica de ambiente como um grafo onde os nós representam componentes (ex: zonas térmicas, equipamentos de HVAC) com atributos locais específicos.
• Decomposição: Observações e ações são decompostas em uma parte comum e uma parte de grafo morfológico. Isso permite que algoritmos (ex: Redes Neurais de Grafos, Transformadores de Grafos Heterogêneos) operem na estrutura do ambiente em vez de tamanhos fixos de entrada/saída.

Tarefas de Benchmark

Os autores definem quatro configurações de benchmark reprodutíveis para isolar fontes específicas de variação:

1. Adaptação de Objetivo: Treinamento e teste na mesma dinâmica de edifício, mas com funções de recompensa variando (ex: alterando pesos de energia $w_E$ ou estratégias de setpoint de temperatura: constante, baseada em ocupação ou aleatória).
2. Adaptação de Dinâmica: Recompensa e espaço de ação fixos, mas variando a dinâmica do edifício (clima, tamanho, envelope) dentro do mesmo arquétipo.
3. Deslocamentos de Espaço de Ação: Dinâmica e recompensa fixas, mas alterando o conjunto de atuadores controláveis entre o treinamento e o teste (ex: treinar apenas em fluxo de ar, testar em fluxo de ar + SAT).
4. Generalização de Domínio Cruzado: Treinamento e teste em tipos de edifícios inteiramente diferentes com espaços de observação e ação heterogêneos (ex: treinar em lojas de varejo, testar em escritórios pequenos).

Formulação de Recompensa

A função de recompensa equilibra conforto térmico e eficiência energética:
$$r_t = -\frac{1}{Z \tau_T} \sum_{z=1}^{Z} (T_z(t) - T^{target}_z(t))^2 - w_E \frac{1}{\tau_E} E_{HVAC}(t)$$
Para lidar com diferenças de escala entre milhares de ambientes, os autores introduzem constantes de normalização $\tau_T$ e $\tau_E$. $\tau_E$ é fixo como o consumo de potência médio por passo de uma política reativa de linha de base para um determinado tipo de edifício e clima, permitindo que um único peso $w_E$ defina o compromisso através de diversos ambientes.

Principais Resultados

Baselines:
Os autores estabeleceram baselines usando:

1. Controle Reativo: Lógica de controle supervisório inspirada na ASHRAE Guideline 36 (loops PI e mecanismos de Trim-and-Respond).
2. Agentes PPO: Treinados em subconjuntos do conjunto de teste.

Experimentos de Adaptação de Dinâmica:

• Três classes de modelos foram testadas em casas de zona única: (1) Especialistas por edifício, (2) Agentes não especialistas (reamostragem de edifícios) e (3) Agentes parametrizados (reamostragem + atributos do edifício).
• Descobertas: Especialistas por edifício alcançaram o melhor desempenho, mas houve uma lacuna substancial em comparação aos não especialistas. Agentes parametrizados superaram os não especialistas, demonstrando o benefício de condicionar nos parâmetros do edifício (área de piso, ano de construção, etc.) para adaptação de dinâmica. No entanto, modelos não especialistas e parametrizados mostraram falhas de "cauda longa" em edifícios de teste específicos, enquanto os especialistas foram consistentes.

Experimentos de Transferência de Domínio Cruzado:

• Uma política única foi treinada simultaneamente em quatro tipos de edifícios (varejo, restaurante, escritório pequeno, escritório médio) usando uma variante da arquitetura Amorpheus (codificadores/decodificadores específicos por tipo com um transformer compartilhado).
• Descobertas: A política generalizada adaptou-se com sucesso a edifícios não vistos do conjunto de teste. Em vários casos, superou o controlador de controle reativo de linha de base, demonstrando a viabilidade de aprender políticas de controle através de morfologias heterogêneas sem retreinamento por edifício.

Significância e Alegações

O artigo afirma que a B2B fornece um testbed necessário, de grande escala, diverso e fisicamente fundamentado para a investigação sistemática de generalização e transferência em controle contínuo. Sua significância reside em três áreas:

1. Avanço da Pesquisa de RL: Ao oferecer um framework padronizado com espaços de observação e ação heterogêneos, a B2B permite o estudo rigoroso de aprendizado multitarefa, meta-aprendizado e transferência de domínio cruzado, indo além das limitações dos atuais benchmarks centrados em robótica.
2. Aplicabilidade no Mundo Real: O benchmark preenche a lacavra entre a pesquisa fundamental de RL e a implantação no mundo real em gestão de energia. Ele suporta um novo paradigma de treinamento onde as políticas são treinadas através de uma distribuição de edifícios, em vez de exigir um gêmeo digital altamente detalhado para cada edifício individual.
3. Impacto Social: Ao permitir o controle de HVAC aprimorado em escala, o trabalho contribui diretamente para reduzir o consumo de energia em edifícios, baixando custos operacionais e auxiliando na mitigação das mudanças climáticas.

Os autores enfatizam que, embora os métodos atuais de RL mostrem promessa em generalização, o benchmark B2B revela que desafios significativos permanecem, particularmente em lidar com o "long tail" de casos de falha ao transferir para ambientes não vistos sem condicionamento específico.