Experimental study on surveillance video-based indoor occupancy measurement with occupant-centric control

Título do Estudo

Estudo Experimental sobre Medição de Ocupação Interna Baseada em Vídeo de Vigilância para Controle Centrado no Ocupante

1. Problema e Motivação

O setor de construção é um grande consumidor de energia e emissor de gases de efeito estufa. Para atingir a meta de "Net Zero" até 2050, é crucial otimizar os sistemas de Aquecimento, Ventilação e Ar Condicionado (HVAC). O Controle Centrado no Ocupante (OCC) é uma estratégia promissora que ajusta os sistemas HVAC com base na presença real e nas necessidades dos ocupantes, em vez de seguir cronogramas fixos.

No entanto, a implementação eficaz do OCC depende criticamente da precisão e estabilidade temporal dos dados de ocupação. Os métodos existentes enfrentam desafios:

• Sensores não visuais (PIR, CO2, Wi-Fi) muitas vezes fornecem indicadores indiretos e imprecisos.
• Métodos de visão computacional tradicionais (apenas detecção ou rastreamento básico) sofrem com instabilidade temporal, oclusões, erros de detecção e "switches" de identidade (troca de IDs), levando a previsões falsas de "vazio" ou "ocupado".
• Há uma lacuna na literatura sobre como a qualidade da medição de ocupação afeta diretamente o desempenho do controle de HVAC e o potencial de economia de energia em cenários experimentais reais.

2. Metodologia

O estudo propõe um quadro experimental comparativo utilizando dados de vídeo de vigilância reais coletados em um laboratório de pesquisa na Universidade Tsinghua, China. O fluxo de trabalho envolve quatro etapas principais:

A. Pipelines de Medição de Ocupação

Foram implementadas e comparadas quatro abordagens sob as mesmas condições de entrada (usando o detector YOLOv8 como base comum):

1. Apenas Detecção (YOLOv8-only): Contagem de quadros baseada apenas nas detecções instantâneas.
2. Rastreamento DeepSORT: Associação de detecções entre quadros para manter a identidade dos objetos.
3. Rastreamento ByteTrack: Uma abordagem de rastreamento de última geração que associa detecções de alta e baixa confiança para maior robustez.
4. Refinamento Baseado em LLM (YOLOv8 + LLM): Uma camada pós-processamento onde um Modelo de Linguagem Grande (LLM) analisa as saídas do detector (contagem, confiança, contexto temporal) e, opcionalmente, imagens (no caso de modelos VLM como LLaVA), para corrigir erros e inconsistências. Foram testados dois modelos: DeepSeek (texto apenas, baseado em dados estruturados) e LLaVA (visão-linguagem).

B. Integração com Controle HVAC

A melhor pipeline foi integrada a um framework de Controle Preditivo por Modelo (MPC) supervisionado no ambiente OpenStudio-EnergyPlus.

• O sistema utiliza estimativas de ocupação como entrada exógena.
• O controlador otimiza os pontos de ajuste (setpoints) de aquecimento e resfriamento em um horizonte de previsão de 1 hora.
• A lógica de "setback" (redução de energia) é ativada quando a ocupação é detectada como zero.

C. Métricas de Avaliação

• Precisão de Contagem: MAE (Erro Absoluto Médio), RMSE (Raiz do Erro Quadrático Médio).
• Classificação Binária: Precisão, Recall, F1-Score e Matriz de Confusão (focando em Falsos Negativos, que são críticos para o conforto).
• Estabilidade Temporal: Número de trocas de identidade (ID-switches) e fragmentação de trajetórias.
• Desempenho do Sistema: Consumo de energia do HVAC e PPD (Porcentagem de Descontentamento Térmico Predito) ao longo de um ano simulado.

3. Contribuições Principais

1. Comparação Experimental Rigorosa: Avaliação direta de pipelines de detecção, rastreamento e refinamento por LLM usando um conjunto de dados com anotações de "ground truth" em nível de quadro.
2. Introdução de Refinamento por LLM: Demonstra que LLMs podem atuar como uma camada de raciocínio para corrigir erros de percepção visual, reduzindo falsos negativos e melhorando a consistência temporal sem necessidade de re-treinamento do detector.
3. Validação em Controle Real: Conecta a qualidade da percepção diretamente ao desempenho do controle de HVAC, quantificando o impacto na economia de energia e no conforto térmico.
4. Pipeline Otimizado: Identificação da combinação YOLOv8 + DeepSeek como a abordagem de melhor desempenho.

4. Resultados Chave

Desempenho de Medição de Ocupação

• Estabilidade: Os métodos baseados em rastreamento (DeepSORT, ByteTrack) melhoraram a estabilidade temporal em comparação com a detecção pura, reduzindo flutuações de quadro para quadro.
• Refinamento por LLM: O pipeline YOLOv8 + DeepSeek superou todos os outros, incluindo os baseados em rastreamento e o modelo de visão-linguagem (LLaVA).
  • Acurácia: 0,8824.
  • F1-Score: 0,9320.
  • Redução de Erros: O DeepSeek reduziu significativamente os Falsos Negativos (ocupantes não detectados), que são o erro mais prejudicial para o OCC, pois levam a sistemas HVAC desligados quando há pessoas no ambiente.
  • O modelo de texto (DeepSeek) superou o modelo de visão (LLaVA) neste cenário específico, pois o contexto estruturado e temporal foi mais eficaz para corrigir inconsistências em um ambiente de câmera fixa do que o raciocínio visual direto.

Impacto no Controle HVAC (Simulação Anual)

A integração do pipeline YOLOv8+DeepSeek no controlador MPC resultou em:

• Economia de Energia: Redução de 17,94% no consumo total de energia do HVAC em comparação com a linha de base (cronograma fixo).
• Conforto Térmico: Redução do PPD médio para 8,59% (vs. 10,47% da linha de base), indicando maior satisfação térmica dos ocupantes.
• Comparação: Pipelines com maiores taxas de falsos negativos (como YOLOv8-only e DeepSORT) resultaram em menor economia de energia e maior desconforto, pois o controlador aplicava "setbacks" (redução de temperatura) indevidamente durante períodos de ocupação real.

5. Significado e Conclusão

O estudo conclui que a medição de ocupação não é apenas uma tarefa de percepção, mas um componente crítico para o controle.

• A simples detecção ou rastreamento tradicional não é suficiente para garantir a estabilidade necessária para o controle predivo.
• O uso de LLMs para refinamento de saída de percepção oferece um caminho prático e escalável para melhorar a robustez dos sistemas de visão em ambientes internos complexos.
• A combinação de visão computacional com raciocínio baseado em LLM permite que os sistemas de HVAC operem de forma verdadeiramente adaptativa, maximizando a economia de energia (quase 18%) sem comprometer o conforto humano, fornecendo uma base sólida para a operação de edifícios inteligentes orientados por IA rumo ao Net Zero.