Experimental study on surveillance video-based indoor occupancy measurement with occupant-centric control

Resumen Técnico: Medición de Ocupación en Interiores Basada en Video de Vigilancia para el Control Centrado en el Ocupante

1. Planteamiento del Problema

El sector de la edificación es un contribuyente mayor al consumo global de energía y a las emisiones de gases de efecto invernadero. Para alcanzar el objetivo de "Cero Emisiones Netas" para 2050, es crucial optimizar los sistemas de calefacción, ventilación y aire acondicionado (HVAC).

• Limitación actual: El control centrado en el ocupante (OCC) requiere información precisa y estable sobre la ocupación en tiempo real. Sin embargo, los métodos existentes basados en visión por computadora (detección por fotogramas o seguimiento de objetos) a menudo fallan en entornos reales debido a oclusiones, desorden de fondo y fluctuaciones temporales inestables.
• Consecuencia: Una medición inexacta de la ocupación provoca que los sistemas HVAC acondicionen espacios vacíos (desperdicio de energía) o no proporcionen confort térmico cuando hay personas presentes (mala calidad del ambiente interior).
• Brecha de investigación: Existe poca literatura que evalúe cómo la calidad de la medición de ocupación afecta directamente al rendimiento del control HVAC downstream, y poco se ha explorado el uso de Modelos de Lenguaje Grande (LLM) para refinar estas mediciones.

2. Metodología

El estudio propone un marco experimental que compara tres enfoques de percepción bajo condiciones idénticas utilizando datos reales de un laboratorio de investigación en la Universidad de Tsinghua (China).

A. Pipeline de Percepción (Tres Enfoques Comparados):
Todos los pipelines utilizan YOLOv8 como detector base de personas.

1. Detección solo (YOLOv8): Cuenta las detecciones por fotograma sin seguimiento temporal.
2. Basado en Seguimiento (Tracking):
   • DeepSORT: Asocia detecciones entre fotogramas usando embeddings de apariencia.
   • ByteTrack: Asocia detecciones de alta y baja confianza para mejorar la robustez.
3. Refinamiento basado en LLM:
   • Se introduce una capa de razonamiento posterior a la detección.
   • Configuraciones probadas:
     • VLM (Visión-Lenguaje): LLaVA 7B, que analiza las imágenes directamente.
     • LLM (Solo Texto): DeepSeek, que analiza datos estructurados (conteo del detector, confianza, contexto temporal de fotogramas adyacentes) sin ver las imágenes.
   • Mecanismo de Fusión: El LLM solo corrige el conteo del detector si su nivel de confianza supera al del detector por un margen predefinido ($\Delta = 0.15$), asegurando un comportamiento conservador.

B. Integración con Control HVAC:

• Las señales de ocupación estimadas se integran en un marco de Control Predictivo Basado en Modelos (MPC) supervisado, utilizando OpenStudio-EnergyPlus.
• El MPC utiliza la ocupación estimada como entrada exógena para predecir la demanda térmica y optimizar los puntos de ajuste (setpoints) de calefacción y refrigeración en un horizonte de 1 hora.
• Se simula un año completo de operación para evaluar el ahorro energético y el confort (medido por el Porcentaje de Personas Insatisfechas, PPD).

C. Datos y Evaluación:

• Dataset: 1,188 clips de video (20,722 fotogramas) de un laboratorio real, con anotaciones manuales exhaustivas a nivel de fotograma (Ground Truth).
• Métricas: Precisión de conteo (MAE, RMSE), métricas de clasificación binaria (Precisión, Recall, F1-score, Matriz de Confusión) y estabilidad temporal (cambios de identidad ID-switch, fragmentación).

3. Contribuciones Clave

1. Comparación Experimental Rigurosa: Evaluación controlada de pipelines de detección, seguimiento y refinamiento con LLM en un entorno real con anotaciones de verdad fundamental a nivel de fotograma.
2. Validación del Refinamiento con LLM: Demostración de que los LLM (específicamente DeepSeek en modo texto) pueden mejorar significativamente el rendimiento de la medición de ocupación al corregir errores residuales que el seguimiento de objetos no logra resolver.
3. Impacto en el Control HVAC: Es uno de los primeros estudios que cuantifica experimentalmente cómo la mejora en la precisión de la percepción de ocupación se traduce directamente en ahorros energéticos y mejoras en el confort térmico dentro de un sistema de control MPC.

4. Resultados Principales

Rendimiento de la Medición de Ocupación:

• Estabilidad Temporal: Los métodos basados en seguimiento (especialmente ByteTrack) superaron a la detección pura, reduciendo las fluctuaciones de fotograma a fotograma.
• Refinamiento con LLM: El pipeline YOLOv8 + DeepSeek (LLM de solo texto) obtuvo el mejor rendimiento global:
  • Precisión (Accuracy): 0.8824.
  • Puntaje F1: 0.9320.
  • Reducción de Falsos Negativos: Disminuyó drásticamente los casos en los que se detectó "vacío" cuando había personas (crítico para el confort), logrando solo 1,073 falsos negativos frente a 1,685 del detector puro.
• Comparación VLM vs. LLM: En este entorno de cámara fija y vista limitada, el LLM que razona sobre datos estructurados (DeepSeek) superó al modelo de visión-lenguaje (LLaVA), sugiriendo que el contexto temporal y la consistencia son más valiosos que el razonamiento visual directo en este escenario específico.

Impacto en el Control HVAC (Simulación EnergyPlus):

• Ahorro Energético: El sistema controlado por el pipeline YOLOv8 + DeepSeek logró un ahorro total de energía HVAC del 17.94% en comparación con la línea base de programación fija.
  • Consumo total: 12,803.2 kWh (vs. 15,602.9 kWh de la línea base).
• Confort Térmico: Este mismo escenario logró el menor PPD promedio (8.59%), superando incluso a la línea base (10.47%).
• Análisis de Errores: Se demostró que los falsos negativos (no detectar ocupación) son más perjudiciales para el confort que los falsos positivos. Los pipelines con LLM redujeron estos errores críticos, permitiendo que el MPC aplique estrategias de "setback" (reducción de energía) solo cuando el espacio está realmente vacío, y mantenga el confort cuando hay personas.

5. Significado y Conclusión

El estudio concluye que la medición de ocupación no es solo una tarea de percepción, sino un componente crítico de control.

• La integración de Modelos de Lenguaje Grande (LLM) en pipelines de visión por computadora ofrece un mecanismo viable para refinar salidas ruidosas, mejorando tanto la precisión numérica como la estabilidad temporal.
• La combinación de visión por computadora (YOLOv8) con razonamiento basado en LLM (DeepSeek) proporciona una metodología práctica y escalable para lograr operaciones de edificios inteligentes más eficientes y centradas en el usuario.
• Este enfoque permite maximizar el ahorro energético (casi un 18%) sin sacrificar, e incluso mejorando, el confort térmico de los ocupantes, abordando directamente los desafíos para alcanzar las metas de emisiones netas cero.

Limitaciones y Futuro:
El estudio se realizó en un único laboratorio de investigación con una cámara fija. Se sugiere validar estos métodos en espacios más diversos (aulas, oficinas divididas) y explorar la fusión multimodal (visión + sensores no visuales) para condiciones de oclusión extrema.