A Temporal Deep Feature Transfer Hybrid of LSTM and Gradient Boosting Machine for Multi Granularity Smart Grid Electricity Demand Forecasting

Resumen Técnico: Un Híbrido de Transferencia de Características Profundas Temporales de LSTM y Máquina de Potenciación de Gradiente para la Predicción de la Demanda Eléctrica de Redes Inteligentes de Multi-Granularidad

Declaración del Problema
La predicción precisa de la demanda eléctrica en diversas granularidades temporales (diaria y mensual) es crítica para la gestión eficiente de las redes inteligentes, influyendo en la despacho de generación, la gestión de la transmisión y la respuesta a la demanda. Sin embargo, los métodos existentes enfrentan desafíos significantes al predecir grupos de consumidores heterogéneos (por ejemplo, agrícolas, comerciales, industriales, residenciales, alumbrado público).

• Limitaciones Clásicas: Los modelos estadísticos tradicionales como ARIMA, el Suavizado Triple Exponencial (ETS) y el Promedio Móvil Ponderado (WMA) dependen de supuestos de linealidad y estacionariedad. Estos supuestos son frecuentemente violados en los datos de redes inteligentes debido a comportamientos de consumo no lineales, ciclos industriales y heterogeneidad a nivel de categoría. El estudio señala que estos métodos producen altas tasas de error, con valores de MAPE que superan el 340% hasta más del 550% en ciertos escenarios.
• Limitaciones de Aprendizaje Profundo: Aunque las redes de Memoria de Largo Corto Plazo (LSTM) sobresalen en el modelado temporal, los enfoques híbridos estándar suelen alimentar directamente a los regresores de flujo descendente (como las Máquinas de Potenciación de Gradiente) con características puras o salidas escalares de la última capa de la LSTM. Este enfoque no logra utilizar plenamente la rica información temporal codificada en las capas intermedias de la LSTM, lo que conduce a una precisión de regresión subóptima.

Metodología: La Arquitectura TDF-LSTGBM
El artículo propone TDF-LSTGBM, un novedoso flujo de aprendizaje supervisado de dos etapas diseñado para desacoplar el aprendizaje de representación temporal de la regresión final. La innovación central es un mecanismo de Transferencia de Características Profundas Temporales (TDF).

1. Etapa 1: Codificador Temporal LSTM Apilado (Extracción de Características)

   • Arquitectura: Un codificador LSTM apilado que consta de dos capas, cada una con 32 unidades ocultas y una tasa de abandono (dropout) de 0.3.
   • Entrenamiento: El modelo se preentrena utilizando el optimizador Adam (tasa de aprendizaje 0.001) sobre datos de demanda normalizados con una función de pérdida de Error Cuadrático Medio (MSE) durante 300 épocas.
   • Extracción TDF: En lugar de utilizar la salida escalar final, la arquitectura extrae el vector de activación de la penúltima capa densa (un vector de 32 dimensiones, $\phi_i$). Este vector encapsula los patrones temporales aprendidos, las dependencias estacionales y la dinámica de la demanda.
   • Construcción de Secuencias: Los datos se procesan utilizando ventanas deslizantes ($W=12$ para mensual, $W=7$ para diario) para crear pares de entrada-salida supervisados.

2. Etapa 2: Regresor de Máquina de Potenciación de Gradiente (GBM)

   • Aumento de Características: El vector de características temporales de 32 dimensiones ($\phi_i$) se concatena con variables categóricas y temporales exógenas: Categoría de Consumidor (codificada como enteros 0–4), Año e Índice de Mes. Esto crea un vector de entrada aumentado de 35 dimensiones ($z_i$).
   • Regresión: Una Máquina de Potenciación de Gradiente (GBM) con 100 árboles de decisión poco profundos (profundidad máxima 3) y una tasa de aprendizaje de 0.1 realiza la regresión final. El GBM corrige los residuales y aprovecha el espacio de características estructuradas para manejar las no linealidades que la LSTM por sí sola podría omitir.

3. Generación de Datos y Validación

   • El estudio utiliza dos conjuntos de datos generados mediante simulación de MATLAB para representar la demanda realista de redes inteligentes para cinco categorías de consumidores.
   • Conjunto de Datos Diario: 2,040 registros por día.
   • Conjunto de Datos Mensual: 1,066 registros por mes.
   • Los datos se dividen cronológicamente (80/20) para preservar la causalidad temporal.

Contribuciones Clave

• Transferencia de la Penúltima Capa: La principal novedad es la extracción del vector de activación de la penúltima capa de la LSTM como una característica estructurada para su transferencia a un GBM. Esto difiere de los híbridos previos que utilizan entradas puras o salidas escalares finales.
• Pipeline de Multi-Granularidad: El marco gestiona con éxito la predicción tanto diaria como mensual dentro de un único paradigma arquitectónico sin requerir un ajuste de modelo distinto para cada granularidad.
• Predicción Condicionada por Categoría: El modelo incorpora explícitamente etiquetas de categoría de consumidor e índices temporales, abordando la heterogeneidad de los patrones de demanda entre diferentes sectores (por ejemplo, agrícola vs. industrial).
• Proyección a Largo Plazo: La arquitectura soporta proyecciones estables de 5 años (2026–2031) condicionadas por categoría, directamente aplicables a la planificación de infraestructura.

Resultos
El modelo TDF-LSTGBM fue evaluado contra cinco líneas base: ARIMA, WMA, ETS, LSTM Vanilla y un híbrido estándar de LSTM+XGBoost.

• Métricas de Desempeño:
  • MAPE: El modelo propuesto logró un MAPE del 3.64% para la predicción diaria y del 3.66% para la mensual.
  • Comparación: Esto representa una mejora de 14.2× sobre la mejor línea base clásica (ARIMA, ~51.96% MAPE). También superó a la LSTM Vanilla (7.68% MAPE) por un factor de 2.1× y al híbrido estándar LSTM+XGBoost (6.12% MAPE) por un factor de 1.7×.
  • RMSE/MAE: El modelo logró un RMSE de 0.0873 y un MAE de 0.0283 en ambas granularidades, demostrando estabilidad de resolución cruzada.
• Análisis Visual: Los gráficos de pronóstico indican que el modelo sigue de cerca la demanda real, incluyendo eventos pico, sin la acumulación progresiva de error vista en otros modelos. La etapa de GBM corrige eficazmente las subestimaciones de picos comunes en los modelos de LSTM pura.
• Ablación: El estudio confirma que cada componente (la transferencia de la penúltima capa, los hiperparámetros específicos del GBM y el aumento de características) contribuye de manera única a la precisión final.

Significancia y Reivindicaciones
El artículo afirma que TDF-LSTGBM aborda brechas críticas en la predicción de redes inteligentes al manejar sistemáticamente series temporales de multi-granularidad y la desagregación por categoría de consumidor. Al transferir características temporales profundas en lugar de salidas escalares, el modelo alcanza una precisión superior en entornos heterogéneos donde los modelos lineales clásicos fallan.

Los autores posicionan el modelo como una herramienta robusta para la planificación de infraestructura y la programación de respuesta a la demanda, evidenciado por su capacidad para generar proyecciones de 5 años estables sin deriva. El estudio reconoce limitaciones, incluyendo el uso de datos simulados, la ausencia de variables meteorológicas en el conjunto de características actual y que el alcance está limitado al contexto de un solo país. Se propone como trabajo futuro integrar variables climáticas, incorporar mecanismos de auto-atención y explorar arquitecturas de aprendizaje federado para la predicción preservando la privacidad.