Indian Peak Power demand Forecasting : Transformer Based Implementation of Temporal Architecture

Resumen Técnico: Pronóstico de la Demanda Máxima de Energía en India mediante una Arquitectura Temporal basada en Transformers

1. Problema Abordado

El pronóstico a largo plazo de la demanda de electricidad es crucial para la planificación económica y estratégica, especialmente en países en desarrollo como India, donde la demanda crece rápidamente y presenta altas variaciones.

• Desafío Principal: La mayoría de las técnicas existentes se centran en el pronóstico a corto plazo. El pronóstico a largo plazo es significativamente más difícil debido a la presencia de variables impredecibles e imprevistas (crecimiento poblacional, avances tecnológicos, condiciones económicas y atmosféricas, y patrones de uso estacionales).
• Limitaciones Actuales: Los métodos anteriores (regresión, ARIMA, redes neuronales básicas) a menudo no logran manejar adecuadamente los valores atípicos extremos y las variaciones en los datos de demanda pico de India, o presentan una compensación ineficiente entre la precisión de la predicción, el costo computacional y el tiempo de ejecución.

2. Metodología Propuesta

El estudio propone la implementación de un modelo de Transformador de Fusión Temporal (Temporal Fusion Transformer - TFT) para el pronóstico a largo plazo de la demanda máxima de energía.

• Datos: Se utilizó un conjunto de datos de la demanda máxima de energía en India desde enero de 2014 hasta finales de 2019 (2191 puntos de datos diarios). Los datos se escalaron entre 0 y 1 antes del entrenamiento.
• Modelo Principal (TFT):
  • Arquitectura: Combina metadatos estáticos con entradas que varían en el tiempo (pasadas y futuras).
  • Componentes Clave:
    • Mecanismos de Puerta (Gating): Reducen costos computacionales ignorando componentes no necesarios.
    • Selección de Variables: Identifica las características más relevantes para cada paso de tiempo.
    • Codificadores de Covariables Estáticas: Integran características fijas en el modelo.
    • Procesamiento Temporal: Utiliza capas secuenciales para relaciones a corto plazo y Atención Múltiple (Multi-head Attention) para capturar dependencias a largo plazo.
    • Predicción de Intervalos: Utiliza pronósticos de cuantiles para estimar rangos de probabilidad.
• Modelos de Comparación: Para validar el rendimiento, el TFT se comparó contra:
  1. Redes Neuronales de Convolución Temporal (TCN): Utilizan convoluciones causales y dilatadas para evitar fugas de información y capturar historias largas.
  2. LSTMs Apilados (Stacked LSTMs): Redes de memoria a corto y largo plazo con múltiples capas para aprender dependencias secuenciales.
  3. Pronóstico Ingenuo (Naïve Forecasting): Incluye modelos estacionales (repetición de valores pasados) y de deriva (ajuste de línea entre el primer y último punto).
• Configuración Experimental:
  • Entrenamiento: 200 épocas, función de pérdida de Error Cuadrático Medio (MSE), tamaño de lote (batch size) de 24.
  • Hiperparámetros: Longitud de entrada de 30, tasa de dropout de 0.1.
  • Horizontes: El TFT se configuró con un horizonte de pronóstico de 36 pasos.
  • Métrica de Evaluación: Error Porcentual Absoluto Medio (MAPE).

3. Contribuciones Clave

• Aplicación de TFT en Energía: Es uno de los primeros trabajos que aplica específicamente la arquitectura TFT para el pronóstico de demanda máxima de energía a largo plazo en el contexto de India.
• Manejo de Variabilidad: El modelo demuestra una capacidad superior para modelar la varianza en la demanda de energía, superando las limitaciones de los modelos tradicionales frente a valores atípicos y fluctuaciones complejas.
• Análisis Comparativo Exhaustivo: Se establece una línea base rigurosa comparando arquitecturas de vanguardia (Transformers) contra modelos convolucionales (TCN), recurrentes (LSTM) y estadísticos simples, demostrando la superioridad de los enfoques basados en atención.

4. Resultados

Los experimentos se realizaron utilizando TensorFlow, Keras y la API Darts en un entorno con GPU Nvidia 1660ti. Los resultados se evaluaron mediante el MAPE:

• El modelo TFT logró la mayor precisión con un error del 4.15%.
• Los LSTMs apilados mostraron un rendimiento sólido (4.71%), superando al pronóstico ingenuo.
• La TCN tuvo el peor desempeño en esta tarea específica (7.94%).
• Gráficamente, las predicciones del TFT mostraron una mejor adaptación a las fluctuaciones de la demanda real en comparación con los otros modelos.

5. Significado e Impacto

• Validación de Arquitecturas Transformer: El estudio confirma que los modelos basados en Transformers (específicamente TFT) tienen un rendimiento inherente superior en tareas de series temporales complejas, superando a las redes recurrentes (LSTM) y convolucionales (TCN) en escenarios de pronóstico a largo plazo.
• Relevancia para la Planificación Energética: Para India, un país con una demanda energética en rápido crecimiento, la capacidad de predecir con mayor precisión la demanda pico permite una utilización más juiciosa de los recursos, una mejor planificación de la generación de energía y una optimización de la infraestructura de transmisión.
• Futuras Direcciones: Los autores sugieren que el trabajo puede mejorarse mediante el ajuste fino (fine-tuning) de la arquitectura TFT y la utilización de conjuntos de datos de mayor calidad que capturen más variaciones y dependencias externas (como variables meteorológicas detalladas o datos económicos) que afectan la demanda.