💻 computer science

Evaluating Hyperparameter Sensitivity in Temporal Convolutional Networks for Short-Term Electric Load Forecasting Using Grid Search

Este estudio utiliza una búsqueda sistemática de cuadrícula sobre los datos de carga de media hora de Queensland para demostrar que la optimización de cinco hiperparámetros clave en las Redes Convolucionales Temporales —específicamente identificando una configuración con un tamaño de entrada de 336 pasos y una tasa de aprendizaje de 0,0005— puede reducir el error de pronóstico en más del 55% en comparación con un modelo de referencia, resaltando que el ajuste coordinado de parámetros es más crítico que simplemente aumentar la capacidad del modelo para la predicción de carga eléctrica a corto plazo.

Autores originales: Tuan Anh Nguyen, Thanh Ngoc Tran

Publicado 2026-08-11

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Tuan Anh Nguyen, Thanh Ngoc Tran

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de predecir exactamente cuánta pizza comerá tu familia mañana. Sabes que la gente siente hambre en diferentes momentos, que los fines de semana son diferentes a los días de semana y que el clima puede cambiar sus apetitos. Si fallas en tu suposición, podrías terminar con un refrigerador lleno de queso desperdiciado o con una familia muy hambrienta. Este es el mismo desafío que enfrentan las compañías eléctricas, pero en lugar de pizza, están adivinando cuánta electricidad usará la gente. Equivocarse es algo grave: si calculan de menos, las luces podrían parpadear o apagarse; si calculan de más, desperdician dinero y recursos. Para hacer estas suposiciones, los científicos usan programas de computadora especiales llamados "redes neuronales". Piensa en esto como cerebros digitales que aprenden del pasado para predecir el futuro. Un tipo popular de cerebro se llama Red Convolucional Temporal, o TCN. Es como un detective superinteligente que observa una larga historia de uso de electricidad para detectar patrones. Pero aquí está el truco: al igual que un detective necesita la lupa adecuada y la cantidad justa de café para trabajar mejor, estos cerebros computacionales necesitan que sus ajustes sean perfeccionados. Si los ajustes están mal, incluso un cerebro superinteligente podría cometer un error tonto.

Este artículo es como un experimento masivo y organizado donde dos investigadores, Tuan Anh Nguyen y Thanh Ngoc Tran, decidieron jugar al "¿qué pasaría si?" con estos cerebros computacionales. Querían encontrar la receta perfecta para la TCN para predecir el uso de electricidad para el día siguiente en Queensland, Australia. No solo adivinaron; utilizaron un método llamado "Búsqueda de Rejilla" (Grid Search), que es como probar cada una de las combinaciones de ingredientes en un libro de cocina para ver cuál hace el mejor pastel. Probaron 243 versiones diferentes del cerebro computacional, cambiando cinco perillas específicas en la máquina: qué tan atrás en la historia mira el cerebro (tamaño de entrada), qué tan rápido aprende (tasa de aprendizaje), qué tan grande es su memoria interna (tamaños de codificador y decodificador) y cuántos trozos de datos procesa a la vez (tamaño de lote).

Los resultados fueron sorprendentes y muy claros. Los investigadores descubrieron que la configuración "mejor" no consistía en hacer el cerebro lo más grande y complejo posible. De hecho, descubrieron que simplemente hacer el cerebro más grande no siempre lo hacía más inteligente. La predicción más precisa provino de una combinación específica: un cerebro que miró 336 pasos temporales hacia atrás (aproximadamente 7 días de historia), aprendió de forma muy lenta y cuidadosa (una tasa de aprendizaje de 0.0005), tenía una memoria compacta para entender patrones (64 unidades ocultas) y una memoria ligeramente mayor para hacer la suposición final (128 unidades ocultas). Esta configuración específica cometió un error de solo 1.841%, lo cual es increíblemente preciso.

Para poner esto en perspectiva, los investigadores compararon esta configuración "campeona" con una configuración de "referencia" que utilizaba ajustes más estándar y de nivel medio. La configuración estándar cometió un error de 4.096%. Al encontrar la combinación correcta de ajustes, los investigadores redujeron el error en más de la mitad; específicamente, una mejora del 55.05%. Esto demuestra que ajustar los parámetros es más importante que simplemente construir un modelo más grande.

El estudio también descartó algunas suposiciones comunes. Por ejemplo, encontraron que hacer el "tamaño oculto" (la complejidad interna del cerebro) más grande no hacía que las predicciones fueran consistentemente mejores. A veces, un cerebro más pequeño y enfocado funcionaba mejor que uno gigante y desordenado. También descubrieron que el "tamaño de lote" (cuántos trozos de datos procesa la computadora a la vez) no cambió realmente la precisión en su prueba específica, porque solo estaban observando una única red eléctrica. Sin embargo, la "tasa de aprendizaje" fue la perilla más crítica para girar; si la giraban demasiado rápido (0.005), el cerebro se confundía y hacía suposiciones peores. Si la giraban demasiado lento, era seguro pero no tan agudo. El punto ideal era un ritmo lento y constante.

Al final, el artículo sugiere que el secreto para predecir la electricidad no es solo tener una supercomputadora; es saber exactamente cómo ajustarla. Los mejores resultados provinieron de un enfoque equilibrado: mirar una semana completa de historia, aprender lentamente y usar una estructura de cerebro compacta pero bien organizada. Aunque los investigadores admiten que esto fue probado en solo un conjunto de datos específico y un solo día, la lección es clara: en el mundo de la previsión eléctrica, los ajustes correctos importan más que la potencia bruta.

Resumen Técnico: Evaluación de la Sensibilidad de los Hiperparámetros en Redes Convolucionales Temporales para el Pronóstico de Carga Eléctrica a Corto Plazo mediante Búsqueda en Rejilla

Planteamiento del Problema
El pronóstico de la carga eléctrica a corto plazo es crítico para la operación segura y económica de los sistemas de potencia modernos, influyendo en la programación de la generación, la asignación de reservas y la coordinación de las energías renovables. Si bien las Redes Convolucionales Temporales (TCN, por sus siglas en inglés) han emergido como arquitecturas de aprendizaje profundo efectivas para capturar patrones secuenciales debido a sus convoluciones causales, campos receptivos dilatados y capacidades de computación paralela, su rendimiento es altamente sensible a las configuraciones de los hiperparámetros. Los estudios previos suelen centrarse en proponer nuevas arquitecturas o identificar una única configuración "óptima" mediante métodos de optimización, proporcionando una visión limitada sobre los efectos individuales y de interacción de hiperparámetros específicos. Esta falta de un análisis de sensibilidad sistemático dificulta la reproducibilidad de los resultados o la comprensión de por qué ciertas configuraciones tienen éxito o fracasan en diferentes conjuntos de datos y entornos.

Metodología
El estudio establece un marco controlado y reproducible para investigar la sensibilidad de cinco hiperparámetros clave de las TCN:

Tamaño de Entrada ( $L$ ): La longitud de la ventana de observación histórica (candidatos: 96, 144, 336 pasos, correspondientes a 2, 3 y 7 días).
Tasa de Aprendizaje ( $\eta$ ): El tamaño del paso del optimizador (candidatos: 0.0005, 0.001, 0.005).
Tamaño Oculto del Codificador ( $C_e$ ): La capacidad de representación del codificador convolucional temporal (candidatos: 64, 128, 256).
Tamaño Oculto del Decodificador ( $C_d$ ): El ancho del decodificador MLP (candidatos: 64, 128, 256).
Tamaño de Lote ( $B$ ): El parámetro de lote a nivel de serie en el cargador de datos de NeuralForecast (candidelos: 16, 32, 64).

Se llevó a cabo una Búsqueda en Rejilla (Grid Search) de factor completo, evaluando todas las $3^5 = 243$ configuraciones únicas. Los experimentos utilizaron datos de demanda eléctrica cada media hora de Queensland, Australia, que cubren el periodo desde enero de 2015 hasta diciembre de 2021. El conjunto de datos se dividió cronológicamente en un conjunto de entrenamiento de 28 días (1,344 observaciones) y un conjunto de prueba de retención de 1 día (48 observaciones). Los modelos se implementaron utilizando la librería NeuralForecast (v3.1.9) con un backend de PyTorch. Todas las pruebas utilizaron una semilla aleatoria fija (42), un horizonte de pronóstico de 48 pasos (un día de antelación) y el Error Cuadrático Medio (MSE) como pérdida de entrenamiento. El rendimiento se evaluó utilizando el Error Porcentual Absoluto Medio (MAPE) en el conjunto de retención.

Contribuciones Clave

Análisis de Sensibilidad Controlado: El estudio proporciona una evaluación de factor completo de 243 configuraciones bajo condiciones experimentales idénticas, aislando los efectos de hiperparámetros específicos en el rendimiento de la TCN.
Efectos Marginales e Interacción: A diferencia de los estudios que solo reportan la configuración óptima, este trabajo analiza la influencia marginal de cada parámetro y sus interacciones de pares (por ejemplo, cómo el tamaño de entrada interactúa con la tasa de aprendizaje).
Marco Reproducible: Los autores detallan un flujo de trabajo determinista utilizando la librería NeuralForecast, asegurando que las variaciones de rendimiento sean atribuibles a las configuraciones de los hiperparámetros y no a la partición de datos o variaciones estocásticas del entrenamiento.
Guía Práctica de Configuración: El estudio ofrece recomendaciones basadas en evidencia para configurar las TCN en el pronóstico de carga a corto plazo, desafiando la suposición de que una mayor capacidad del modelo siempre produce una mejor precisión.

Resultos
Las 243 configuraciones produjeron valores de MAPE que oscilaron entre 1.841% y 5.455%, con un promedio de 3.499%.

Configuración Óptima: La configuración óptima logró un MAPE de 1.841% con los siguientes parámetros: Tamaño de Entrada = 336 (7 días), Tasa de Aprendizaje = 0.0005, Tamaño Oculto del Codificador = 64, Tamaño Oculto del Decodificador = 128 y Tamaño de Lote = 16.
Comparación con Referencia: Comparado con una configuración de referencia (Entrada=144, LR=0.001, Codificador=128, Decodificador=128, Lote=32) que produjo un MAPE de 4.096%, la mejor configuración redujo el error en un 55.05%.
Sensibilidad de los Hiperparámetros:
- Tasa de Aprendizaje: Exhibió el efecto marginal más claro. La tasa más baja (0.0005) produjo consistentemente el error promedio más bajo, mientras que la tasa más alta (0.005) generalmente degradó el rendimiento.
- Tamaño de Entrada: Una ventana de 7 días (336 pasos) produjo el error medio marginal más bajo, pero mostró la mayor varianza, lo que indica que un contexto histórico más largo es beneficioso solo cuando se combina con ajustes de optimización adecuados.
- Dimensiones Ocultas: Aumentar el tamaño del codificador o del decodificador no mejoró la precisión de manera consistente. El modelo con mejor desempeño utilizó un codificador compacto (64) y un decodificador moderado (128). Las dimensiones más grandes (por ejemplo, 256) no garantizaron mejores resultados y, en ocasiones, aumentaron el error.
- Tamaño de Lote: En este experimento de serie única, el tamaño de lote no tuvo efecto marginal en la precisión, ya que el parámetro controla el lote a nivel de serie en lugar del muestreo de la ventana temporal.
Costo Computacional: No hubo una correlación fuerte entre el tiempo total de ejecución y la precisión del pronóstico. La mejor configuración requirió solo un aumento modesto en el tiempo de ejecución en comparación con la prueba más rápida.
Comportamiento de Pronóstico: El mejor modelo capturó con precisión el perfil de carga diario general ( $R^2 = 0.9528$ ), pero exhibió efectos de suavizado durante las transiciones rápidas de carga (rampas de la mañana y la tarde), lo que generó errores localizados.

Significancia y Reivindicaciones
El artículo sostiene que el rendimiento efectivo de las TCN en el pronóstico de carga a corto plazo depende de configuraciones coordinadas de hiperparámetros en lugar de simplemente aumentar la capacidad del modelo. El estudio demuestra que:

Una selección inapropiada de los hiperparámetros puede provocar una degradación sustancial en la precisión del pronóstico (hasta una diferencia del 55% en las tasas de error).
Las dimensiones ocultas más grandes no necesariamente reducen los errores de predicción; un codificador compacto con un decodificador moderado puede superar a arquitecturas más grandes.
La tasa de aprendizaje es un motor crítico de la estabilidad y la precisión, particularmente cuando se utilizan ventanas de entrada históricas más largas.
Un análisis de sensibilidad sistemático es necesario para comprender el comportamiento de las TCN, ya que reportar solo la mejor configuración oculta las complejas interacciones entre los parámetros.

Los autores concluyen que, si bien los hallazgos proporcionan una guía práctica para configurar modelos basados en TCN utilizando el marco NeuralForecast, los resultados son específicos para el conjunto de datos regional único, el periodo de entrenamiento fijo y el protocolo experimental utilizado. El trabajo futuro debería explorar estas sensibilidades a través de múltiples regiones, estaciones y con la inclusión de variables exógenas.

Más como este