🤖 machine learning

Ensemble Score Filtering for Real-Data Energy Consumption Forecast Correction

Este artículo propone utilizar el Filtro de Puntuación de Conjunto (EnSF) para corregir las previsiones de un modelo espaciotemporal de caja negra preentrenado para datos de consumo energético del mundo real, demostrando que EnSF maneja eficazmente observaciones parciales y ruidosas y supera al Filtro de Kalman de Conjunto en entornos no lineales.

Autores originales: Ruoyu Hu, Dahai Yu, Feng Bao, Guang Wang, Guannan Zhang

Publicado 2026-05-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ruoyu Hu, Dahai Yu, Feng Bao, Guang Wang, Guannan Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Imagen: Predecir el Consumo de Energía

Imagina que intentas adivinar cuánta electricidad consumirá una ciudad entera cada hora. Esto es crucial para las compañías eléctricas para que no se queden sin energía ni desperdicien dinero generando demasiado.

El problema es que los datos del mundo real son desordenados. A veces faltan mediciones, a veces son ruidosas (como una radio con estática) y a veces llegan tarde. Debido a esto, simplemente adivinar basándose en patrones pasados no es suficiente.

La Solución en Dos Pasos

Los autores de este documento proponen un equipo de dos pasos para resolver esto:

El "Superadivino" (El Modelo Preentrenado):
Primero, utilizan un programa informático muy inteligente (un "modelo de lenguaje grande espaciotemporal") que ya ha estudiado años de datos eléctricos. Piensa en este modelo como un meteorólogo con una experiencia superlativa. Si le preguntas: "¿Cómo será el clima mañana basándose en hoy?", te dará una gran respuesta.
- Sin embargo, si le pides que prediga el clima para los próximos 30 días sin verificar el cielo real, empieza a desviarse. Podría predecir un día soleado cuando en realidad está lloviendo, porque solo está adivinando basándose en su memoria, no en la realidad. En el documento, llaman a esto "propagación en bucle abierto", y muestran que se vuelve poco fiable rápidamente.
El "Control de Realidad" (Asimilación de Datos):
Para corregir las predicciones que se desvían del Superadivino, añaden un segundo paso: Asimilación de Datos. Esto es como tener un observador en el terreno que llama con actualizaciones en tiempo real.
- El Superadivino hace una predicción.
- El Observador dice: "Oye, solo puedo ver el 25% de la ciudad, y aquí en realidad está nublado".
- El sistema combina la Adivinanza con el informe del Observador para corregir el pronóstico.

La Nueva Herramienta: Filtrado de Puntuación de Conjunto (EnSF)

El documento introduce un método nuevo específico para realizar este "Control de Realidad" llamado el Filtro de Puntuación de Conjunto (EnSF).

Para entender por qué esto es especial, imagina que intentas encontrar a un excursionista perdido en un bosque denso (el consumo eléctrico "real").

La Vieja Forma (EnKF): El método tradicional (Filtro de Kalman de Conjunto) asume que el excursionista probablemente está en un círculo simple y redondo alrededor del último lugar conocido. Es como dibujar un círculo perfecto en un mapa y decir: "Están en algún lugar aquí dentro". Esto funciona bien si el bosque es plano y abierto, pero si el terreno es irregular y complejo (no lineal), un círculo simple es una mala suposición.
La Nueva Forma (EnSF): El EnSF es más inteligente. En lugar de dibujar un círculo simple, utiliza una "puntuación" para mapear toda la forma del bosque. Entiende que el excursionista podría estar en un valle, en una cresta o escondido en una cueva. No asume que la respuesta es una forma simple; aprende la forma compleja de dónde el excursionista realmente está basándose en las pistas.

Características clave de esta nueva herramienta:

Sin Reentrenamiento: Por lo general, cuando obtienes nueva información, tienes que reentrenar tu modelo de IA desde cero. Esto es lento y costoso. El EnSF es como un GPS que recalcula tu ruta instantáneamente sin necesidad de descargar un nuevo mapa. Utiliza trucos matemáticos para ajustar el pronóstico sobre la marcha sin volver a aprender nada.
Maneja Datos Faltantes: Funciona incluso si el "Observador" solo ve unas pocas casas en la ciudad (observaciones parciales).

Lo Que Encontraron (Los Resultados)

Los investigadores probaron esto con datos eléctricos reales de 5.000 usuarios en Tallahassee, Florida.

El "Superadivino" solo falla con el tiempo: Si dejaron que el modelo informático predijera el futuro sin verificar datos reales, las predicciones se volvieron muy erróneas muy rápidamente. Era como un GPS que sigue diciéndote que gires a la izquierda cuando ya has pasado el giro.
El "Control de Realidad" lo corrige: Cuando usaron el EnSF para mezclar la suposición del modelo con datos reales (pero parciales), las predicciones volvieron a ser precisas. Rastrearon con éxito el consumo eléctrico real incluso cuando el modelo estaba inicialmente equivocado o cuando faltaban datos.
Nueva Herramienta vs. Vieja Herramienta: Compararon su nuevo método EnSF contra la "Vieja Forma" estándar (EnKF). En situaciones donde la relación entre los datos y la realidad era compleja (no lineal), el EnSF fue mucho mejor. Corrigió el pronóstico con mayor precisión que el método tradicional, que luchaba con la complejidad.

Resumen

Piensa en este documento como una receta para un mejor pronóstico de electricidad.

Ingrediente A: Una IA inteligente que conoce los patrones generales del consumo de energía.
Ingrediente B: Un nuevo método matemático (EnSF) que actúa como un sistema de corrección en tiempo real.
El Resultado: Incluso si la IA comienza a desviarse o si solo tenemos datos parciales, la combinación mantiene el pronóstico preciso. El nuevo método (EnSF) es mejor manejando datos del mundo real desordenados y complejos que los métodos más antiguos actualmente en uso.

Resumen Técnico: Filtrado de Puntuación de Conjunto para la Corrección de Pronósticos de Consumo Energético con Datos Reales

Enunciado del Problema
La precisión en los pronósticos de consumo energético es crítica para la operación, planificación y gestión de la demanda de los sistemas eléctricos. Sin embargo, los datos energéticos del mundo real a menudo sufren de mediciones parciales, ruidosas, retrasadas o incompletas. Si bien los modelos modernos de aprendizaje automático, en particular los modelos de pronóstico espacio-temporal profundos, pueden capturar dependencias temporales y espaciales complejas, enfrentan limitaciones significativas cuando se utilizan para predicciones de largo horizonte en un entorno de "bucle abierto". Sin datos observacionales correctivos, los errores en los modelos aprendidos se acumulan con el tiempo, lo que conduce a estimaciones de estado poco fiables. El problema central abordado es cómo corregir eficazmente la trayectoria de pronóstico de un modelo de pronóstico de caja negra preentrenado utilizando observaciones secuenciales, parciales y ruidosas, particularmente en configuraciones de alta dimensión y no lineales donde los métodos de filtrado tradicionales pueden tener dificultades.

Metodología
El artículo propone un marco que combina un modelo de lenguaje grande espacio-temporal preentrenado (STLLM) con el Filtro de Puntuación de Conjunto (EnSF) para la asimilación de datos.

Propagador hacia adelante (STLLM):
- El estudio utiliza un STLLM preentrenado diseñado para el consumo energético. El modelo emplea una estructura de atención factorizada para separar el modelado de dependencias temporales y espaciales, utilizando componentes como RMSNorm, Incrustaciones de Posición Rotatorias (RoPE) y redes de alimentación hacia adelante SwiGLU.
- En el marco de asimilación, este modelo actúa como un propagador de estado fijo y de caja negra ( $f_\theta$ ). No se reentrena durante el proceso de filtrado; en su lugar, genera la trayectoria de pronóstico previa basada en entradas históricas.
Asimilación de datos mediante Filtro de Puntuación de Conjunto (EnSF):
- El EnSF se emplea para corregir la trayectoria de pronóstico mediante la asimilación de observaciones. A diferencia de los filtros tradicionales que dependen de suposiciones gaussianas (como el Filtro de Kalman de Conjunto) o requieren entrenar redes neuronales para aproximar funciones de puntuación (como los filtros basados en difusión estándar), el EnSF utiliza un enfoque sin entrenamiento.
- Aproximación de Puntuación: El método aproxima la función de puntuación (el gradiente de la densidad logarítmica) de la distribución de filtrado utilizando una expresión de forma cerrada y estimación de Monte Carlo. Aprovecha un conjunto de muestras de estado para calcular pesos empíricos, evitando el costo computacional de reentrenar redes de puntuación en cada paso de asimilación.
- Proceso de Difusión: El filtro opera dentro de un proceso de difusión de tiempo inverso. Comienza desde una distribución gaussiana estándar en el pseudo-tiempo $\tau=1$ y evoluciona hacia la distribución posterior objetivo en $\tau=0$ .
- Mecanismo de Actualización: La puntuación previa (derivada del conjunto propagado a través del STLLM) se actualiza incorporando el gradiente de verosimilitud de la nueva observación. Una función de amortiguación $g(\tau) = 1-\tau$ controla la integración de la información observacional, asegurando una incorporación completa en la distribución objetivo ( $\tau=0$ ) mientras se desvanece en la referencia gaussiana ( $\tau=1$ ).
- Manejo de No Linealidad: El marco maneja explícitamente operadores de observación no lineales (por ejemplo, mapas de arcotangente) calculando el Jacobiano del operador de observación dentro del término de gradiente de verosimilitud, permitiendo correcciones en configuraciones no gaussianas.

Contribuciones Clave

Aplicación de EnSF a Datos Energéticos Reales: El artículo demuestra la aplicación del Filtro de Puntuación de Conjunto a un conjunto de datos de consumo energético real de alta dimensión (5.000 usuarios), tratando un complejo STLLM preentrenado como el modelo de dinámica hacia adelante.
Aproximación de Puntuación sin Entrenamiento: El trabajo destaca la eficacia de utilizar una aproximación de puntuación basada en Monte Carlo y de forma cerrada dentro del EnSF, lo que elimina la necesidad de reentrenamiento iterativo de redes de puntuación durante la asimilación secuencial de datos.
Robustez ante Deficiencias del Modelo: El estudio muestra que el marco mejora la estimación de estado incluso cuando el modelo hacia adelante subyacente está "insuficientemente entrenado" (entrenado solo con el 25% de los datos) o cuando el modelo está completamente entrenado pero sufre de acumulación de errores de bucle abierto.
Comparación con EnKF: El artículo proporciona una comparación directa entre EnSF y el Filtro de Kalman de Conjunto (EnKF) bajo configuraciones de observación mixta (combinando observaciones directas y no lineales de arcotangente).

Resultados Experimentales
Se realizaron experimentos numéricos con datos de consumo energético horarios de 5.000 usuarios de servicios públicos en Tallahassee, Florida.

Fallo de Bucle Abierto: Los experimentos confirmaron que, aunque el STLLM preentrenado logra una precisión razonable en predicciones directas de un paso o de corto horizonte, sus pronósticos en bucle abierto se degradan significativamente con el tiempo (por ejemplo, el RMSE aumenta drásticamente para el modelo de 12 a 1 durante 800 pasos).
Corrección con EnSF: Aplicar EnSF con observaciones parciales (25%, 50%, 100%) redujo sustancialmente el Error Cuadrático Medio (RMSE) en comparación con la propagación en bucle abierto. La corrección fue efectiva tanto para modelos de 4 a 1 insuficientemente entrenados como completamente entrenados, recuperando las principales estructuras oscilatorias de las trayectorias reales de consumo.
EnSF vs. EnKF: En un entorno desafiante con operadores de observación no lineales (arcotangente), EnSF superó a EnKF. Mientras que EnKF mejoró los pronósticos en bucle abierto, produjo trayectorias excesivamente suaves o desplazadas y mantuvo un RMSE más alto. EnSF proporcionó una corrección más fuerte y una mejor recuperación de la trayectoria, atribuido a su capacidad para manejar distribuciones de filtrado no gaussianas sin depender de aproximaciones gaussianas.

Significado y Afirmaciones
El artículo afirma que el marco propuesto ofrece una solución práctica y efectiva para corregir pronósticos de consumo energético aprendidos en entornos de alta dimensión y no lineales. Al tratar el modelo de pronóstico como una caja negra fija y utilizar EnSF para la corrección secuencial, el método cierra la brecha entre dinámicas aprendidas potentes pero imperfectas y datos observacionales del mundo real.

Los autores enfatizan que el significado radica en demostrar que:

Los modelos de pronóstico aprendidos por sí solos son insuficientes para el seguimiento de estado fiable de largo horizonte sin corrección secuencial.
EnSF proporciona un mecanismo computacionalmente viable y sin entrenamiento para la asimilación de datos de alta dimensión que supera a los filtros basados en gaussianos estándar (EnKF) en configuraciones de observación no lineal.
El enfoque es robusto, mejorando la estimación de estado independientemente de si el modelo de pronóstico subyacente fue entrenado con conjuntos de datos completos o parciales.

El artículo concluye que este marco representa una dirección viable para mejorar la planificación de sistemas eléctricos y la gestión de la demanda, sugiriendo trabajos futuros para incorporar variables exógenas (como la temperatura) y validar el enfoque en conjuntos de datos adicionales del mundo real.