⚡ electrical engineering

A Multimodal Transformer Framework with State-Aware Adaptive Fusion for Ultra-Short-Term Solar Irradiance Forecasting with Sky Cloud Images

Este artículo propone un marco de transformador multimodal que integra imágenes de nubes en el cielo y secuencias numéricas mediante una fusión adaptativa consciente del estado para mejorar significativamente la precisión y la robustez del pronóstico de la irradiancia solar a muy corto plazo.

Autores originales: Houhang Zhao, Aiyi Song, Yu Jin, Haoxiang Yu

Publicado 2026-08-04

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Houhang Zhao, Aiyi Song, Yu Jin, Haoxiang Yu

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el sol como un gigantesco e impredecible reflector en un escenario. A veces brilla de forma constante, pero a menudo, nubes traviesas se interponen frente a él, atenuando la luz en cuestión de segundos. Para las personas que gestionan nuestras redes eléctricas, esto es un juego de atrapar la luz de alto riesgo. Necesitan saber exactamente cuánta luz solar golpeará sus paneles solares en los próximos minutos para mantener las luces encendidas sin desperdiciar energía. Este es el mundo del "pronóstico solar de ultra corto plazo".

Para jugar este juego, los científicos suelen observar dos cosas. Primero, revisan el "libro de historia" del comportamiento pasado del sol, buscando números como la temperatura y la velocidad del viento para adivinar qué vendrá después. Es como intentar predecir el clima mirando solo el calendario de ayer. Segundo, observan la "transmisión de cámara en vivo" del cielo, observando cómo se mueven las nubes en tiempo real. Es como mirar las nubes pasar por tu ventana. Durante mucho tiempo, los expertos tuvieron que elegir uno u otro, o simplemente mezclarlos torpemente. Pero, ¿qué pasaría si pudieras tener un árbitro superinteligente que sepa exactamente cuándo confiar en el libro de historia y cuándo en la cámara en vivo? Ese es el desafío que aborda este artículo: construir un sistema que no solo sume información, sino que aprenda a escuchar la voz adecuada en el momento adecuado.

El Árbitro Inteligente: TSGAN

Los autores de este artículo, un equipo de investigadores de universidades de China y Hong Kong, han construido un nuevo tipo de modelo de IA al que llaman TSGAN. Piensa en TSGAN como un árbitro superinteligente parado entre dos equipos: el "Equipo de los Números" (datos históricos como la luz solar y el viento del pasado) y el "Equipo de las Imágenes" (fotos del cielo y las nubes).

En los viejos tiempos, si querías combinar estos dos equipos, podrías simplemente pegar sus informes y esperar lo mejor. Pero los investigadores se dieron cuenta de que eso es como pedirle a un árbitro que escuche a ambos equipos gritando al mismo tiempo, sin importar quién tenga la razón. A veces, el Equipo de los Números sabe más (como en un día soleado y tranquilo), y otras veces, el Equipo de las Imágenes es lo único que importa (como cuando una nube gigante bloquea repentinamente el sol).

TSGAN resuelve esto con un truco ingenioso llamado "Fusión Adaptativa Consciente del Estado" (State-Aware Adaptive Fusion). Imagina un árbitro inteligente que tiene unas gafas especiales. Estas gafas le permiten al árbitro observar la situación actual y decidir instantáneamente: "En este momento, las nubes se mueven rápido, así que confiaré en el Equipo de las Imágenes un 90% y en el Equipo de los Números un 10%". Pero cinco minutos después, si el cielo despeja, el árbitro cambia un interruptor: "Ahora las nubes se han ido, así que confiaré más en la historia del Equipo de los Números". El modelo no solo mezcla los datos; filtra y pondera la información dinámicamente basándose en lo que el clima está haciendo en ese segundo exacto.

Cómo lo Probaron

Para ver si su "árbitro inteligente" era bueno, el equipo utilizó un conjunto de datos masivo de Albuquerque, Nuevo México. Tomaron un año de datos de 2021, que incluía:

Los Números: Registros pasados de luz solar, viento y temperatura.
Las Imágenes: Imágenes del cielo tomadas cada 10 minutos.

Configuraron un desafío donde el modelo debía predecir cuánta luz solar golpearía el suelo en 10, 20 y 30 minutos. Enfrentaron a TSGAN contra un montón de otros "jugadores", incluyendo modelos matemáticos de la vieja escuela, IA estándar que solo mira números e IA que solo mira imágenes.

Los Resultados: Una Victoria Clara

Los resultados fueron bastante impresionantes. TSGAN no solo estuvo bien; aplastó a la competencia.

Venciendo a los Números: Cuando se comparó con modelos que solo usaban números históricos (como los populares modelos Transformer o LSTM), TSGAN cometió significativamente menos errores. Por ejemplo, en el primer trimestre del año, la tasa de error de TSGAN (medida por algo llamado MAE) fue de 28.42, mientras que el mejor modelo de un solo número rondaba los 46.23. Es un salto enorme en precisión.
Venciendo a las Imágenes: Los modelos que solo miraban imágenes del cielo (como las CNN) también tuvieron dificultades. Podían ver las nubes, pero no conocían las "reglas" de cómo se comporta el sol usualmente. TSGAN combinó lo visual del "qué está pasando ahora" con lo numérico del "qué sucede usualmente", lo que resultó en predicciones mucho más estables.
Venciendo a otros Mezcladores: Incluso cuando se comparó con otros métodos que intentaban mezclar números e imágenes, TSGAN ganó. Los investigadores encontraron que simplemente pegar los datos juntos (un método llamado "concatenación") no era suficiente. La capacidad de TSGAN para elegir en qué datos confiar fue la salsa secreta.

El artículo también realizó una prueba estadística llamada prueba de Diebold-Mariano (DM) para asegurar que estas victorias no fueran solo suerte. Los resultados mostraron que el mejor desempeño de TSGAN fue estadísticamente significativo en el 96.88% de las comparaciones con un alto nivel de confianza. En lenguaje sencillo, el modelo es realmente mejor, no solo por un poco, sino de una manera matemáticamente probada.

Por Qué Importa

El artículo sugiere que este enfoque es un cambio de juego para manejar el clima difícil. Cuando el clima es estable, el modelo se apoya en la historia. Cuando llega una tormenta o las nubes cruzan rápidamente frente al sol, el modelo cambia instantáneamente para confiar en la transmisión de la cámara en vivo. Esto evita el "retraso" que ocurre cuando un modelo es demasiado lento para reaccionar ante cambios repentinos.

Los autores concluyen que, al enseñar a la IA a ser un árbitro flexible en lugar de un mezclador rígido, pueden predecir la energía solar con mucha más precisión. Esto no es solo cuestión de obtener una mejor puntuación en un examen; se trata de ayudar a que las redes eléctricas funcionen de manera más fluida, almacenar la energía de manera más eficiente y mantener nuestras luces encendidas incluso cuando el cielo está jugando al escondite. Aunque el estudio se limitó a una ubicación y periodos de tiempo específicos, el método sugiere una nueva y poderosa forma de manejar la naturaleza impredecible de nuestro sol.

Resumen Técnico: Un Marco de Transformador Multimodal con Fusión Adaptativa Consciente del Estado para el Pronóstico de la Irradiancia Solar de Ultra Corto Plazo

Planteamiento del Problema
El pronóstico preciso de la irradiancia solar de ultra corto plazo es crítico para la integración de la energía fotovoltaica (FV) en la red y para garantizar la estabilidad del sistema. Sin embargo, la irradiancia solar está sujeta a fluctuaciones estocásticas significativas impulsadas tanto por ciclos diurnos regulares como por cambios climáticos locales rápidos y aleatorios, particularmente la formación y disipación de nubes. Los métodos tradicionales de pronóstico que dependen únicamente de series temporales numéricas estructuradas (por ejemplo, irradiancia histórica y datos meteorológicos) a menudo no logran capturar los indicadores líderes de caídas repentinas de irradiancia causadas por la oclusión de nubes, lo que genera retrasos en la predicción y errores acumulativos. Por el contrario, los métodos que dependen exclusivamente de imágenes de cielo y nubes proporcionan información visual espacial y temporal rica, pero carecen de las restricciones físicas históricas y del contexto de irradiancia absoluta necesarios para anclar las predicciones. Los enfoques multimodales existentes suelen utilizar estrategias de fusión estáticas (por ejemplo, concatenación simple o promediado de pesos fijos) que no logran adaptarse dinámicamente a las diversas condiciones climáticas, limitando su capacidad para explotar la naturaleza complementaria de los datos visuales y numéricos.

Metodología
El artículo propone TSGAN (Red de Atención Selectiva por Compuerta de Transformador), un marco multimodal diseñado para fusionar sinérgicamente imágenes de cielo-nube y secuencias numéricas para el pronóstico de la Irradiancia Horizontal Global (GHI) de ultra corto plazo. La arquitectura consta de tres componentes principales:

Codificador de Estado Unificado (USE): Este módulo mapea entradas heterogéneas en un espacio latente compartido.
- Rama Numérica: Utiliza un codificador Transformer para procesar secuencias históricas de GHI, Irradiancia Directa Normal (DNI), Irradiancia Horizontal Difusa (DHI) y variables meteorológicas (viento, temperatura, presión). Captura dependencias temporales profundas y patrones evolutivos globales.
- Rama Visual: Emplea una arquitectura híbrida CNN-Transformer. Una CNN extrae características espaciales locales (por ejemplo, bordes de nubes, oclusión solar) de fotogramas celestes individuales, mientras que un Transformer temporal modela la evolución dinámica de las secuencias de nubes a través de los pasos de tiempo.
Mecanismo de Fusión Adaptativa Consciente del Estado: Esta es la innovación central de TSGAN. En lugar de una fusión de peso fijo, el modelo emplea una Red de Atención Selectiva por Compuerta.
- Construye una representación de estado conjunta concatenando los vectores de estado numérico y de imagen.
- Una red de compuerta ligera genera pesos de selección de modalidad basados en este estado conjunto. Estos pesos son dinámicos, variando por muestra y por dimensión de característica.
- El mecanismo filtra y fusiona características de forma adaptativa: si la tendencia numérica es estable, prioriza los patrones históricos; si la imagen del cielo indica un movimiento o una oclusión rápida de nubes, potencia la contribución de los descriptores visuales previos. Esto transforma el proceso de fusión en un proceso de decisión de "identificación de estado de modalidad — asignación de importancia de modalidad — fusión de información complementaria".
Decodificador Predictivo: La representación de estado fusionada se introduce en un decodificador para emitir pronósticos de GHI para los próximos pasos de tiempo (10, 20 y 30 minutos por delante).

Contribuciones Clave

Sistema de Representación Colaborativa: El artículo introduce un marco que modela conjuntamente la información meteorológica visual y los patrones físicos históricos, abordando las brechas de información inherentes a los enfoques de una sola modalidad respecto a la percepción espacial o la evolución temporal.
Codificación de Estado de Doble Rama: Se construye una estructura de codificación especializada para entradas heterogéneas, utilizando Transformers para la dependencia temporal en datos numéricos y un híbrido CNN-Transformer para la dinámica de nubes espacio-temporales en imágenes.
Fusión Adaptativa Consciente del Estado: Los autores proponen una red de atención selectiva por compuerta que desplaza la fusión multimodal de la combinación de características estáticas hacia la selección de información dinámica. Esto permite al modelo ajustar adaptativamente los pesos de fusión basándose en la conciencia del estado de la muestra y la fiabilidad de la modalidad bajo diferentes condiciones climáticas.

Resultados Experimentales
El modelo fue evaluado utilizando el conjunto de datos de la Iniciativa de Datos de Energía Abierta (OEDI) (Albuquerque, NM), utilizando datos con una resolución de 10 minutos de 2021. El rendimiento se evaluó a través de cuatro trimestres y tres horizontes de pronóstico (1, 2 y 3 pasos) utilizando MAE, SMAPE, NRMSE y $R^2$ .

vs. Baselines Numéricos: TSGAN superó a los métodos tradicionales de aprendizaje automático (RF, XGBoost, MLP) y a los modelos base de aprendizaje profundo (GRU, LSTM, Transformer, PatchTST). El marco propuesto alcanzó un MAE promedio de 47.312, reduciendo significativamente los errores en comparación con los modelos numéricos de una sola modalidad. La ventaja fue más pronunciada en los pronósticos de un solo paso adelante, donde los descriptores visuales previos corrigen las fluctuaciones repentinas.
vs. Modelos de Solo Imagen: TSGAN superó a los modelos de una sola imagen (CNN, ResNet, CNN-LSTM), reduciendo el MAE en un 32.38% y el NRMSE en un 23.32%. Los resultados indican que, si bien las imágenes capturan la dinámica de las nubes, requieren restricciones numéricas para determinar con precisión los niveles de irradiancia absoluta y reducir el sesgo de distribución.
vs. Otras Estrategias de Fusión: Comparado con la concatenación directa, la fusión por compuerta estándar y los mecanismos de Atención Cruzada (Cross-Attention), TSGAN redujo el MAE promedio en un 18.39% y mejoró el $R^2$ en 0.0260. Crucialmente, TSGAN demostró una mayor estabilidad a través de las estaciones y los horizontes de pronóstico, con distribuciones de error más estrechas, lo que sugiere que el mecanismo adaptativo mitiga eficazmente la acumulación de errores en horizontes más largos.
Significancia Estadística: Las pruebas de Diebold-Mariano (DM) confirmaron que las mejoras de rendimiento de TSGAN son estadísticamente significativas (al nivel del 1% para el 96.88% de las comparaciones) frente a todos los modelos de referencia.

Significancia y Reivindicaciones
El artículo afirma que TSGAN ofrece un cambio de paradigma de la "superposición de información" a la "selección de estado" en el pronóstico solar multimodal. Su importancia radica en:

Mejora Mecanicista: Aborda la falta de información de vanguardia en los modelos de series temporales tradicionales mediante la incorporación de descriptores visuales previos para cambios repentinos, mientras resuelve simultáneamente la ambigüedad de los niveles de irradiancia absoluta en los modelos de imagen pura mediante restricciones numéricas.
Adaptabilidad: El mecanismo de fusión consciente del estado permite al modelo identificar dinámicamente la fiabilidad de las diferentes modalidades bajo variaciones estacionales y climáticas (por ejemplo, depender más del historial en condiciones estables y más de las imágenes durante el movimiento rápido de nubes), reduciendo así el sesgo de información.
Utilidad Práctica: El marco proporciona una base más oportuna y precisa para el suavizado de la potencia FV, el control del almacenamiento de energía y el despacho de red a corto plazo.

Los autores señalan que los hallazgos actuales están limitados por el alcance específico del conjunto de datos y los horizontes de pronóstico, sugiriendo que trabajos futuros podrían explorar la caracterización continua del movimiento de las nubes, la integración con imágenes de satélite/infrarrojas y el pronóstico de intervalos probabilísticos.

El Árbitro Inteligente: TSGAN

Cómo lo Probaron

Los Resultados: Una Victoria Clara

Por Qué Importa

Más como este