Interpretable Kolmogorov-Arnold Network with Feature-Isolated Temporal Attention Mechanism for Electricity Load Forecasting

Technische Samenvatting: Interpreteerbaar Kolmogorov-Arnold Netwerk met Feature-Geïsoleerde Temporele Aandacht voor Elektriciteitsbelastingvoorspelling

Probleemstelling
Nauwkeurige voorspelling van de elektriciteitsbelasting is fundamenteel voor de stabiliteit, efficiëntie en economische levensvatbaarheid van energiesystemen. Hoewel deep learning-modellen (bijv. Transformers, LSTMs) hoge voorspellende nauwkeurigheid hebben bereikt, werken ze doorgaans als "black boxes", waarbij de interpreteerbaarheid ontbreekt die nodig is om de specifieke drijfveren van voorspellingsresultaten te begrijpen. Deze ondoorzichtigheid belemmert het vermogen van systeembeheerders om te begrijpen hoe complexe exogene factoren, met name menselijke mobiliteitspatronen, de elektriciteitsconsumptie beïnvloeden. Bovendien staat de directe toepassing van het opkomende Kolmogorov-Arnold Netwerk (KAN) op tijdreeksvoorspelling voor uitdagingen, waaronder trainingsinstabiliteit en een onvermogen om complexe temporele afhankelijkheden effectief te modelleren zonder specifieke architecturale aanpassingen. Bestaande hybride benaderingen, die louter Multi-Layer Perceptron (MLP) lagen vervangen door KAN-modules, falen vaak in het volledig benutten van de inherente interpreteerbaarheid van KAN, omdat ze de onderscheidende dynamiek van individuele inputfeatures niet behouden.

Methodologie: Het LoadKAN-framework
Om deze tekortkomingen aan te pakken, stellen de auteurs LoadKAN voor, een nieuw hybride en interpreteerbaar framework ontworpen voor elektriciteitsbelastingvoorspelling. De architectuur bestaat uit twee synergetische stadia:

1. Feature-Geïsoleerde Temporele Aandachtsmechanisme:

   • Doel: Om elke inputfeature-sequentie (bijv. historische belasting, weer en zes verschillende menselijke mobiliteitsmetrieken) onafhankelijk te verwerken voordat er enige cross-feature interactie plaatsvindt.
   • Mechanisme: De inputbatch wordt getransponeerd en geprojecteerd in een hoger-dimensionale embeddingruimte via 1D-convoluties. Cruciaal is dat het model een feature-wise Multi-Head Self-Attention (MHSA) mechanisme gebruikt. In tegen tegenstelling tot standaard architecturen die alle features verstrengelen in latente embeddings, behandelt deze fase de temporele historie van elke feature als een onafhankelijke sequentie.
   • Aggregatie: Temporele informatie voor elke feature wordt geaggregeerd door de output van de laatste tijdstap te selecteren, gevolgd door een feature-geïsoleerde 1D-convolutie en een hyperbolic tangent ($\tanh$) activatie. Dit produceert een gedestilleerde, temporeel bewuste scalaire representatie voor elke feature, wat ervoor zorgt dat de unieke temporele dynamiek van variabelen zoals "Retail & Recreation" of "Residential" wordt bewaard zonder signaaldominantie of ruispropagatie van andere features.

2. Interpreteerbare KAN-module:

   • Doel: Om de verwerkte feature-representaties te mappen naar de toekomstige belastingvoorspelling met behoud van structurele transparantie.
   • Mechanisme: De gedestilleerde features worden ingevoerd in een KAN-laag die is geconstrueerd met leerbare B-spline activatiefuncties op de randen. Gebaseerd op de Kolmogorov-Arnold Representatietheorema, benadert het model de multivariate functie als een som van univariate functies: $\hat{y} = \sum f_m(r_m) + \beta$.
   • Interpreteerbaarheid: Omdat de input tot de KAN-laag bestaat uit geïsoleerde feature-representaties, modelleren de geleerde spline-functies expliciet de niet-lineaire relatie tussen een specifieke real-world feature (bijv. mobiliteit naar parken) en de elektriciteitsbelasting. Dit maakt directe visualisatie van functionele relaties mogelijk (bijv. verzadigingspunten, drempeleffecten) zonder te vertrouwen op post-hoc verklaringstools zoals SHAP of LIME.

Belangrijkste Bijdragen

• Architecturale Innovatie: Het artikel introduceert LoadKAN, dat uniek een feature-geïsoleerd temporeel aandachtsmechanisme combineert met een KAN-module. Dit ontwerp voorkomt de verstrengeling van feature-dynamiek, een vereiste voor betekenisvolle interpreteerbaarheid in tijdreeksvoorspelling.
• Empirische Validatie: Het framework werd geëvalueerd op datasets van drie representatieve Amerikaanse elektriciteitsmarkten: NYISO, CAISO en ERCOT. De studie toont aan dat LoadKAN een concurrerende prestatie levert ten opzichte van uitgebreid getunede state-of-the-art black-box benchmarks (inclusclusief Informer, TCN en Transformer), waarbij het vaak topresultaten behaalt (bijv. beste prestaties in ERCOT).
• Ablatie op Mobiliteitsfeatures: De studie kwantificeert de impact van menselijke mobiliteitsdata, waarbij wordt aangetoond dat het integreren van deze features de voorspellingsnauwkeurigheid over alle modellen en markten aanzienlijk verbetert, waarbij LoadKAN een sterk vermogen toont om deze aanvullende informatie te benutten.
• Granulaire Interpreteerbaarheid: Het artikel biedt een gedetailleerde analyse van de geleerde niet-lineaire relaties tussen zes mobiliteitspatronen en de elektriciteitsbelasting. Het onthult marktspecifieke afhankelijkheden, zoals de variërende invloed van transitgebruik in NYISO versus commerciële mobiliteit in CAISO, en de dominante sensitiviteit van park-gerelateerde mobiliteit in ERCOT en NYISO.

Resultaten

• Prestaties: LoadKAN presteert consistent binnen de topklasse van de benchmarks. In de ERCOT-markt behaalde het de beste algehele prestatie (MAPE: 2,91%, $R^2$: 0,9429), waarmee het de beste baseline (Transformer) overtrof. In NYISO en CAISO bleef het zeer competitief, met MAPE-waarden binnen 0,17% en 0,13% van respectievelijk de best presterende modellen, terwijl het superieure interpreteerbaarheid bood.
• Impact van Mobiliteit: De inclusie van menselijke mobiliteitsfeatures resulteerde in een gemiddelde reductie van de MAPE met ongeveer 16,28% en de RMSE met 16,90% over alle modellen en markten.
• Sensitiviteitsanalyse: Kwantitatieve sensitiviteitsanalyse van de geleerde activatiefuncties onthulde onderscheidende regionale gedragingen. Zo vertoonde "Parks" mobiliteit de hoogste sensitiviteit in NYISO en ERCOT, terwijl commerciële features (Workplaces, Retail) een hogere sensitiviteit toonden in CAISO. De analyse onthulde ook complexe, niet-lineaire en soms contra-intuïtieve relaties, zoals een toename van residentiële aanwezigheid die correleert met een verminderde systeemlast in bepaalde markten, waarschijnlijk door de substitutie van energie-intensieve commerciële activiteiten.

Betekenis en Claims
Het artikel claimt dat LoadKAN er succesvol in slaagt de kloof te overbruggen tussen de voorspellende kracht van deep learning en de structurele interpreteerbaarheid die vereist is voor geïnformeerde besluitvorming in energiesystemen. Door de "black box"-aard van standaard neurale netwerken en de beperkingen van zuivere KAN-structuren op tijdreeksgegevens te vermijden, biedt LoadKAN een transparant mechanisme om te begrijpen hoe specifieke drijfveren, in het bijzonder menselijke mobiliteit, de elektriciteitsvraag beïnvloeden. De auteurs benadrukken dat hun aanpak stakeholders in staat stelt om de niet-lineaire afhankelijkheden tussen inputfeatures en elektriciteitsbelastingvoorspellingen te visualiseren en te kwantificeren, wat inzichten biedt die vaak verborgen blijven bij op lege handen werkende (opaque) modellen. Deze capaciteit wordt gepresenteerd als een cruciale enabler voor het begrijpen van de impact van dynamische exogene features op de elektriciteitsconsumptie, wat meer geïnformeerde systeemoperaties ondersteunt in een evoluerend energielandschap.