KFS: KAN based adaptive Frequency Selection learning architecture for long term time series forecasting

Each language version is independently generated for its own context, not a direct translation.

🌊 Il Problema: Ascoltare una Radio con Troppa Neve

Immagina di dover prevedere il meteo o il traffico basandoti su una radio. Il problema è che questa radio non trasmette solo la musica (il segnale utile), ma è piena di statica, fruscii e voci di sottofondo (il rumore). Inoltre, la musica è composta da diversi strumenti: c'è il basso (il ritmo lento), la chitarra (il ritmo medio) e i piatti (i suoni veloci e acuti).

Le vecchie macchine per prevedere il futuro (i modelli di intelligenza artificiale tradizionali) provavano ad ascoltare tutto insieme. Risultato? Si confondevano con la statica e non capivano bene la melodia principale.

💡 La Soluzione: KFS (Il "Filtro Magico" Intelligente)

Gli autori di questo studio hanno creato KFS (KAN-based adaptive Frequency Selection). Per capire come funziona, immagina KFS come un DJ esperto che ha tre trucchi magici per pulire la radio e prevedere la prossima canzone.

1. Il Trucco del "Setaccio Energetico" (FreK Module)

Prima di ascoltare, il DJ guarda lo spettro delle frequenze. Sa che il rumore (la statica) è distribuito ovunque in modo uniforme, mentre la musica vera ha picchi di energia molto forti.

Cosa fa KFS: Usa un "setaccio" intelligente. Guarda tutte le frequenze e sceglie solo quelle più energetiche (quelle dove c'è davvero la musica), scartando tutto il resto che è solo rumore.
L'analogia: È come se, invece di ascoltare tutto il rumore di una folla, il DJ isolasse solo la voce del cantante che urla più forte, ignorando i mormorii della folla. Questo rende il segnale molto più pulito.

2. Il "Pittore Flessibile" (KAN - Kolmogorov-Arnold Networks)

Una volta pulito il segnale, bisogna capire la melodia. I vecchi modelli usavano "pennelli rigidi" (chiamati MLP) che dipingevano solo forme semplici. Se la melodia era complessa, il quadro veniva storto.

Cosa fa KFS: Usa un nuovo tipo di pennello chiamato KAN. Questo pennello è speciale perché è flessibile: può cambiare forma per adattarsi perfettamente a ogni curva della melodia, sia che sia dritta, sia che sia un'onda complicata.
L'analogia: Se i vecchi modelli erano come stampini per biscotti rigidi (se la forma non corrispondeva, il biscotto veniva male), il KAN è come l'argilla: si modella esattamente sulla forma che deve prendere, imparando meglio i pattern complessi.

3. L'Orologio Sincronizzato (Mixing Block)

Il DJ deve anche sapere quando sta suonando la musica. Il meteo cambia ogni giorno, ogni ora, ogni stagione.

Cosa fa KFS: Prende i dati puliti e li mescola con un "orologio" digitale. Non guarda solo il dato, ma sa esattamente a che ora del giorno o dell'anno si trova.
L'analogia: È come se il DJ non sapesse solo cosa sta suonando, ma sapesse anche che è "l'ora della cena" o "l'ora del tramonto", e usasse questa informazione per prevedere meglio cosa succederà dopo.

🚀 Il Risultato: Una Previsione Perfetta

Mettendo insieme questi tre elementi:

Pulizia: Rimuove il rumore scegliendo solo le frequenze importanti.
Apprendimento: Usa il pennello flessibile (KAN) per capire le forme complesse.
Contesto: Sincronizza tutto con il tempo.

Il risultato è che KFS è diventato il campione mondiale (State-of-the-Art) nel prevedere il futuro di serie temporali lunghe (come il meteo per i prossimi mesi o il consumo di elettricità per il prossimo anno).

🏆 Perché è speciale?

È semplice ma potente: Non è una macchina gigantesca e lenta. È efficiente, veloce e usa meno memoria dei suoi rivali.
È intelligente: Invece di buttare via dati a caso, sa esattamente quali "note" ascoltare e quali ignorare.

In sintesi, KFS è come un DJ che, invece di farsi confondere dal caos di una festa, riesce a isolare la musica perfetta, capire il ritmo e dirti esattamente quale canzone suonerà dopo, anche se la festa dura per giorni.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema

La previsione delle serie temporali a lungo termine (Long-term Time Series Forecasting - LTSF) affronta sfide significative dovute alla complessità dei dati reali:

Interferenza del rumore: Le serie temporali reali contengono rumore su diverse scale, che degrada il rapporto segnale-rumore (SNR), specialmente alle frequenze a bassa ampiezza.
Distribuzione eterogenea: Le informazioni distribuite tra le diverse componenti di frequenza non sono uniformi, portando a rappresentazioni multi-scala subottimali.
Limiti dei metodi esistenti: Le architetture attuali (basate su CNN, MLP o Transformer) spesso decompongono le serie in trend e stagionalità, ma le sottosequenze estratte mantengono ancora molto rumore. Inoltre, i modelli basati su MLP faticano a catturare relazioni non lineari complesse con alta efficienza, mentre i Transformer soffrono di complessità computazionale elevata.

2. Metodologia: Architettura KFS

Gli autori propongono KFS, un'architettura di apprendimento adattiva basata sulla selezione di frequenze e sulle Kolmogorov-Arnold Networks (KAN). L'obiettivo è isolare le componenti dominanti del segnale e filtrare il rumore prima della modellazione.

L'architettura si compone dei seguenti moduli chiave:

A. Decomposizione Multi-Scala

Il modello utilizza il down-sampling (mediante pooling medio) per generare una gerarchia di sequenze temporali a diverse risoluzioni (scale). Questo permette di catturare informazioni sia a breve che a lungo termine.

B. Modulo FreK (Frequency K-top Selection)

Questo è il cuore del processo di denoising e selezione delle caratteristiche:

Selezione delle Bande di Frequenza (FBS): Basandosi sul Teorema di Parseval, il modulo trasforma la serie temporale nel dominio della frequenza (tramite FFT). Poiché il rumore bianco gaussiano ha una distribuzione energetica uniforme, mentre il segnale utile è concentrato, il modulo seleziona le top-K bande di frequenza con la maggiore densità di energia.
Ricostruzione: Le frequenze selezionate vengono trasformate inversamente (IFFT) per ricostruire una serie temporale "denoised" ( $\tilde{x}(t)$ ), che preserva l'informazione dominante riducendo il rumore.
Embedding Adattivo (AE): Vengono introdotti parametri adattivi per apprendere caratteristiche specifiche per ogni dataset prima dell'elaborazione.

C. Utilizzo delle KAN (Kolmogorov-Arnold Networks)

Invece delle tradizionali reti MLP con funzioni di attivazione fisse, KFS impiega le KAN:

Le KAN utilizzano funzioni di attivazione univariate imparabili (in questo caso, funzioni razionali di gruppo o Group-Rational KAN).
Questo permette una modellazione più flessibile ed efficiente delle relazioni non lineari complesse presenti nelle componenti temporali denoised.
Le KAN apprendono le rappresentazioni temporali specifiche per ogni scala ( $E_1 = KAN(AE(\tilde{x}(t)))$ ).

D. Blocco di Mixing (Feature Mixing)

Per integrare le informazioni:

Allineamento Temporale: Gli embedding dei timestamp vengono sottocampionati per allinearsi con le diverse scale della gerarchia di input, sincronizzando le rappresentazioni temporali.
Fusione: Un modulo di mixing combina le rappresentazioni temporali apprese dalle KAN con gli embedding dei timestamp. A differenza dei classici feed-forward network (FFN), questo blocco utilizza una KAN per fondere le caratteristiche multi-scala.
Output: Le caratteristiche fuse vengono aggregate tramite media e proiettate linearmente per generare la previsione finale.

E. Funzione di Loss Ibrida

Il modello viene ottimizzato utilizzando una combinazione di:

MSE (Mean Squared Error): Per la precisione temporale fine.
Loss di Allineamento in Frequenza ( $L_F$ ): Una perdita che forza l'allineamento tra le frequenze dominanti (top-K) della previsione e quelle del target. Questo aiuta a catturare i trend macroscopici senza sovraccaricare il modello con dettagli di frequenza ad alta frequenza (rumore).

3. Contributi Chiave

Metodo di Selezione delle Frequenze basato sull'Energia: Un approccio innovativo (modulo FreK) che filtra il rumore selezionando dinamicamente le bande di frequenza con la massima energia, migliorando il SNR prima della modellazione.
Integrazione di KAN nel TSF: Introduzione delle Kolmogorov-Arnold Networks nel campo della previsione delle serie temporali, sfruttando la loro capacità di rappresentazione superiore rispetto agli MLP per catturare pattern temporali complessi.
Architettura Multi-Scala con Allineamento Temporale: Un framework che non solo decomponga la serie, ma allinei esplicitamente gli embedding dei timestamp con le diverse risoluzioni di scala, risolvendo il problema della sincronizzazione temporale spesso ignorato.
Efficienza e Prestazioni: Un'architettura semplice ma potente che raggiunge lo stato dell'arte (SOTA) mantenendo costi computazionali competitivi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 6 dataset reali (ETT-Series, Electricity, Weather) confrontando KFS con modelli SOTA come PatchTST, iTransformer, TimeMixer, TimesNet e DLinear.

Prestazioni: KFS ha ottenuto le migliori prestazioni (MSE e MAE più bassi) nella maggior parte dei dataset e delle lunghezze di previsione (96, 192, 336, 720). Ha mostrato una superiorità significativa rispetto ai modelli basati su Transformer e CNN.
Efficienza:
- Memoria: KFS utilizza meno memoria rispetto a modelli come TimesNet e PatchTST (es. 116 MB contro 1227 MB di TimesNet).
- Tempo di calcolo: Nonostante l'uso di FFT, il tempo di training per step e i FLOPs rimangono competitivi, superando modelli basati su CNN e Transformer complessi.
Analisi di Ablazione:
- La rimozione delle KAN (sostituite da MLP) ha peggiorato le prestazioni, confermando il vantaggio delle funzioni di attivazione imparabili.
- La rimozione degli embedding temporali ha causato un calo significativo, specialmente su dataset con forte periodicità (es. ETTh2).
- La strategia di selezione Top-K basata sull'energia ( $\delta$ ) si è rivelata superiore ai filtri tradizionali (media, Gaussiano).

5. Significato e Impatto

Il paper KFS rappresenta un passo avanti significativo nella previsione delle serie temporali a lungo termine dimostrando che:

Il filtraggio nel dominio della frequenza è cruciale per gestire il rumore nei dati reali, superando i limiti delle semplici decomposizioni temporali.
Le KAN offrono un'alternativa valida e potente agli MLP per l'apprendimento di rappresentazioni temporali, offrendo un miglior compromesso tra capacità di modellazione e complessità.
Un'architettura ibrida che combina selezione di frequenza, multi-scala e allineamento temporale può raggiungere prestazioni SOTA con un'efficienza computazionale superiore, rendendola ideale per applicazioni reali dove risorse e accuratezza sono critiche.

In sintesi, KFS risolve il problema del "rumore entangled" (intrecciato) nelle serie temporali attraverso una selezione adattiva delle frequenze e una rappresentazione non lineare avanzata, stabilendo un nuovo standard per l'efficienza e l'accuratezza nella previsione a lungo termine.