Ensemble learning for time series forecasting using metaheuristic optimisation

Prevedere il futuro è un istinto umano, ma prevedere il futuro dei numeri è una scienza notoriamente difficile. Nel mondo della finanza, la previsione delle serie temporali è il tentativo di indovinare quale sarà il prezzo di un'azione domani basandosi su ciò che era ieri, la scorsa settimana e l'anno scorso. I dati sono raramente una linea retta; sono frastagliati, rumorosi e in costante mutamento, molto simile al tentativo di prevedere il tempo durante una tempesta. Poiché il mercato è così volatile e imprevedibile, affidarsi a un singolo metodo per fare una previsione è spesso come cercare di navigare una nave con una sola bussola. Se quella bussola è leggermente errata, l'intero viaggio è compromesso. Ecco perché i ricercatori si sono rivolti all' "apprendimento d'insieme" (ensemble learning), una strategia in cui vengono costruiti e poi combinati diversi modelli di previsione differenti. Invece di fidarsi di un unico esperto, il sistema ascolta un panel di esperti, sperando che la loro saggezza combinata annulli gli errori individuali e riveli un percorso più chiaro.

La sfida, tuttavia, risiede nel modo in cui combinare questi esperti. Se si chiede semplicemente a ogni modello di indovinare e se ne fa la media, si potrebbe perdere il fatto che un modello sta attualmente performando brillantemente mentre un altro sta faticando. Il vero trucco è capire, in ogni dato momento, a quali modelli meritino più fiducia e quali debbano essere ascoltati meno. Questo è il problema specifico affrontato da un team di ricercatori indiani che ha sviluppato un nuovo modo per gestire questi gruppi di modelli di previsione. Hanno creato due sistemi distinti, uno ispirato al modo in cui gli uccelli si spostano in stormi e un altro basato su un approccio matematico alla gestione dell'incertezza, per decidere dinamicamente quanto peso dare alla previsione di ciascun modello. Il loro obiettivo era costruire un sistema che potesse adattarsi in tempo reale, spostando il proprio focus sui predittori più affidabili al cambiare delle condizioni di mercato.

Per testare le loro idee, i ricercatori si sono rivolti al mercato azionario indiano, un ecosistema finanziario vasto e complesso che ha visto cambiamenti drammatici negli ultimi quindici anni, incluse importanti riforme economiche e una pandemia globale. Hanno raccolto dati storici per sette diverse entità: due principali indici di mercato che tracciano la salute generale dell'economia, e cinque delle più grandi società quotate alla borsa. Non si sono affidati a un solo tipo di motore di previsione. Al contrario, hanno costruito un "panel" di tre diversi modelli di intelligenza artificiale, ognuno con i propri punti di forza. Un modello è stato progettato per trovare schemi in dati statici, un altro è stato costruito per ricordare le tenda a lungo termine nel tempo, e un terzo è una versione snellita di quel modello basato sulla memoria, progettata per essere più veloce. Questi tre modelli sono stati addestrati sui dati degli ultimi quindici anni per imparare a prevedere il prezzo di chiusura del giorno successivo.

Una volta pronti questi tre modelli, i ricercatori hanno applicato i loro due nuovi sistemi di gestione per combinare le previsioni. Il primo sistema, che hanno chiamato Ensemble PSO, funziona simulando uno sciame di particelle alla ricerca della soluzione migliore. Immaginate un gruppo di uccelli che volano insieme; ogni uccello conosce la propria posizione migliore e la migliore posizione trovata dall'intero stormo. Regolano costantemente la loro traiettoria di volo per muoversi verso il punto migliore. In questo sistema informatico, gli "uccelli" sono diverse combinazioni di pesi assegnati ai tre modelli. Il sistema esegue migliaia di simulazioni, regolando costantemente la miscela finché non trova l'equilibrio perfetto che minimizza l'errore tra il prezzo previsto e quello reale. Il secondo sistema, Ensemble ARO, adotta un approccio diverso. Tratta l'incertezza del mercato come una variabile da gestire matematicamente, trovando un set di pesi che rimanga robusto anche se il mercato si comporta in modo inaspettato. Chiede essenzialmente: "Qual è il modo più sicuro per combinare queste previsioni affinché non veniamo colti di sorpresa?".

I ricercatori hanno confrontato questi due nuovi sistemi con i singoli modelli, una semplice media di tutti e tre, e altri metodi di previsione avanzati che sono stati utilizzati in passato. Per rendere un confronto equo tra tutti i sette diversi dataset, hanno sviluppato un nuovo modo per valutare i risultati. Invece di guardare solo un numero, come quanto la previsione fosse lontana in media, hanno osservato quattro diverse misure di accuratezza e le hanno combinate in un punteggio unico e completo. Ciò ha permesso loro di classificare i modelli non solo su un dataset, ma su tutto l'insieme dei sette titoli e indici.

I risultati sono stati chiari e coerenti. Il sistema che utilizza l'ottimizzazione basata sullo sciame, Ensemble PSO, ha costantemente superato ogni altro metodo, inclusi i singoli modelli e le altre tecniche di ensemble. Si è dimostrato il predittore più affidabile attraverso le diverse condizioni di mercato e i periodi di tempo testati. Il secondo miglior performer è stato il sistema che utilizza l'approccio di ottimizzazione robusta, Ensemble ARO, che ha anch'esso superato significativamente i modelli standard. Lo studio ha rilevato che, sebbene i modelli individuali come le reti a memoria a lungo termine fossero bravi nei loro compiti specifici, spesso faticavano quando il mercato diventava troppo volatile o imprevedibile. Regolando dinamicamente i pesi, i nuovi sistemi di ensemble sono stati in grado di fare affidamento sul modello che stava performando meglio in quel momento specifico, smussando efficacemente gli errori e fornendo una previsione più accurata.

I ricercatori hanno concluso che il loro approccio offre uno strumento potente per la previsione finanziaria. Utilizzando l'ottimizzazione metaeuritica per gestire i pesi di diversi modelli, hanno creato un sistema che è più adattabile e accurato rispetto al semplice affidarsi a un singolo algoritmo o a una media semplice. Le scoperte suggeriscono che, in un mondo di dati rumorosi e mutevoli, il modo migliore per prevedere il futuro non è trovare il singolo modello perfetto, ma costruire un team flessibile di modelli che possa essere guidato da un sistema intelligente per lavorare insieme. Questo lavoro rappresenta un passo concreto avanti in termini di come potremmo usare l'intelligenza artificiale per navigare nelle complessità del mercato azionario, offrendo un metodo che sia allo stesso tempo scalabile e robusto per gestire l'imprevedibilità del mondo reale dei dati finanziari.