Decomposing Rank Reversals under Temporal Nonstationarity: Alignment, Aggressiveness, and Instability

Nel mondo delle previsioni finanziarie, prevedere il futuro è una battaglia costante contro un panorama in continuo mutamento. I dati su cui i modelli si affidano — prezzi azionari, indicatori economici, tendenze di mercato — non restano immobili. Fluttuano, cambiano e, a volte, si frammentano completamente. Questo fenomeno, noto come non stazionarietà, significa che un modello addestrato sui dati di ieri potrebbe fallire domani perché le regole del gioco sono cambiate. Per far fronte a ciò, i previsori spesso regolano quanto indietro nel tempo guardare. Potrebbero addestrare un modello basandosi solo sull'ultimo mese di dati per rimanere agili, o sull'ultimo decennio per trovare schemi stabili. L'assunto è stato a lungo che più dati siano generalmente migliori, o che modelli complessi e potenti supereranno sempre quelli più semplici se dotati di informazioni sufficienti. Ma nell'arena ad alta posta in gioco della previsione dei rendimenti azionari, la realtà è molto più caotica. A volte, un modello semplice batte uno complesso, e a volte accade il contrario, a seconda interamente di quanta storia è consentito vedere al modello.

Un team di ricercatori della Carnegie Mellon University ha scoperto la ragione meccanica dietro questi confusi cambiamenti di performance. Hanno scoperto che la classifica dei modelli non cambia casualmente; si ribalta in modo prevedibile guidata da tre forze specifiche: quanto bene il modello punta nella direzione giusta, quanto aggressivamente ipotizza e quanto instabili siano le sue risposte quando i dati di addestramento cambiano leggermente. Scomponendo la performance di quattordici diversi sistemi di previsione — dalle semplici equazioni lineari alle complesse reti neurali — attraverso massicci dataset di azioni e settori statunitensi, gli autori hanno dimostrato che il titolo di "migliore" modello non è fisso. Al contrario, il vincitore dipende da un delicato equilibrio tra la lunghezza della storia di addestramento e la complessità del modello.

I ricercatori hanno affrontato questo problema trattando una previsione non come un singolo numero, ma come un oggetto geometrico con tre proprietà distinte. La prima è l'allineamento, che misura se le previsioni del modello puntano nella stessa direzione dei risultati futuri effettivi. La seconda è l'aggressività, che valuta la dimensione o l'entità della previsione rispetto al target. Infine, c'è l'instabilità, che cattura quanto la risposta del modello oscilli se venisse riaddestrato su una porzione leggermente diversa degli stessi dati. Il team ha dimostrato matematicamente che il successo complessivo di una previsione è una combinazione di questi tre fattori: un modello guadagna punti per un buon allineamento, ma perde punti se è troppo aggressivo o troppo instabile.

La loro analisi ha rivelato un critico compromesso che spiega perché le classifiche dei modelli si invertono. I modelli complessi, come le reti neurali profonde o gli alberi potenziati (boosted trees), hanno un vantaggio naturale nel catturare schemi intricati, ma questo vantaggio ha un costo. Quando la storia di addestramento è breve, questi modelli complessi possono reagire eccessivamente ai dati limitati, diventando altamente instabili e facendo ipotesi estremamente aggressive che mancano il bersaglio. In questi scenari a finestra breve, i modelli più semplici spesso vincono perché sono più stabili e meno inclini a queste oscillazioni selvagge. Tuttavia, man mano che la storia di addestramento si espande, i modelli complessi iniziano a stabilizzarsi. Utilizzano i dati extra per affinare i loro schemi e la loro instabilità diminuisce. Alla fine, se la storia è abbastanza lunga, la loro capacità superiore di modellare relazioni complesse permette loro di superare i modelli più semplici.

Lo studio ha dimostrato che questo ribaltamento non è un mistero, ma un evento calcolabile. I ricercatori hanno derivato un confine matematico specifico che predice esattamente quando un modello complesso inizierà a superare un modello semplice in base alla lunghezza della finestra di addestramento. Hanno validato questa teoria attraverso simulazioni controllate dove potevano controllare precisamente la velocità del drift (deriva) dei dati e il rumore nel sistema. In queste simulazioni, hanno osservato che all'aumentare del drift nei dati, la finestra di addestramento ottimale per i modelli complessi si restringeva, costringendoli a fare affidamento su dati più recenti per evitare di essere fraintesi da schemi obsoleti. Viceversa, quando i dati erano rumorosi ma stabili, storie più lunghe permettevano ai modelli complessi di prosperare.

Nei test nel mondo reale utilizzando i rendimenti azionari giornalieri di diciassette diversi settori statunitensi, la teoria ha tenuto. I ricercatori hanno scoperto che quando i modelli complessi come XGBoost o i Transformer sottoperformavano rispetto ai modelli di regressione ridge più semplici, era quasi sempre perché i modelli complessi soffrivano di un aumento dell'aggressività mal calibrata. Stavano ipotizzando troppo duramente e le loro risposte erano troppo volatili. Quando i ricercatori hanno regolato i modelli per renderli meno aggressivi, il divario di performance è svanito, provando che il fallimento non era dovuto a una mancanza di comprensione degli schemi sottostanti, ma piuttosto a un'incapacità di scalare correttamente le loro previsioni. Inoltre, hanno scoperto che mediando le previsioni di più versioni dello stesso modello (una tecnica chiamata ensembling), potevano eliminare interamente la penalità di instabilità, recuperando una parte significativa della performance precedentemente persa a causa del rumore.

Il lavoro sfida l'intuizione comune secondo cui si debba semplicemente limitare le finestre di addestramento per restare al sicuro in un mondo che cambia. Gli autori sostengono che tagliare ciecamente i dati vecchi sia una strategia inadeguata. Inveve, la chiave è comprendere la specifica tensione tra la capacità di un modello di apprendere schemi complessi e la sua vulnerabilità all'instabilità causata da dati limitati. Per i professionisti, questo significa che la decisione di utilizzare un modello di intelligenza artificiale sofisticato rispetto a uno strumento statistico semplice non dovrebbe basarsi su una preferenza generale per la complessità. Dovrebbe essere una scelta calcolata basata sulla specifica lunghezza della storia disponibile e sul livello attuale di rumore nel mercato. Se la storia è breve e i dati sono volatili, un modello più semplice e stabile è probabilmente la scelta migliore. Se la storia è lunga e gli schemi sono profondi, il modello complesso alla fine vincerà, a patto che sia tarato per evitare di reagire eccessivamente ai dati.

In definitiva, questa ricerca fornisce un quadro diagnostico per comprendere perché i modelli abbiano successo o falliscano quando il mondo cambia. Va oltre il semplice misurare quale modello sia migliore, spiegando esattamente perché la classifica si ribalta. Isolando i componenti specifici di una previsione — allineamento, aggressività e instabilità — gli autori hanno dimostrato che la performance di un modello non è un tratto fisso, ma una risposta dinamica alla quantità di storia che gli viene concessa. Questa intuizione consente ai previsori di anticipare quando un modello perderà il suo vantaggio e di regolare le proprie strategie di conseguenza, trasformando un problema caotico di selezione del modello in un calcolo gestibile di memoria e complessità.