Dispersion-Matched Forecast Comparison: Separating Skill from Shrinkage in the Evaluation of Financial Prediction Models

Nel mondo della finanza, prevedere il prezzo futuro di un'azione è il santo graal. Gli investitori e le banche riversano miliardi in sistemi informatici sofisticati, sperando di trovare un modello nel caos dei movimenti quotidiani del mercato. Questi sistemi, spesso costruiti utilizzando il deep learning, sono progettati per digerire enormi quantità di informazioni — prezzi passati e rapporti economici — per indovinare se un'azione salirà o scenderà domani. Il modo standard per giudicare se uno di questi sistemi sia effettivamente buono è confrontare le sue previsioni con una lista di altri sistemi. Se un nuovo modello commette meno errori rispetto a quelli vecchi, viene dichiarato vincitore e i suoi creatori pubblicano i risultati come una svolta. Questo processo si basa su un'ipotesi semplice: che un punteggio di errore più basso significhi che il modello ha trovato un segnale genuino nei dati, una reale capacità di vedere ciò che altri non possono vedere.

Tuttavia, un nuovo studio mette in discussione proprio il fondamento di come vengono scelti questi vincitori. I ricercatori, lavorando con un team di esperti in informatica e gestione, hanno scoperto che il metodo di punteggio standard può essere ingannato. Hanno scoperto che un modello informatico può ottenere un punteggio perfetto non perché ha imparato a prevedere il mercato, ma perché ha imparato a non fare quasi nulla. Quando un mercato è difficile da prevedere, la mossa matematica più sicura è semplicemente indovinare l'esito medio ogni singola volta. Se un modello è troppo cauto, o se il suo design lo costringe a essere troppo conservativo, ridurrà le sue previsioni finché non saranno quasi piatte. Lo studio mostra che l'attuale sistema di classificazione scambia questo comportamento di contrazione per abilità, creando una classifica in cui i "migliori" modelli sono in realtà quelli che hanno rinunciato a prevedere qualsiasi cosa.

I ricercatori si sono posti l'obiettivo di testare un'architettura specifica e moderna progettata per prevedere i rendimenti azionari giornalieri. Questo sistema, chiamato MFGate-Net, è stato costruito per essere un predittore all'avanguardia. Combinava due diversi tipi di informazioni: indicatori tecnici derivati dai grafici dei prezzi e dati macroeconomici come i tassi di interesse e la volatilità del mercato, insieme a un meccanismo per pesare questi input in modo dinamico. Per vedere se funzionasse, il team lo ha addestrato su sette anni di dati storici e poi lo ha testato su un periodo successivo e inedito che copriva gli anni dal 2022 al 2024. Questo periodo di test è stato scelto con cura per includere diverse condizioni di mercato, inclusi un periodo di alta inflazione e una fase di ripresa, garantendo che il modello affrontasse una sfida realistica.

Quando il team ha eseguito il confronto standard, i risultati sembravano un trionfo. Il nuovo modello ha battuto ogni altro concorrente, compresi i metodi di machine learning più vecchi e semplici e altre reti di deep learning complesse. Aveva il tasso di errore più basso e i test statistici hanno confermato che il suo vantaggio non era un caso fortuito. Per ogni convenzione, questo avrebbe dovuto essere il titolo: un nuovo, superiore modo per prevedere il mercato. Ma i ricercatori non si sono fermati lì. Si sono posti una domanda più semplice, più fondamentale: questo modello ha davvero battuto la previsione più basilare possibile? In finanza, la previsione più semplice è assumere che la variazione di prezzo di domani sarà esattamente zero. Questo è noto come benchmark incondizionato. È la base del non fare nulla.

Quando hanno confrontato il loro sofisticato modello con questa previsione zero, la storia è cambiata completamente. Il complesso modello non ha battuto la previsione zero. In effetti, era statisticamente indistinguibile da essa. Le previsioni del modello erano così vicine allo zero che non offrivano alcun vero vantaggio rispetto al semplice indovinare che non sarebbe successo nulla. Ancora più sorprendente, ogni altro modello in classifica, dai nuovi sistemi di deep learning ai vecchi metodi statistici, ha fallito nel battere la previsione zero. Erano tutti peggio di non fare nulla. I ricercatori si sono resi conto che la classifica che avevano visto in precedenza non misurava chi fosse il miglior predittore, ma piuttosto chi fosse il più cauto. I modelli che avevano contratto maggiormente le loro previsioni, avvicinandosi allo zero, apparivano come quelli con l'errore più basso. La classifica era una misurazione di quanto i modelli si fossero contratti, non di quanto avessero imparato.

Per dimostrare questo, il team ha derivato una spiegazione matematica del perché accada ciò. Hanno dimostrato che quando un mercato è quasi imprevedibile, il punteggio di errore di un modello dipende quasi interamente da quanto variano le sue previsioni rispetto al mercato reale. Se un modello prevede pochissimo movimento, il suo punteggio di errore sembrerà buono, anche se sbaglia. Lo studio ha dimostrato che l'apparente superiorità di un modello rispetto a un altro era semplicemente una differenza in quanto essi contraevano le loro previsioni. I test statistici usati per dichiarare un vincitore stavano in realtà misurando questa contrazione, e più dati raccoglievano, più diventavano sicuri di una conclusione falsa. Più grande era il dataset, più forte diventava l'illusione di abilità, anche se non esisteva alcuna abilità.

I ricercatori hanno quindi proposto una soluzione semplice. Prima di confrontare i modelli, hanno regolato ogni previsione in modo che il suo intervallo di movimento corrispondesse all'intervallo del mercato reale. Questo processo, che chiamano "matching della dispersione" (dispersion matching), rimuove il pregiudizio verso la contrazione. Una volta applicata questa correzione, le differenze drammatiche tra i modelli sono svanite. I modelli che precedentemente sembravano chiari vincitori erano ora statisticamente alla pari con i perdenti. L'importanza "travolgente" che suggeriva una svolta è scomparsa, sostituita da un risultato che mostrava come tutti i modelli stessero essenzialmente performando come un tiro a sorte. In un caso specifico, un modello che era stato dichiarato il migliore è stato trovato essere non migliore di una previsione costante zero, con una probabilità statistica di 0,97 che la differenza fosse dovuta al caso.

Lo studio ha anche esaminato se questi modelli potessero guadagnare denaro. Anche se un modello non può prevedere il prezzo perfettamente, potrebbe comunque essere utile se può guidare scambi profittevoli. I ricercatori hanno simulato strategie di trading basate sulle previsioni dei modelli, tenendo conto dei costi di acquisto e vendita. I risultati sono stati netti. Nessun modello ha generato un profitto che potesse battere un investimento privo di rischio, anche quando i costi di transazione erano impostati a zero. Il modello di maggior successo negli grafici dell'errore si è rivelato il peggiore in termini di denaro, perché le sue previsioni prudenti hanno portato a una strategia che si muoveva appena, accumulando piccole perdite contro il costo del capitale. Ciò ha confermato che la classifica statistica non era solo fuorviante, ma economicamente irrilevante.

Forse il risultato più inquietante riguardava gli strumenti utilizzati per spiegare come funzionano questi modelli. Nel campo dell'intelligenza artificiale, i ricercatori usano spesso visualizzazioni per mostrare a quali punti dati un modello sta prestando attenzione, sperando di dimostrare che il sistema ha appreso schemi significativi. Il team ha testato questo addestrando il proprio modello su dati in cui il target era stato rimescolato casualmente, distruggendo qualsiasi relazione reale tra gli input e l'output. Un modello addestrato su tale rumore non può possedere alcuna conoscenza. Eppure, quando hanno analizzato questo modello "rotto", ha prodotto spiegazioni quasi identiche a quelle del modello reale. Le visualizzazioni mostravano le stesse caratteristiche evidenziate e gli stessi schemi di attenzione. Ciò suggerisce che questi strumenti di interpretabilità riflettono spesso la struttura dei dati stessi piuttosto che la specifica conoscenza che il modello ha acquisito. Non possono distinguere tra un modello che ha imparato un segreto e uno che non ha imparato nulla.

I ricercatori hanno concluso che l'intero campo della previsione finanziaria deve cambiare il modo in cui riporta i propri risultati. Raccomandano che ogni studio debba includere un confronto contro la semplice previsione zero per dimostrare se un modello abbia alcuna abilità. Suggeriscono anche di riportare una misura di quanto variano le previsioni del modello, per garantire che un basso punteggio di errore non sia solo il risultato di un'eccessiva cautela. Senza questi controlli, la letteratura è piena di modelli che sembrano far avanzare lo stato dell'arte ma che in realtà si stanno solo classificando in base a quanto bene riescono a fingere di essere nulla. Lo studio non afferma che prevedere il mercato sia impossibile, né dice che il deep learning sia inutile. Dimostra semplicemente che l'attuale modo di giudicare il successo è rotto e che, finché le regole non verranno corrette, i vincitori in classifica potrebbero non essere quelli che possono realmente vedere il futuro.