Perturbation-Specific Reliability of Intrinsic and Post-Hoc Explainable Machine Learning in Volatility Forecasting
Questo studio dimostra che l'affidabilità delle spiegazioni sia intrinseche che post-hoc nella previsione della volatilità è altamente specifica rispetto alla perturbazione, variando significativamente tra diverse configurazioni modello–rappresentazione–spiegatore e richiedendo una valutazione empirica sotto diverse condizioni quali il riaddestramento, i cambiamenti temporali e il rumore di input.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo della finanza, prevedere quanto oscillerà il prezzo di un'azione è spesso considerato più facile che indovinare la direzione in cui il prezzo si muoverà. Questa misura del movimento, nota come volatilità, è fondamentale per la gestione del rischio, eppure rimane notoriamente difficile da prevedere perché i mercati sono disordinati, imprevedibili e in costante mutamento. Per navigare in questa incertezza, gli esperti finanziari si affidano sempre più all'apprendimento automatico (machine learning), dove programmi informatici imparano dai dati passati per fare previsioni future. Tuttavia, questi potenti programmi operano spesso come "black box" (scatole nere), il che significa che la loro logica interna è nascosta e difficile da comprendere per l'essere umano. Questa mancanza di trasparenza crea un problema: se un computer compie una previsione rischiosa, i regolatori e i risk manager devono sapere il perché. Per risolvere questo problema, gli scienziati hanno sviluppato due modi principali per far sì che queste macchine spieghino se stesse. Il primo approccio integra la spiegazione direttamente nel design della macchina sin dall'inizio, creando modelli che sono naturalmente facili da leggere. Il secondo approccio addestra prima una macchina complessa e opaca e poi utilizza uno strumento separato per osservare il prodotto finito e indovinare cosa stesse pensando. La grande domanda è sempre stata quale di questi due metodi sia effettivamente più affidabile.
Un team di ricercatori dell'Universitas Ahmad Dahlu in Indonesia ha deciso di rispondere a questa domanda sottoponendo questi due approcci a un test rigoroso nell'ambiente ad alto rischio della previsione del mercato azionario. Non si sono limitati a chiedere quale metodo sembrasse migliore sulla carta; al contrario, hanno sottoposto le spiegazioni a una serie di stress test nel mondo reale per vedere come resistessero quando le condizioni cambiavano. I ricercatori si sono concentrati sulla previsione della volatilità a cinque giorni di venti principali titoli provenienti dagli Stati Uniti, dall'Europa e dal Giappone, utilizzando dati che spaziano dal 2016 al 2025. Hanno addestrato cinque diversi tipi di modelli di machine learning, accoppiandoli con il metodo di spiegazione più adatto alla loro architettura. Fondamentalmente, hanno incluso i modelli nella loro analisi finale solo se dimostravano di poter prevedere la volatilità meglio di una semplice ipotesi basata sulla storia recente. Ciò ha garantito che valutassero solo le spiegazioni per modelli che possedessero effettivamente una reale capacità di previsione.
Lo studio ha introdotto un espediente intelligente per isolare la fonte della affidabilità. Per un tipo specifico di modello di machine learning, i ricercatori hanno applicato sia la spiegazione "integrata" che quella "post-addestramento" allo stesso identico network addestrato. Ciò ha permesso di vedere se la differenza di affidabilità derivasse dal modello stesso o dal metodo utilizzato per spiegarlo. Hanno poi testato queste spiegazioni sotto tre diversi tipi di pressione. Primo, hanno aggiunto una piccola quantità di rumore casuale ai dati di input per vedere se la spiegazione rimanesse stabile quando i numeri erano leggermente imprecisi. Secondo, hanno spostato la finestra temporale per vedere se la spiegazione reggesse al variare delle condizioni di mercato nel corso di mesi e anni. Terzo, hanno riaddestrato il modello da zero utilizzando diversi punti di partenza casuali per vedere se la spiegazione rimanesse coerente anche quando il processo di addestramento variava leggermente.
I risultati hanno rivelato una verità sorprendente: non esiste un unico modo "migliore" per spiegare un modello di machine learning. L'affidabilità di una spiegazione dipende interamente dalla combinazione specifica di modello, dati che esso riceve e tipo di pressione a cui è sottoposto. In una delle scoperte più eclatanti, i ricercatori hanno scoperto che, per lo stesso network di machine learning, la spiegazione integrata era molto più stabile quando i dati di input erano rumorosi, ma crollava completamente quando il modello veniva riaddestrato. Al contrario, la spiegazione generata dopo l'addestramento era meno stabile contro i dati rumorosi, ma rimaneva molto più coerente quando il modello veniva ricostruito da zero. Ciò significa che la scelta del metodo di spiegazione non dovrebbe basarsi su una regola generale su che sia "integrato" o "aggiunto in seguito", bensì sulla specifica attività da svolgere. Se un utente ha bisogno di una spiegazione che possa resistere a piccoli errori nei dati, il metodo integrato è superiore. Se ha bisogno di una spiegazione che rimanga coerente anche quando il modello viene aggiornato o riaddestrato, il metodo post-addestramento è la scelta migliore.
Lo studio ha anche sfidato un'assunzione comune nel campo riguardo a come misuriamo la qualità di queste spiegazioni. Spesso i ricercatori cercano di verificare se una spiegazione sia veritiera rimuovendo una alla volta le caratteristiche più importanti per vedere se la previsione del modello peggiora. Il team ha scoperto che, nel contesto della volatilità azionaria, questo metodo non riusciva a distinguere tra una spiegazione intelligente e una scommessa casuale. Poiché il segnale nei dati finanziari è così debole e il rumore così elevato, rimuovere una caratteristica non cambiava in modo affidabile l'esito, rendendo questo test standard inutile per questo problema specifico. Inoltre, i ricercatori hanno scoperto che un semplice modello statistico tradizionale noto come Modello di Volatilità Realizzata Eterogenea Autoregressiva (HAR-RV) ha ottenuto la migliore accuratezza di previsione mediana nello studio, superando decisamente tutti i modelli di machine learning testati. Sorprendentemente, un Modello Additivo Generalizzato (GAM) basato su spline, che è intrinsecamente interpretabile, ha ottenuto prestazioni simili al benchmark HAR-RV più performante, mentre le reti neurali e i modelli basati su alberi, più complessi, sono rimasti indietro. Ciò suggerisce che, per questo compito specifico, la complessità aggiunta del deep learning non ha portato alcun vantaggio in termini di accuratezza, e i modelli più semplici e trasparenti sono stati altrettanto efficaci.
In definitiva, la ricerca conclude che non possiamo assumere che una spiegazione sia affidabile solo perché proviene da un modello progettato per essere trasparente. Le spiegazioni "integrate", che sono spesso commercializzate come il gold standard dell'interpretabilità, si sono rivelate le meno riproducibili quando il modello veniva riaddestrato. Nello specifico, la maschera di attenzione intrinseca del modello TabNet ha mostrato una riproducibilità del seme quasi nulla (con un accordo di rango di soli 0,006), il che significa che cambiava completamente versione con un nuovo set di numeri casuali di partenza, rendendola la spiegazione meno affidabile dello studio. Lo studio dimostra che l'affidabilità non è una proprietà inerente a un tipo specifico di spiegazione, ma una caratteristica fragile che deve essere testata empiricamente per ogni nuova situazione. Per chiunque faccia affidamento su questi strumenti per prendere decisioni finanziarie, la lezione è chiara: bisogna verificare che la spiegazione resista alle pressioni specifiche che il proprio sistema affronterà, piuttosto che fidarsi semplicemente del modo in cui la macchina è stata costruita.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.