Same Error, Different Function: The Optimizer as an Implicit Prior in Financial Time Series

Lo studio dimostra che, in contesti di sottodeterminazione come la previsione della volatilità finanziaria, la scelta dell'ottimizzatore agisce come un pregiudizio induttivo cruciale che, pur mantenendo invariata l'accuratezza predittiva, modella funzioni non lineari diverse con impatti materiali sui portafogli di investimento, suggerendo che la valutazione dei modelli debba superare la semplice perdita scalare per includere le implicazioni funzionali e decisionali.

L'essenziale

Il Titolo: "Lo Stesso Errore, Funzioni Diverse"

Immagina di essere un allenatore di calcio che deve scegliere il miglior attaccante per la sua squadra. Hai due giocatori, Marco e Luca.

• Marco segna 20 gol in una stagione.
• Luca segna 20 gol nella stessa stagione.

Secondo i numeri (il "punteggio"), sono identici. Sono intercambiabili? No. E il paper ci dice esattamente perché.

---

1. Il Problema: Il "Pareggio" sui Numeri

Nel mondo della finanza, prevedere quanto sarà volatile (instabile) il mercato è come cercare di indovinare il meteo di domani guardando le nuvole di oggi. È un compito difficile, pieno di rumore e incertezza.

Gli scienziati hanno provato a usare intelligenze artificiali (reti neurali) di diversi tipi (alcune più complesse, altre più semplici) per prevedere questa volatilità.
La sorpresa: Tutte queste intelligenze artificiali, anche quelle molto diverse tra loro, finiscono per fare esattamente lo stesso errore quando vengono testate sul futuro. I loro "punteggi" sono identici.

Fin qui, sembrerebbe che non importi quale modello scegliamo. Ma il paper ci dice: "Aspetta, non è così!".

2. L'Analogia: Due Cuochi, Stesso Piatto, Gusto Diverso

Immagina che l'errore di previsione sia il sapore di una zuppa.

• Il Cuoco A (che usa un certo tipo di cottura, diciamo "SGD") fa una zuppa che sa di pomodoro.
• Il Cuoco B (che usa un altro tipo di cottura, diciamo "Adam") fa una zuppa che sa di pomodoro.

Se assaggi un cucchiaino, sono identiche. Ma se guardi come sono state fatte:

• Il Cuoco A ha usato ingredienti freschi e semplici, cuocendo lentamente. La sua zuppa è stabile, non cambia sapore se la lasci riposare.
• Il Cuoco B ha usato spezie complesse e una cottura aggressiva. La sua zuppa è piccante e cambia sapore se la mescoli troppo.

Nel paper, il "Cuoco" è l'Ottimizzatore (il metodo matematico che insegna alla macchina a imparare). Anche se il risultato finale (il sapore/errore) è lo stesso, il modo in cui la macchina ha imparato a prevedere è radicalmente diverso.

3. Cosa succede davvero? (La Scoperta)

Gli autori hanno scoperto che, anche se i modelli hanno lo stesso errore:

1. Reagiscono diversamente: Se c'è un piccolo cambiamento improvviso nel mercato (un "shock"), il modello del Cuoco A reagisce in modo morbido e lineare. Il modello del Cuoco B esplode in reazioni esagerate e non lineari.
2. Hanno "memorie" diverse: Alcuni modelli guardano solo ciò che è successo ieri. Altri guardano indietro fino a tre mesi fa. L'ottimizzatore decide quanto guardare indietro, anche se la rete neurale è capace di guardare lontano.
3. Il "Bias" nascosto: L'ottimizzatore agisce come un filtro invisibile. Decide quali soluzioni accettare tra tutte quelle possibili. È come se due detective risolvessero lo stesso crimine con la stessa precisione, ma uno avesse un'opinione diversa sulla motivazione del colpevole.

4. Perché questo è importante per i tuoi soldi? (Le Conseguenze Reali)

Qui la cosa diventa pratica. Immagina di usare queste previsioni per gestire un portafoglio di investimenti.

• Il modello "Stabile" (es. SGD): Fa poche previsioni, ma sono solide. Quando il mercato cambia, il tuo portafoglio si muove poco. Fai poche operazioni (basso "turnover").
• Il modello "Reattivo" (es. Adam/Muon): Fa previsioni molto sensibili. Se il mercato si muove di un millimetro, lui pensa che sia un terremoto e ti fa comprare/vendere subito. Fai tante operazioni (alto "turnover").

Il risultato?
Entrambi i portafogli hanno lo stesso rendimento teorico (stesso "Sharpe Ratio"). Ma il secondo ti costa di più! Perché?
Perché ogni volta che compri e vendi, paghi delle commissioni (costi di transazione). Se il tuo modello ti fa fare 3 volte più operazioni del necessario, perdi soldi in commissioni, anche se le previsioni erano "uguali" in teoria.

5. La Morale della Favola

Il paper ci insegna tre cose fondamentali:

1. Non fermarti al punteggio: In finanza, due modelli con lo stesso errore non sono la stessa cosa. Potrebbero comportarsi in modo opposto nel mondo reale.
2. L'allenatore conta: Scegliere come addestrare l'intelligenza artificiale (l'ottimizzatore) è importante quanto scegliere quale intelligenza artificiale usare. L'ottimizzatore è una scelta strategica, non solo tecnica.
3. Scegli in base al comportamento: Se devi gestire soldi veri, non scegliere il modello che ha il punteggio più alto (spesso sono tutti pareggiati). Scegli il modello il cui "comportamento" (stabilità, frequenza di operazioni) si adatta meglio alla tua strategia e alle tue tasche.

In sintesi: Non guardare solo il risultato finale. Guarda come è stato ottenuto. Perché nel mondo reale, il "come" determina quanto ti costa la vittoria.

Sommario tecnico

1. Il Problema: Sottospecificazione e Equivalenza Predittiva

Il paper affronta un problema fondamentale nel machine learning applicato alle serie temporali finanziarie, in particolare nella previsione della volatilità (es. per le azioni dell'S&P 500).

• Regime di Sottospecificazione: In domini a basso rapporto segnale-rumore (low signal-to-noise ratio), come i mercati finanziari, diversi modelli predittivi (dalle reti neurali profonde ai modelli econometrici lineari) spesso raggiungono errori fuori campione (out-of-sample) indistinguibili secondo le metriche standard (es. NMSE - Normalized Mean Squared Error).
• Il "Tie" sulla Classifica: Quando modelli con architetture diverse (MLP, CNN, LSTM, Transformer) e diversi ottimizzatori (SGD, Adam, Muon) ottengono lo stesso errore di test, la pratica comune li considera intercambiabili.
• La Domanda di Ricerca: Se l'errore è identico, i modelli sono davvero la stessa cosa? L'ottimizzatore è solo un dettaglio ingegneristico per l'efficienza del training, o influenza la funzione appresa in modo qualitativo, anche quando la perdita (loss) finale è invariata?

2. Metodologia Sperimentale

Gli autori hanno progettato un framework sperimentale rigoroso per isolare l'impatto della dinamica di training sulla selezione della funzione appresa.

• Dataset: Un dataset privo di bias di sopravvivenza composto dalle componenti dell'S&P 500 dal 2000 al 2024, derivato da CRSP.
• Task: Previsione one-step-ahead della varianza realizzata (proxy di volatilità) utilizzando l'estimatore di Garman-Klass basato sui prezzi OHLC.
• Configurazione:
  • Architetture (A): 4 tipi (MLP, CNN, LSTM, Transformer).
  • Ottimizzatori (O): 3 tipi (SGD, Adam, Muon).
  • Grid Sperimentale: 12 sistemi di apprendimento (4x3).
  • Controllo: Per ogni coppia (A, O), sono stati eseguiti tuning iperparametrici rigorosi (learning rate, weight decay) e 13 run indipendenti con diversi seed casuali per garantire che l'equivalenza non fosse un artefatto di un tuning scadente.
• Diagnostica Funzionale (Oltre la Loss): Poiché le metriche scalarie (NMSE) non distinguono i modelli, sono state utilizzate tecniche avanzate:
  • Analisi della Risposta all'Impulso: Per mappare la superficie di risposta globale del modello a shock di volatilità.
  • Superfici di Differenza Funzionale: Calcolo di $D(x) = \hat{y}_{Muon}(x) - \hat{y}_{Adam}(x)$ per verificare se le mappature sono strutturalmente diverse (non planari).
  • Attribuzione delle Feature (SHAP): Per analizzare quali lag temporali (es. $t-1$ vs $t-60$) vengono privilegiati.
  • Ensembling Eterogeneo: Verifica se l'errore residuo è correlato tra i modelli.
  • Esperimenti di Intervento: Sostituzione dell'ottimizzatore durante il training (es. da Adam a SGD) per osservare la stabilità degli attrattori.

3. Contributi Chiave e Risultati

A. Equivalenza Predittiva ma Divergenza Funzionale (Takeaway 1)

I risultati confermano che, nonostante le performance di previsione (NMSE) siano statisticamente identiche tra architetture e ottimizzatori (inclusi i baseline lineari OLS/LASSO), le funzioni apprese sono qualitativamente diverse:

• SGD tende a convergere verso soluzioni più semplici e piatte (funzioni quasi lineari o dipendenti solo dalla storia recente).
• Ottimizzatori Adattivi (Adam, Muon) convergono verso funzioni non lineari più complesse, con risposte a impulsi sigmoidali e meccanismi di smorzamento degli shock estremi.
• Le superfici di differenza tra gli ottimizzatori sono altamente strutturate e non planari, indicando che gli ottimizzatori selezionano minimi locali geometricamente distinti all'interno dello stesso spazio delle ipotesi.

B. L'Ottimizzatore come Prior Implicito (Takeaway 2)

L'ottimizzatore agisce come un prior inductivo che determina quale soluzione ammissibile viene selezionata quando la loss è indifferente:

• Dipendenza Temporale: La scelta dell'ottimizzatore determina i pattern di importanza dei lag. Ad esempio, in un LSTM, Muon favorisce l'uso della memoria a lungo termine, mentre Adam si concentra sulla storia recente. SGD restringe l'attenzione quasi esclusivamente ai lag più recenti.
• Geometria e Stabilità: Gli autori collegano questa divergenza al concetto di Edge of Stability (EoS). SGD tende a stabilizzarsi in regioni più piatte (minimi "flat"), mentre i metodi adattivi possono convergere in minimi più acuti ("sharp") grazie al precondizionamento, permettendo loro di esplorare funzioni non lineari complesse che SGD "scarta" per stabilità.

C. Conseguenze Decisionali: Il Frontiere Sharpe-Turnover

La divergenza funzionale ha impatti materiali sulle decisioni di trading:

• Stabilità del Segnale: Modelli addestrati con SGD producono ranking di volatilità più stabili nel tempo, risultando in un turnover del portafoglio significativamente inferiore.
• Sensibilità: I modelli addestrati con Adam/Muon, pur avendo la stessa accuratezza predittiva, sono più sensibili a piccoli cambiamenti nello stato di input, causando inversioni di ranking più frequenti e un turnover più alto (fino a 3 volte superiore).
• Frontiere: Esiste un frontiere quasi verticale tra Sharpe Ratio e Turnover: a parità di Sharpe Ratio, la scelta dell'ottimizzatore determina l'efficienza operativa e i costi di transazione.

D. Complementarità dei Modelli

Un ensemble eterogeneo (combinando modelli con diversi ottimizzatori) ottiene un errore NMSE strettamente inferiore rispetto ai singoli componenti, dimostrando che gli errori di previsione non sono perfettamente correlati e che le diverse coppie (Architettura, Ottimizzatore) recuperano componenti ortogonali del segnale sottostante.

4. Significato e Implicazioni

Il paper ribalta la prospettiva convenzionale sul machine learning finanziario:

1. Non Intercambiabilità: Modelli con lo stesso errore di test non sono intercambiabili. La scelta dell'ottimizzatore non è un dettaglio tecnico, ma una scelta di modellazione che definisce il comportamento del sistema.
2. Valutazione Oltre la Loss: In regimi sottospecificati (basso segnale), la valutazione dei modelli non deve basarsi solo su metriche scalarie (MSE, Sharpe Ratio), ma deve includere stabilità funzionale, interpretabilità e conseguenze decisionali (es. turnover, costi di transazione).
3. Ruolo dell'Ottimizzatore: L'ottimizzatore è parte integrante del modello. In assenza di un "vincitore" chiaro sulla classifica delle performance, si dovrebbe scegliere l'ottimizzatore (e quindi la funzione) che meglio si allinea con l'obiettivo economico sottostante (es. stabilità vs reattività).
4. Impatto Pratico: Per i gestori di portafogli, l'uso di ottimizzatori adattivi potrebbe erodere i rendimenti netti a causa di un turnover eccessivo, anche se le previsioni di volatilità sembrano accurate.

In sintesi, il lavoro dimostra che in finanza, dove il segnale è debole, la selezione del modello è la selezione della funzione, e l'ottimizzatore è il meccanismo che decide quale funzione, tra le molte ammissibili, verrà effettivamente implementata.