TradeFM: A Generative Foundation Model for Trade-flow and Market Microstructure

Each language version is independently generated for its own context, not a direct translation.

Immagina di voler insegnare a un robot a capire come funziona il traffico in una città enorme, piena di milioni di auto, semafori e pedoni che si muovono in modo caotico. Non puoi semplicemente dargli un manuale di regole; devi fargli "guardare" milioni di ore di video del traffico reale, finché non impara da solo le dinamiche: quando scoppia un ingorgo, come si comportano le auto quando piove, o come cambia il flusso quando c'è un incidente.

TradeFM è esattamente questo, ma invece del traffico stradale, studia il traffico finanziario (le azioni in borsa).

Ecco una spiegazione semplice di cosa hanno fatto i ricercatori di J.P. Morgan, usando delle metafore quotidiane:

1. Il Problema: Ogni Negozio è Diverso

In passato, per prevedere il prezzo di un'azione (come Apple o Tesla), gli esperti creavano un modello specifico per ogni singola azienda. Era come se avessi bisogno di un insegnante di guida diverso per ogni tipo di auto: uno per le Fiat, uno per le Ferrari, uno per i camion.
Il problema è che i mercati sono complessi, cambiano continuamente e ogni azienda ha le sue regole. Creare un modello per ogni azione era lento, costoso e spesso impreciso.

2. La Soluzione: Il "Genio Universale" (TradeFM)

I ricercatori hanno creato TradeFM, un'intelligenza artificiale gigante (un "modello fondazionale") che funziona come un genio universale del traffico.
Invece di imparare le regole di una sola auto, TradeFM ha "guardato" e studiato miliardi di transazioni di oltre 9.000 azioni diverse contemporaneamente.

L'analogia: Immagina di addestrare un cuoco non su una sola ricetta, ma su milioni di piatti di tutte le cucine del mondo. Alla fine, quel cuoco non sa solo fare la pizza, ma capisce come funziona la cucina in generale: come reagiscono gli ingredienti, come cambia il sapore con il calore, e può creare piatti nuovi che non ha mai visto prima.

3. Il Trucco Magico: La "Traduzione" Universale

Come fa un'IA a capire che un'azione da 100 dollari e una da 1 dollaro sono simili?
Hanno creato un sistema di traduzione universale.

Invece di guardare il prezzo assoluto (es. "100 dollari"), l'IA guarda le proporzioni (es. "quanto è cambiato il prezzo rispetto a ieri?").
È come se, invece di contare i soldi in euro o in dollari, tutti parlassero la stessa lingua: il "percentuale". Questo permette all'IA di imparare schemi che valgono per un'azienda piccola e per una gigante, senza dover essere riaddestrata ogni volta.

4. Cosa Sa Fare Questo "Genio"?

Una volta addestrato, TradeFM può fare cose incredibili:

Simulare il Mercato (Il "Sandbox"): Puoi chiedere all'IA: "Cosa succederebbe se domani tutti vendessero le azioni contemporaneamente?". L'IA non indovina a caso; genera una simulazione realistica di come il mercato reagirebbe, creando un "mondo virtuale" dove i prezzi si muovono esattamente come nella realtà (con picchi improvvisi e momenti di calma).
Prevedere l'Imprevisto: Ha dimostrato di funzionare bene anche su mercati che non ha mai visto prima, come quelli asiatici (Cina e Giappone), pur essendo stato addestrato solo sui dati americani. È come se un cuoco che ha imparato solo la cucina italiana fosse capace di cucinare un ottimo sushi perché ha capito i principi base della freschezza e degli ingredienti.
Creare Dati Finti (ma Reali): Può generare dati di mercato finti che sembrano veri al 100%. Questo è utile per testare strategie di investimento senza rischiare soldi veri, o per proteggere la privacy (invece di condividere dati sensibili reali, si condividono dati finti generati dall'IA).

5. Perché è Importante?

Prima, per testare una nuova strategia di trading, gli investitori dovevano aspettare mesi per vedere se funzionava nella realtà. Con TradeFM, possono:

Fare "Prove Generali": Simulare anni di mercato in pochi secondi.
Stress Test: Vedere cosa succede in scenari catastrofici (es. un crollo improvviso) senza che nessuno perda un centesimo.
Creare Agenti Intelligenti: Addestrare robot trader che imparano a muoversi in questo mondo simulato prima di entrare nella borsa reale.

In Sintesi

TradeFM è come un simulatore di volo per il mercato azionario. Invece di insegnare a un pilota le regole di un solo aeroporto, gli ha fatto volare su tutti gli aeroporti del mondo, insegnandogli a gestire il vento, la pioggia e il traffico aereo in modo universale. Ora, questo "pilota AI" può prevedere tempeste finanziarie, creare scenari di prova sicuri e aiutarci a capire meglio come funziona l'economia globale, tutto partendo dall'osservazione di miliardi di piccoli scambi.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema e il Contesto

I mercati finanziari sono sistemi adattivi complessi caratterizzati da dinamiche non stazionarie ad alta frequenza. La sfida fondamentale risiede nella modellazione del flusso degli ordini (order flow), ovvero la sequenza di eventi di acquisto e vendita.

Eterogeneità: Le proprietà statistiche dei dati di trading variano drasticamente tra diversi asset, regimi di liquidità e periodi temporali.
Osservabilità Parziale: A differenza dei modelli precedenti che richiedono la visione completa del libro degli ordini (Limit Order Book - LOB), ogni partecipante reale osserva solo un flusso parziale di eventi (es. esecuzioni, cancellazioni).
Limiti dei Modelli Esistenti: I modelli stocastici classici (come i processi di Hawkes) si basano su assunzioni parametriche rigide che non catturano la natura "a coda pesante" dei rendimenti. I modelli di deep learning esistenti sono spesso specifici per singolo asset o richiedono dati completi del LOB, limitando la loro capacità di generalizzazione universale.

L'obiettivo è sviluppare un modello fondazionale generativo in grado di apprendere una rappresentazione universale delle dinamiche di mercato direttamente da dati grezzi, eterogenei e parzialmente osservabili, senza necessità di calibrazione specifica per ogni asset.

2. Metodologia

TradeFM è un modello Transformer generativo (decoder-only) con 524 milioni di parametri, pre-addestrato su oltre 10 miliardi di token derivanti da più di 9.000 azioni statunitensi.

A. Rappresentazione e Ingegneria delle Feature

Per gestire l'eterogeneità dei dati, gli autori hanno sviluppato un approccio invariante alla scala:

Stima del Prezzo Medio (Mid-Price): Poiché il prezzo medio reale non è osservabile direttamente, viene stimato utilizzando un VWAP a pesi esponenziali (EW-VWAP), che tiene conto sia del volume che della recenza delle transazioni.
Feature Invarianti alla Scala: Invece di usare valori assoluti (es. dollari, secondi), le feature vengono normalizzate:
- Volume: Trasformazione logaritmica per gestire la distribuzione a legge di potenza.
- Profondità del Prezzo: Normalizzata rispetto al prezzo medio stimato (in basis points).
- Tempo Inter-arrivo: Tempo cronologico tra eventi.
- Livello Relativo: Prezzo corrente rispetto all'apertura della giornata.
  Queste trasformazioni garantiscono che le distribuzioni siano omogenee tra asset con prezzi e liquidità molto diversi.

B. Tokenizzazione Universale

Il flusso di eventi multivariato (tempo, prezzo, volume, azione, lato) viene mappato in una sequenza discreta univoca:

Binning Ibrido: Le feature continue vengono discretizzate utilizzando Equal-Frequency Binning (quantili) per le feature simmetriche e piccate (prezzo) e Equal-Width Binning logaritmico per feature a ampio dinamico (volume, tempo).
Composizione del Token: Gli indici dei bin delle diverse feature vengono combinati in un singolo intero composito ( $i_{trade}$ ) utilizzando un sistema di numerazione a base mista. Questo crea un vocabolario di circa 16.384 token prevedibili.
Contesto: Il modello riceve anche feature contestuali non prevedibili (indice di liquidità, indicatore di livello di mercato vs partecipante, variazione di prezzo) per condizionare la generazione.

C. Simulatore di Mercato a Ciclo Chiuso

Per valutare la realtà delle generazioni, è stato integrato un simulatore deterministico del mercato:

TradeFM predice il prossimo token di evento.
Il simulatore esegue l'ordine sul libro degli ordini (LOB) simulato secondo regole di priorità prezzo-tempo.
Lo stato aggiornato del mercato (nuovo prezzo medio, spread) viene calcolato e reinserito nel modello come contesto per il passo successivo.
Questo crea un ciclo di feedback che permette di studiare effetti di secondo ordine come l'impatto dei prezzi.

3. Contributi Chiave

TradeFM: Il primo modello fondazionale generativo su larga scala per la microstruttura di mercato, capace di apprendere dinamiche unificate da miliardi di transazioni su migliaia di asset.
Apprendimento da Osservazioni Parziali: A differenza di approcci precedenti, il modello apprende dal flusso di eventi disponibile a un singolo partecipante (livello 3), senza richiedere la visione completa del libro degli ordini.
Rappresentazione Invariante alla Scala: Una metodologia end-to-end che permette a un singolo modello di generalizzare su asset diversi e regimi di liquidità senza calibrazione specifica, basandosi su principi universali di formazione dei prezzi.
Simulazione a Ciclo Chiuso: Un ambiente di valutazione ad alta fedeltà che combina il modello generativo con un motore di esecuzione deterministico per testare la realismo statistico e l'impatto di mercato.

4. Risultati Sperimentali

Il modello è stato valutato su tre fronti principali:

Riproduzione dei "Fatti Stilizzati" (Stylized Facts):
- TradeFM riproduce con successo le proprietà statistiche fondamentali dei rendimenti finanziari: code pesanti (heavy tails), clusterizzazione della volatilità (autocorrelazione dei rendimenti assoluti) e assenza di autocorrelazione nei rendimenti (a lag superiori).
- Supera i baseline (Processo di Hawkes Composto e agenti Zero-Intelligence) con un errore distribuzionale (distanza di Kolmogorov-Smirnov e Wasserstein) 2-3 volte inferiore.
Fedeltà Quantitativa:
- Il flusso di ordini generato corrisponde strettamente ai dati reali in termini di volumi, tempi inter-arrivo e squilibrio del libro degli ordini.
- L'unico punto debole relativo è lo spread bid-ask, dove il modello Hawkes performa leggermente meglio perché modella esplicitamente la dinamica di arrivo, mentre per TradeFM lo spread emerge indirettamente dalla logica di matching.
Generalizzazione Zero-Shot:
- Addestrato esclusivamente su azioni USA, il modello generalizza zero-shot a mercati geograficamente fuori distribuzione (APAC: Cina e Giappone), nonostante differenze strutturali significative (es. limiti di prezzo giornalieri in Cina, meccanismi di asta in Giappone).
- La degradazione della perplexità è moderata, dimostrando che le rappresentazioni invarianti alla scala catturano principi universali.
Controllabilità:
- Il modello risponde coerentemente ai token di condizionamento, generando flussi di ordini con volatilità e densità diverse in base al regime di liquidità e al livello di osservazione (mercato vs partecipante).

5. Significato e Implicazioni

TradeFM rappresenta un passo significativo verso l'uso dell'IA generativa nella finanza quantitativa:

Generazione di Dati Sintetici: Permette di creare dati di mercato realistici e privi di privacy per asset illiquidi o per testare strategie di trading senza rischiare l'overfitting su un singolo percorso storico.
Stress Testing: Il sistema a ciclo chiuso consente di simulare scenari controfattuali (es. iniezione di ordini anomali) per valutare la stabilità del mercato e i rischi sistemici.
Agenti di Trading: Fornisce un ambiente di addestramento realistico per agenti di Reinforcement Learning (RL) che devono imparare strategie di esecuzione ottimale interagendo con un mercato simulato reattivo.

In sintesi, il paper dimostra che le rappresentazioni invarianti alla scala, combinate con modelli Transformer su larga scala, possono catturare la struttura trasferibile della microstruttura di mercato, aprendo la strada a nuove applicazioni nella simulazione e nel trading algoritmico.