Do LLMs Understand Limit Order Book Dynamics?

Nel frenetico mondo della finanza moderna, i mercati non sono guidati esclusivamente dall'intuizione umana o da ampi trend economici, ma da un flusso costante e ad alta velocità di istruzioni digitali. Al cuore di molti di questi mercati risiede un meccanismo chiamato libro ordini limitati (limit order book). Immaginate un registro digitale dove compratori e venditori si mettono in fila, ciascuno indicando il prezzo specifico che è disposto a pagare o ad accettare e la quantità di azioni che desidera scambiare. Questo registro non è statico; è un record vivo e pulsante che cambia ogni volta che arriva un nuovo ordine, un ordine esistente viene eseguito o un partecipante decide di annullare la propria offerta. Le regole che governano questo registro sono rigide e logiche: un acquirente non può acquistare un'azione a un prezzo inferiore al prezzo più basso richiesto da un venditore, e un venditore non può vendere a un prezzo superiore al più alto offerto da un acquirente. Per decenni, trader e matematici hanno costruito modelli complessi per prevedere come questo registro evolverà, cercando di anticipare la mossa successiva in questa intricata danza di domanda e offerta.

Recentemente, un nuovo tipo di intelligenza artificiale, noto come modello linguistico di grandi dimensioni (large language model), ha iniziato a essere applicato a questi enigmi finanziari. Questi modelli vengono tipicamente addestrati su enormi quantità di testo per apprendere i pattern del linguaggio, ma i ricercatori hanno iniziato ad addestrarli su sequenze di eventi di mercato. La speranza è che, se un modello può imparare a generare sequenze valide di ordini di mercato — simulando correttamente come un mercato si muove da uno stato all'altro — esso abbia realmente compreso la meccanica sottostante del mercato. Ciò solleva una domanda profonda: se una macchina può scrivere una storia perfetta su come si muove un mercato, comprende davvero la storia, o sta solo imitando la sintassi? Un team di ricercatori della Columbia Business School si è posto l'obiettivo di rispondere a questo quesito, testando se queste intelligenze artificiali possiedano un vero "modello del mondo" dei mercati finanziari o se siano solo dei sofisticati pappagalli.

I ricercatori hanno iniziato creando una versione semplificata e simulata di un libro ordini limitati. In questo sandbox digitale, hanno definito un insieme fisso di livelli di prezzo e regole su come gli ordini potessero essere inseriti, eseguiti o cancellati. Hanno poi addestrato un modello linguistico di grandi dimensioni da zero utilizzando dati generati da questa simulazione. Il processo di addestramento è stato rigoroso: al modello veniva fornito uno stato iniziale del mercato e uno stato target, e gli veniva chiesto di generare una sequenza di eventi che spostasse il mercato dallo stato iniziale a quello finale senza violare alcuna regola. Il modello eccelleva in questo compito. Quando gli veniva chiesto di produrre una sequenza di scambi, riusciva quasi sempre a creare un percorso valido, evitando mosse impossibili come vendere un'azione inesistente o eseguire un ordine a un prezzo che viola le regole del mercato. Per un osservatore occasionale, il modello sembrava aver padroneggiato la logica del mercato.

Tuttavia, i ricercatori sospettavano che il successo del modello fosse superficiale. Volevano sapere se il modello comprendesse davvero lo stato attuale del mercato o se si stesse semplicemente basando sulla cronologia di come vi era giunto. In un mercato reale, l'evoluzione futura del libro ordini dipende interamente dal suo stato attuale; il percorso seguito per raggiungere quello stato non dovrebbe contare. Questo è un principio fondamentale noto come proprietà di Markov. Per testare se il modello rispettasse questo principio, i ricercatori hanno progettato una serie di esperimenti che andavano oltre il semplice rispetto delle regole. Chiesero al modello di prevedere cosa sarebbe successo dopo, non solo di generare una sequenza valida, ma di prevedere le probabilità di eventi futuri.

I risultati hanno rivelato un significativo difetto nella comprensione del modello. Sebbene il modello potesse generare sequenze valide, la sua visione interna del mercato era distorta e incompleta. Quando i ricercatori hanno esaminato le previsioni del modello, hanno scoperto che esso assegnava costantemente probabilità errate agli eventi futuri. Ad esempio, il modello sovrastimava la probabilità di un ordine di cancellazione a un determinato prezzo, anche quando la vera probabilità matematica era molto più bassa. Ancora più preoccupante, le sue previsioni erano influenzate dalla cronologia degli eventi che avevano portato allo stato attuale, nonostante tale cronologia dovesse essere irrilevante. Se il mercato era arrivato a uno specifico stato attraverso due percorsi diversi, un modello con una comprensione corretta avrebbe previsto esattamente lo stesso futuro per entrambi. L'intelligenza artificiale, invece, forniva previsioni diverse a seconda del percorso intrapreso, suggerendo che si stesse aggrappando a dettagli passati privi di potere predittivo.

Per quantificare questo errore, i ricercatori hanno sviluppato nuovi test che misuravano la distanza tra le previsioni del modello e la vera realtà matematica del mercato simulato. Scoprirono che, man mano che il modello guardava più lontano nel futuro, i suoi errori aumentavano. Il modello sembrava convinto di poter trovare pattern nel passato che non esistevano, un fenomeno noto come prevedibilità spuria. Era come se il modello fosse convinto che una serie di ordini di acquisto passati rendesse più probabile un futuro ordine di vendita, anche quando lo stato attuale del mercato non offriva alcun motivo per un simile cambiamento. Questo bias non era un piccolo glitch; era un fallimento sistematico nel comprendere la dinamica centrale del sistema. Il modello aveva imparato la grammatica del mercato, ma aveva fallito nell'apprendere la sua fisica.

I ricercatori hanno anche testato se questi problemi fossero specifici della loro piccola e semplice simulazione o se sarebbero persistiti in ambienti più complessi. Ripetere gli esperimenti con libri ordini più grandi, dotati di più livelli di prezzo e maggiore liquidità. I risultati sono stati coerenti: all'aumentare della complessità del mercato, la capacità del modello di mantenere una corretta rappresentazione interna dello stato in realtà peggiorava. Il modello continuava a generare sequenze valide, ma le sue previsioni diventavano ancora più inaffidabili. Ciò suggerisce che il semplice addestramento del modello su più dati o l'ingrandimento della simulazione di mercato non risolveranno il problema fondamentale. L'architettura del modello, così come esiste, fatica ad astrarre lo stato attuale del sistema dal rumore della sua storia.

Queste scoperte portano con sé importanti implicazioni per l'uso dell'intelligenza artificiale nella finanza. Lo studio dimostra che la capacità di un modello di generare output validi non è una prova sufficiente della sua comprensione del sistema che sta simulando. Nel contesto dei mercati finanziari, dove la previsione accurata è critica, un modello che trova pattern dove non esistono potrebbe portare a errori costosi. I ricercatori concludono che, sebbene i modelli linguistici di grandi dimensioni mostrino potenziale nel comprendere le regole di un sistema, essi attualmente mancano della profonda comprensione implicita della dinamica stocastica necessaria per una previsione affidabile. Finché questi modelli non potranno essere addestrati per interiorizzare veramente lo stato del mondo che stanno simulando, piuttosto che la sola sequenza di eventi che lo ha generato, le loro previsioni nei mercati complessi del mondo reale rimarranno sospette. La strada da seguire richiede nuovi metodi di addestramento e dataset più ampi, ma la sfida centrale rimane: insegnare a una macchina a vedere il mondo per come è, non solo per come lo ricorda.