Sintesi Tecnica: MARKET-BENCH

Problema

Il campo del trading quantitativo opera in un ambiente ad alto rischio dove le allucinazioni dei modelli o gli input incompleti possono causare perdite finanziarie significative. Mentre le attuali valutazioni dei Large Language Models (LLM) in ambito finanziario si concentrano su compiti di alto livello — come la sintesi di call sugli utili, l'analisi del sentiment o la modellazione fondamentale — esiste una lacuna critica nella valutazione della capacità dei modelli di assistere i trader nei compiti operativi quotidiani. Nello specifico, i benchmark esistenti non valutano se un LLM sia in grado di comprendere e applicare concetti di trading fondamentali (ad esempio, esecuzione degli ordini, gestione dell'inventario, gestione del rischio) per costruire un backtester funzionale ed eseguibile partendo da una descrizione in linguaggio naturale. Il problema centrale affrontato è l'incapacità degli attuali LLM di tradurre in modo affidabile le descrizioni delle strategie in codice che produca simulazioni di trading numericamente accurate e strutturalmente solide.

Metodologia

Gli autori introducono MARKET-BENCH, un benchmark progettato per valutare gli LLM su compiti introduttivi di trading quantitativo. Il framework di valutazione richiede ai modelli di generare codice Python eseguibile che simuli strategie di trading basate su descrizioni in linguaggio naturale e dati di mercato forniti.

Design del Benchmark

Il benchmark consiste in tre strategie canoniche, ognuna delle quali cattura aspetti distinti della dinamica di mercato:

1. Trading Programmato (Strategia 1): Una strategia su un singolo asset su Microsoft (MSFT) che prevede ordini di mercato a timestamp predefiniti. Testa l'interazione con l'order book, il tracciamento della posizione, la contabilità FIFO per il P&L realizzato e il P&L non realizzato basato sui prezzi mid.
2. Pairs Trading (Strategia 2): Una strategia di mean-reversion tra Coca-Cola (KO) e Pepsi (PEP). Richiede il calcolo degli z-score dello spread, la gestione del capitale congiunto su due simboli e l'esecuzione della logica di ingresso/uscita basata sul superamento delle soglie.
3. Delta Hedging (Strategia 3): Una strategia di opzioni su MSFT in cui il modello deve coprire una serie temporale di delta delle opzioni predefinita utilizzando l'azione sottostante. Questo testa la gestione degli ordini fill-or-kill, i ritardi di scambio e l'aggregazione del delta netto.

Dati e Simulazione

• Fonti dei Dati: I dati di mercato derivano da Databento (dati L10 order book) o sono generati sinteticamente (random walk per il delta delle opzioni).
• Synthetic Book: Un componente critico del benchmark è il requisito che i modelli traccino la liquidità rimossa dal book. I modelli devono mantenere un "synthetic book" che compensi i dati grezzi dell'order book con la liquidità consumata per garantire un tracciamento accurato di prezzo e volume.
• Protocollo di Valutazione:
  • Ogni strategia è testata attraverso 5 round distinti (diverse configurazioni di parametri e seed di dati), per un totale di 15 combinazioni per modello.
  • Ai modelli sono concessi fino a 3 tentativi indipendenti di tipo "one-shot" per ogni round.
  • Temperatura: Impostata a 0.0 per garantire la determinazione.
  • Vincoli: Un limite temporale di 10 minuti e un set ristretto di pacchetti Python consentiti (ad es. pandas, numpy, datetime).

Metriche

La valutazione separa la affidabilità strutturale dalla accuratezza numerica:

• Executable Passes: Conta il numero di round in cui il modello genera con successo codice che viene eseguito senza errori di sintassi o assertion di runtime.
• Mean Absolute Error (MAE): Misura la deviazione tra le metriche in uscita del modello (P&L totale, max drawdown, percorsi della posizione) e un'implementazione di riferimento verificabile.
  • Gestione dei Fallimenti: Se un modello fallisce l'esecuzione, gli viene assegnato un "baseline MAE duplicato-metriche", calcolato ripetendo le metriche dello stato iniziale per tutti i timestamp. Questo penalizza pesantemente gli output non eseguibili.
• Aggregazione: I modelli sono classificati in base al Mean MAE (media di tutti i round, inclusi i fallimenti), Best Run MAE (il più basso errore raggiunto in un singolo round) e totali Executable Passes.

Risultati Chiave

Lo studio ha valutato 13 modelli allo stato dell'arte, inclusi varianti di GPT-5, Claude 4.5, Gemini 3 Pro e modelli open-source come Qwen3 e Llama 4.

Tendenze delle Prestazioni

1. Affidabilità vs Accuratezza: Esiste una divergenza significativa tra la capacità di un modello di produrre codice funzionante e la sua capacità di produrre codice corretto.
   • GPT-5.2 ha dimostrato una forte performance complessiva, raggiungendo un'eseguibilità perfetta (15/15 round) con un basso MAE complessivo (969.39).
   • Qwen3 Max ha raggiunto un'eseguibilità perfetta (15/15) ma ha sofferto di una divergenza numerica catastrofica, in particolare nella Strategia 2, risultando in un MAE complessivo di circa 1.59 × 10⁸.
   • GPT-5.1 Codex-Max ha ottenuto l'errore singolo più basso (0.002 MAE) sulla Strategia 1, ma ha mostrato un'alta varianza tra i round.
2. Difficoltà della Strategia:
   • Strategia 1 (Singolo Titolo): Il compito più semplice. La maggior parte dei modelli (media 4.08/5 round) è riuscita nell'esecuzione, sebbene gli errori numerici varino di ordini di grandezza.
   • Strategia 2 (Pairs): Più impegnativa dal punto di vista strutturale. Gli Executable Passes medi sono scesi a 3.46. I modelli hanno avuto difficoltà con il calcolo dello z-score e la gestione del capitale multi-asset.
   • Strategia 3 (Delta Hedging): La più complessa. Gli Executable Passes medi sono scesi a 3.38. Gli errori nell'aggregazione del delta e nella tempistica hanno portato a enormi discrepanze nel P&L.
3. Modalità di Fallimento:
   • Fallimenti Strutturali: Errori di sintassi, colonne mancanti o discrepanze di tipo che impediscono l'esecuzione.
   • Fallimenti Semantici: Il codice viene eseguito ma implementa la logica in modo errato (ad es. rapporti di copertura errati, contabilità FIFO errata, ignoranza dei vincoli di capitale). Ciò produce un MAE elevato nonostante l'esecuzione avvenuta con successo.

Contributi Chiave

• Benchmark MARKET-BENCH: Una nuova suite di valutazione che mira specificamente all'intersezione tra generazione di codice e finanza quantitativa, andando oltre l'analisi finanziaria basata sul testo verso l'implementazione di strategie eseguibili.
• Valutazione Multi-Round e Multi-Metrica: Un protocollo rigoroso che distingue tra codice che gira e codice che funziona, utilizzando una penalità di baseline per gli output non eseguibili per riflettere la gravità del fallimento nei contesti di trading.
• Simulazione di Synthetic Book: L'introduzione di un meccanismo che richiede ai modelli di tracciare il consumo di liquidità e mantenere order book sintetici, un vincolo del mondo reale critico spesso omesso nei benchmark di generazione di codice.

Significato e Rivendicazioni

Il documento conclude che, sebbene gli attuali LLM possano fornire l'impalcatura per basi di trading elementari, essi faticano a ragionare in modo robusto su prezzi, inventario e rischio.

• Limitazioni Attuali: Gli autori affermano che utilizzare l'output del modello come sostituto diretto degli analisti quantitativi è "estremamente rischioso". Anche per compiti introduttivi, i modelli non riescono a implementare costantemente strategie di base con fedeltà numerica.
• Ruolo degli LLM: Il documento suggerisce che gli attuali modelli siano più adatti come "supporti alla codifica" piuttosto che come agenti autonomi per la sintesi di idee di trading.
• Prospettive Future: Gli autori ipotizzano che, con un migliore addestramento sui dati di trading e capacità di ragionamento migliorate, i modelli possano eventualmente colmare il divario tra la descrizione delle strategie e la loro implementazione con una profonda comprensione delle dinamiche di mercato. Tuttavia, alla data dello studio, il divario rimane sostanziale.

Gli autori rilasciano il benchmark e una classifica pubblica per facilitare la ricerca futura in questo dominio.