The Inference-Compute Frontier and a Latency-Efficient Architecture for Limit Order Book Prediction

Sintesi Tecnica: La Frontiera dell'Inference-Compute e un'Architettura a Bassa Latenza per la Predizione del Limit Order Book

Problema
La predizione del limit order book (LOB) richiede modelli che non siano solo accurati, ma anche abbastanza veloci da agire su segnali a breve orizzonte prima che gli stati di mercato cambino. Sebbene le leggi di scala (scaling laws) in altri domini suggeriscano una relazione prevedibile tra la scala del modello (compute) e le prestazioni, non è chiaro se esista una simile frontiera di "inference-compute" nella predizione LOB, data l'eterogeneità dei predittori, la natura strutturata degli input di mercato e l'importanza critica della latenza di inferenza rispetto al numero di parametri. Il documento indaga se esista una frontiera "inference-compute" in stile scaling law per la predizione LOB e se il compute strutturale sia un proxy sufficiente per il vincolo pratico della latenza.

Metodologia
Lo studio utilizza il benchmark FI-2010 attraverso due "corsie" sperimentali:

1. Corsia di Scaling (Scaling Lane): Utilizza le feature LOB40 grezze e la cross-entropy di test per analizzare la relazione tra il lavoro forward strutturale e la perdita predittiva.
2. Corsia di Deployment (Deployment Lane): Utilizza il set completo di 144 feature, i punteggi macro-F1 e la latenza misurata in batch-one per valutare l'efficienza pratica di deployment.

Componenti Chiave:

• Lavoro Forward Strutturale (Structural Forward Work): Un conteggio di operazioni a livello di architettura riproducibile (ad es., confronti di split per gli alberi, dot product per le convoluzioni, moltiplicazioni di matrici per gli MLP) derivato dagli iperparametri. Questo funge da coordinata di capacità distinta dalla latenza specifica dell'hardware.
• Pool di Modelli (Model Pools):
  • Fit Pool: Un insieme eterogeneo di 56 configurazioni non-MLPLOB (alberi decisionali, istogrammi di gradient boosting, CatBoost, modelli logistici a convoluzione casuale) utilizzati per stabilire la frontiera empirica.
  • Target Pool: Architetture MLPLOB (W64, W128, W256) escluse dal fit iniziale per testare l'estrapolazione.
• Fitting della Frontiera (Frontier Fitting): Gli autori applicano una legge di potenza ($L(C) = L_\infty + AC^{-\alpha}$) all'inviluppo inferiore della cross-entropy di test rispetto al lavoro strutturale.
• Analisi della Latenza: La latenza a singola osservazione misurata su CPU viene confrontata con il lavoro strutturale per determinare se la latenza sia semplicemente un "compute rumoroso" o un coordinata di design distinto.
• Architettura FastBiNLOB: Un nuovo mixer LOB denso e separabile per assi, progettato per minimizzare la latenza. Sostituisce i meccanismi di attenzione (proiezioni Q/K/V, softmax) con MLP temporali e di feature densi, utilizzando la normalizzazione in stile BiN e blocchi residui separabili per assi.

Risultati Chiave

1. Esistenza di una Frontiera di Inference-Compute: Una relazione di legge di potenza riassume bene la frontiera empirica realizzata della perdita predittiva rispetto al lavoro forward strutturale.
   • Quando le architetture MLPLOB vengono tenute fuori, il fit della legge di potenza alla frontiera a bassa e media computazione (non-MLPLOB) si estrapola attraverso diversi ordini di grandezza fino ai target MLPLOB ad alta computazione, raggiungendo un $R^2 = 0,941$ sulla frontiera dei target esclusi.
   • Le varianti MLPLOB W64 e W128 giacciono sulla frontiera o vicino ad essa ($R^2 = 0,948$ per il subset), mentre la variante W256 è dominata (utilizza più lavoro senza migliorare la perdita), validando la capacità della frontiera di distinguere tra scaling efficiente e inefficiente.
2. La Latenza è Distinta dal Compute: Sostituire il lavoro strutturale con la latenza misurata produce un fit significativamente più debole ($R^2 = 0,468$) e riordina le famiglie di modelli. Ad esempio, i modelli CatBoost hanno un alto lavoro strutturale ma bassa latenza, mentre i modelli MLPLOB hanno un enorme lavoro strutturale ma latenza competitiva grazie all'efficienza dell'hardware. Ciò conferma che la latenza non è semplicemente "compute rumoroso", ma un obiettivo di design separato che dipende dall'implementazione e dall'hardware.
3. Performance di FastBiNLOB:
   • Latenza: La variante H96 raggiunge il target macro-F1 pubblicato per $y_{10}$ con una latenza inferiore di circa il 23% rispetto all'ancora MLPLOB. La variante taper H120 raggiunge il target $y_{100}$ con una latenza inferiore di circa il 60% rispetto all'ancora TLOB.
   • Accuratezza: Sotto le impostazioni di confronto pubblicate, la variante taper H120 registra punteggi macro-F1 allo stato dell'arte (SOTA) sugli orizzonti $y_{10}$ e $y_{100}$, sebbene non superi i baseline su $y_{20}$ e $y_{50}$.

Significatività e Claim
Il documento presenta due contributi primari:

1. Validazione della Frontiera Empirica: Fornisce prove che il lavoro forward strutturale è una coordinata utile e stabile per definire una frontiera di inference-compute tra eterogenei predittori LOB su FI-2010. L'estrapolazione riuscita alle famiglie MLPLOB escluse suggerisce una regolarità nel modo in cui il compute si traduce in perdita in questo dominio.
2. Design a Bassa Latenza: Dimostra che massimizzare il compute non garantisce una bassa latenza. Trattando la latenza come un obiettivo separato, gli autori introducono FastBiNLOB, un'architettura che preserva la computazione utile (mixing denso) eliminando al contempo le operazioni pesanti in termini di latenza (attenzione).

Gli autori concludono che la capacità del modello e la latenza di servizio dovrebbero essere ottimizzate come oggetti separati. Le leggi di scala possono identificare se esiste una computazione utile, ma non possono predire quanto economicamente tale computazione possa essere servita. L'implicazione pratica è che la modellazione LOB efficiente richiede la progettazione di architetture in cui la computazione risieda in operatori densi e compatibili con l'hardware, piuttosto che nel semplice aumento del numero di parametri o nell'uso di meccanismi pesanti in termini di attenzione.

Limitazioni e Ambito
Gli autori dichiarano esplicitamente che tali affermazioni sono empiriche e finite, non teoremi riguardanti il rischio di Bayes o l'ottimalità in tutti i mercati. Il "lavoro forward strutturale" è una convenzione, non un conteggio di istruzioni hardware, sebbene i risultati rimangano robusti sotto perturbazioni del doppio di tale conteggio. Inoltre, le corsie di scaling e di deployment utilizzano diversi set di feature e non dovrebbero essere confuse. I risultati di FastBiNLOB sono presentati come un esito di tipo "ricetta-più-architettura", riconoscendo che le prestazioni di latenza dipendono da dettagli specifici di hardware e implementazione.