The Inference-Compute Frontier and a Latency-Efficient Architecture for Limit Order Book Prediction

Technische Samenvatting: De Inference-Compute Frontier en een Latentie-efficiënte Architectuur voor Limit Order Book Voorspelling

Probleemstelling
Voorspelling van het limit order book (LOB) vereist modellen die niet alleen accuraat zijn, maar ook snel genoeg om te kunnen reageren op signalen met een kort tijdsbestek voordat de marktoestanden veranderen. Hoewel schaalwetten (scaling laws) in andere domeinen wijzen op een voorspelbare relatie tussen modelomvang (compute) en prestaties, is het onduidelijk of er een dergelijke frontier bestaat voor LOB-voorspelling, gezien de heterogeniteit van voorspellers, de gestructureerde aard van marktinputs en het cruciale belang van inferentie-latentie boven het aantal parameters. Dit artikel onderzoekt of er een "inference-compute frontier" van het type schaalwet bestaat voor LOB-voorspelling en of structurele compute een voldoende proxy is voor de praktische beperking van latentie.

Methodologie
De studie maakt gebruik van de FI-2010 benchmark via twee experimentele "lanes":

1. Scaling Lane: Gebruikt ruwe LOB40-features en test cross-entropy om de relatie tussen structurele forward work en voorspellend verlies te analyseren.
2. Deployment Lane: Gebruikt de volledige 144-feature set, macro-F1 scores en gemeten batch-one latentie om de praktische implementatie-efficiëntie te evalueren.

Kerncomponenten:

• Structurele Forward Work: Een reproduceerbare, architectuurniveau telling van operaties (bijv. splitsingen in vergelijkingen voor bomen, dot products voor convoluties, matrixvermenigvuldigingen voor MLPs) afgeleid van hyperparameters. Dit dient als een capaciteit-coördinaat die afzonderlijk staat van hardware-specifieke latentie.
• Model Pools:
  • Fit Pool: Een heterogene set van 56 non-MLPLOB configuraties (beslissingsbomen, histogram gradient boosting, CatBoost, random-convolution logistische modellen) gebruikt om de empirische frontier vast te stellen.
  • Target Pool: MLPLOB-architecturen (W64, W128, W256) die uit de initiële fit zijn geëxtraheerd om extrapolatie te testen.
• Frontier Fitting: De auteurs fitten een machtswet ($L(C) = L_\infty + AC^{-\alpha}$) aan de onderste envelop van de test cross-entropy versus structurele work.
• Latentie-analyse: Gemeten single-observation latentie op een CPU wordt vergeleken met structurele work om te bepalen of latentie louter "ruisende compute" is of een afzonderlijke design-coördinaat.
• FastBiNLOB Architectuur: Een nieuwe, dichte, as-gescheiden LOB mixer ontworpen om latentie te minimaliseren. Het vervangt attention-mechanismen (Q/K/V projecties, softmax) door dichte temporele en feature MLPs, gebruikmakend van BiN-stijl normalisatie en residuele as-gescheiden blokken.

Belangrijkste Resultaten

1. Bestaan van een Inference-Compute Frontier: Een machtswet-relatie vat de gerealiseerde empirische frontier van voorspellend verlies versus structurele work goed samen.
   • Wanneer MLPLOB-architecturen buiten beschouwing worden gelaten, extrapoleert de machtswet-fit van de laag- en midden-compute non-MLPLOB naar de hoog-compute MLPLOB-targets over meerdere grootteordes, waarbij een $R^2 = 0,941$ wordt bereikt op de uitgesloten target frontier.
   • De W64 en W128 MLPLOB-varianten liggen op of nabij deze frontier ($R^2 = 0,948$ voor de subset), terwijl de W256-variant wordt gedomineerd (gebruikt meer work zonder het verlies te verbeteren), wat de frontier valideert in het onderscheiden van efficiënte van inefficiënte schaling.
2. Latentie is Onderscheidend van Compute: Het vervangen van structurele work door gemeten latentie levert een significant zwakkere fit op ($R^2 = 0,468$) en herordent modelfamilies. Zo hebben CatBoost-modellen een hoge structurele work maar een lage latentie, terwijl MLPLOB-modellen een enorme structurele work hebben maar concurrerende latentie vanwege hardware-efficiëntie. Dit bevestigt dat latentie niet louter "ruisende compute" is, maar een apart design-doel dat afhankelijk is van implementatie en hardware.
3. FastBiNLOB Prestaties:
   • Latentie: De H96-variant bereikt de gepubliceerde $y_{10}$ macro-F1 target met ~23% lagere latentie dan de MLPLOB-anker. De H120 taper variant bereikt de $y_{100}$ target met ~60% lagere latentie dan de TLOB-anker.
   • Accuratesse: Onder de gepubliceerde vergelijkingsinstellingen behaalt de H120 taper variant state-of-the-art (SOTA) macro-F1 scores op de $y_{10}$ en $y_{100}$ horizonten, hoewel het de baselines op $y_{20}$ en $y_{50}$ niet overtreft.

Betekenis en Claims
Het artikel levert twee primaire bijdragen:

1. Empirische Frontier Validatie: Het levert bewijs dat structurele forward work een nuttige, stabiele coördinaat is voor het definiëren van een inference-compute frontier over heterogene LOB-voorspellers op FI-2010. De succesvolle extrapolatie naar uitgesloten MLPLOB-families suggereert een regelmaat in hoe compute vertaalt naar verlies in dit domein.
2. Latentie-efficiënt Design: Het demonstreert dat het maximaliseren van compute niet garandeert dat de latentie laag is. Door latentie als een apart object te behandelen, introduceren de auteurs FastBiNLOB, een architectuur die nuttige computation (dense mixing) behoudt terwijl het latentie-intensieve operaties (attention) verwijdert.

De auteurs concluderen dat modelcapaciteit en serving-latentie als afzonderlijke objecten geoptimaliseerd moeten worden. Schaalwetten kunnen identificeren of er nuttige computation bestaat, maar zij voorspellen niet hoe goedkoop die computation geserveerd kan worden. De praktische implicatie is dat efficiënte LOB-modellering vereist dat architecturen worden ontworpen waarbij computation resideert in dichte, hardware-vriendelijke operatoren in plaats van simpelweg het aantal parameters te verhogen of attention-zware mechanismen te gebruiken.

Beperkingen en Reikwijdte
De auteurs geven expliciet aan dat deze claims empirisch en eindig zijn, en geen stellingen zijn met betrekking tot Bayes-risico of optimaliteit over alle markten. De "structurele forward work" is een conventie, geen hardware-instructietelling, hoewel de resultaten robuust blijven onder 2x perturbaties van deze telling. Bovendien gebruiken de schaalings- en deployment-lanes verschillende feature sets en mogen deze niet met elkaar verward worden. De FastBiNLOB-resultaten worden gepresenteerd als een "recept-plus-architectuur" uitkomst, waarbij wordt erkend dat de latentieprestaties afhankelijk zijn van specifieke hardware en implementatiedetails.