The Inference-Compute Frontier and a Latency-Efficient Architecture for Limit Order Book Prediction

Resumo Técnico: A Fronteira de Computação de Inferência e uma Arquitetura Eficiente em Latência para Predição de Livro de Ofertas Limitadas

Definição do Problema
A predição de livros de ofertas limitadas (LOB - Limit Order Book) exige modelos que sejam não apenas precisos, mas também rápidos o suficiente para agir sobre sinais de curto horizonte antes que os estados de mercado mudem. Embora as leis de escala (scaling laws) em outros domínios sugiram uma relação previsível entre a escala do modelo (computação) e o desempenho, não está claro se tal fronteira existe na predição de LOB, dada a heterogeneidade dos preditores, a natureza estruturada dos inputs de mercado e a importância crítica da latência de inferência sobre a contagem de parâmetros. O artigo investiga se uma "fronteira de computação de inferência" no estilo das leis de escala existe para a predição de LOB e se a computação estrutural é um proxy suficiente para a restrição prática de latência.

Metodologia
O estudo utiliza o benchmark FI-2010 através de duas "vias" experimentais:

1. Via de Escala (Scaling Lane): Utiliza recursos LOB40 brutos e entropia cruzada de teste para analisar a relação entre o trabalho de avanço estrutural e a perda preditiva.
2. Via de Implementação (Deployment Lane): Utiliza o conjunto completo de 144 recursos, pontuações macro-F1 e latência de lote único (batch-one) medida para avaliar a eficiência prática de implementação.

Componentes Principais:

• Trabalho de Avanço Estrutural (Structural Forward Work): Uma contagem de operações ao nível de arquitetura reproduzível (ex: comparações divididas para árvores, produtos escalares para convoluções, multiplicações de matrizes para MLPs) derivada de hiperparâmetros. Isso serve como uma coordenada de capacidade distinta da latência específica de hardware.
• Pools de Modelos:
  • Pool de Ajuste (Fit Pool): Um conjunto heterogêneo de 56 configurações não-MLPLOB (árvores de decisão, histogram gradient boosting, CatBoost, modelos logísticos de convolução aleatória) usado para estabelecer a fronteira empírica.
  • Pool Alvo (Target Pool): Arquiteturas MLPLOB (W64, W128, W256) excluídas do ajuste inicial para testar a extrapolação.
• Ajuste da Fronteira (Frontier Fitting): Os autores ajustam uma lei de potência ($L(C) = L_\infty + AC^{-\alpha}$) à envoltória inferior da entropia cruzada de teste versus o trabalho estrutural.
• Análise de Latência: A latência de observação única medida em CPU é comparada com o trabalho estrutural para determinar se a latência é meramente computação ruidosa ou uma coordenada de design distinta.
• Arquitetura FastBiNLOB: Um novo misturador (mixer) de LOB denso e separável por eixos, projetado para minimizar a latência. Ele substitui mecanismos de atenção (projeções Q/K/V, softmax) por MLPs temporais e de características densas, utilizando normalização do tipo BiN e blocos residuais separáveis por eixos.

Principais Resultados

1. Existência de uma Fronteira de Computação de Inferência: Uma relação de lei de potência resume bem a fronteira empírica realizada de perda preditiva versus trabalho de avanço estrutural.
   • Quando as arquiteturas MLPLOB são mantidas fora do ajuste, o ajuste de lei de potência para a fronteira de baixo e médio computação dos modelos não-MLPLOB extrapola através de múltiplas ordens de magnitude para os alvos MLPLOB de alta computação, alcançando um $R^2 = 0,941$ na fronteira do alvo excluído.
   • As variantes MLPLOB W64 e W128 situam-se sobre ou perto desta fronteira ($R^2 = 0,948$ para o subconjunto), enquanto a variante W256 é dominada (usando mais trabalho sem melhorar a perda), validando a capacidade da fronteira em distinguir o escalonamento eficiente do ineficiente.
2. A Latência é Distinta da Computação: Substituir o trabalho estrutural pela latência medida resulta em um ajuste significativamente mais fraco ($R^2 = 0,468$) e reordena as famílias de modelos. Por exemplo, modelos CatBoost possuem alto trabalho estrutural, mas baixa latência, enquanto modelos MLPLOB possuem enorme trabalho estrutural, mas latência competitiva devido à eficiência de hardware. Isso confirma que a latência não é meramente "computação ruidosa", mas um alvo de design separado que depende da implementação e do hardware.
3. Desempenho do FastBiNLOB:
   • Latência: A variante H96 atinge o alvo de macro-F1 $y_{10}$ publicado com aproximadamente 23% menos latência que o âncora MLPLOB. A variante de decaimento (taper) H120 atinge o alvo $y_{100}$ com aproximadamente 60% menos latência que o âncora TLOB.
   • Acurácia: Sob as configurações de comparação publicadas, a variante de decaimento H120 apresenta pontuações de macro-F1 de estado da arte (SOTA) nos horizontes $y_{10}$ e $y_{100}$, embora não supere os baselines em $y_{20}$ e $y_{50}$.

Significância e Alegações
O artigo apresenta duas contribuições primárias:

1. Validação da Fronteira Empírica: Fornece evidências de que o trabalho de avanço estrutural é uma coordenada útil e estável para definir uma fronteira de computação de inferência entre diversos preditores de LOB no FI-2010. A extrapolação bem-sucedida para as famílias MLPLOB excluídas sugere uma regularidade em como a computação se traduz em perda neste domínio.
2. Design Eficiente em Latência: Demonstra que maximizar a computação não garante baixa latência. Ao tratar a latência como um objetivo separado, os autores introduzem o FastBiNLOB, uma arquitetura que preserva a computação útil (mistura densa) enquanto remove operações pesadas de latência (atenção).

Os autores concluem que a capacidade do modelo e a latência de serviço devem ser otimizadas como objetos separados. As leis de escala podem identificar se a computação útil existe, mas não preveem quão barata essa computação pode ser servida. A implicação prática é que a modelagem eficiente de LOB requer o design de arquiteturas onde a computação reside em operadores densos e amigáveis ao hardware, em vez de simplesmente aumentar a contagem de parâmetros ou usar mecanismos pesados de atenção.

Limitações e Escopo
Os autores declaram explicitamente que estas alegações são empíricas e finitas, não sendo teoremas sobre risco de Bayes ou otimalidade em todos os mercados. O "trabalho de avanço estrutural" é uma convenção, não uma contagem de instruções de hardware, embora os resultados permaneçam robustos sob perturbações de 2x desta contagem. Além disso, as vias de escala e de implementação utilizam diferentes conjuntos de recursos e não devem ser confundidos. Os resultados do FastBiNLOB são apresentados como um resultado de "receita-mais-arquitetura", reconhecendo que o desempenho de latência depende de detalhes específicos de hardware e implementação.