The Inference-Compute Frontier and a Latency-Efficient Architecture for Limit Order Book Prediction

기술 요약: 추론-연산 프런티어와 한계 주문장(LOB) 예측을 위한 저지연 아키텍처

문제 정의
한계 주문장(LOB) 예측에는 모델이 시장 상태가 변하기 전의 단기 시그널에 대응할 수 있을 만큼 정확할 뿐만 아니라 충분히 빨라야 한다. 다른 도메인의 스케일링 법칙(scaling laws)은 모델 규모(연산량)와 성능 사이의 예측 가능한 관계를 제시하지만, 예측 모델의 이질성, 시장 입력값의 구조적 특성, 그리고 파라미터 수보다 추론 지연 시간(latency)이 결정적으로 중요하다는 점을 고려할 때, LOB 예측에서도 이러한 프런티어가 존재하는지는 불분명하다. 본 논문은 LOB 예측에서 스케일링 법칙 형태의 "추론-연산 프런티어"가 존재하는지, 그리고 구조적 연산량(structural compute)이 실질적인 제약 조건인 지연 시간을 나타내는 충분한 대리 지표(proxy)가 될 수 있는지 조사한다.

방법론
본 연구는 FI-2010 벤치마크를 사용하여 두 가지 실험적 "레인(lane)"을 통해 분석한다:

1. 스케일링 레인(Scaling Lane): 원시 LOB40 피처를 사용하고 테스트 교차 엔트로피(cross-entropy)를 통해 구조적 순방향 작업(structural forward work)과 예측 손실 간의 관계를 분석한다.
2. 배포 레인(Deployment Lane): 전체 144개 피처 세트를 사용하고, macro-F1 점수 및 측정된 배치-1(batch-one) 지연 시간을 사용하여 실질적인 배포 효율성을 평가한다.

핵-구성 요소:

• 구조적 순방향 작업(Structural Forward Work): 하이퍼파라미터로부터 유도된, 재현 가능한 아키텍처 수준의 연산 횟수(예: 트리의 분할 비교, 컨볼루션의 내적, MLP의 행렬 곱셈)이다. 이는 하드웨어 특정적 지연 시간과 구별되는 용량 좌표 역할을 한다.
• 모델 풀(Model Pools):
  • 핏 풀(Fit Pool): 경험적 프런티어를 구축하기 위해 사용된 56개의 비-MLPLOB 구성(결정 트리, 히스토그램 그래디언트 부스팅, CatBoost, 랜덤-컨볼루션 로지스틱 모델)이다.
  • 타겟 풀(Target Pool): 외삽(extrapolation) 테스트를 위해 초기 핏에서 제외된 MLPLOB 아키텍처(W64, W128, W256)이다.
• 프런티어 피팅(Frontier Fitting): 저-및 중급 연산량의 비-MLPLOB 프런티어에 대해 테스트 교차 엔트로피 대비 구조적 순방향 작업의 거듭제곱 법칙($L(C) = L_\infty + AC^{-\alpha}$)을 적합시킨다.
• 지연 시간 분석(Latency Analysis): CPU에서의 단일 관측 지연 시간을 구조적 순방향 작업과 비교하여, 지연 시간이 단순히 노이즈가 섞인 연산량인지 아니면 별개의 설계 좌표인지를 결정한다.
• FastBiNLOB 아키텍처: 지연 시간을 최소화하도록 설계된 새로운 조밀한 축 분리형(axis-separable) LOB 믹서이다. 이는 어텐션 메커니즘(Q/K/V 프로젝션, 소프트맥스)을 밀집된 시간 및 피처 MLP로 대체하며, BiN 스타일의 정규화와 잔차 축 분리 블록(residual axis-separable blocks)을 활용한다.

주요 결과

1. 추론-연산 프런티어의 존재: 거듭제곱 법칙 관계가 구조적 순방향 작업 대비 실현된 경험적 프런티어를 잘 요약한다.
   • MLPLOB 아키텍처가 제외되었을 때, 저-및 중급 연산량의 비-MLPLOB 프런티어에 대한 거듭제곱 법칙 적합은 여러 차수의 규모를 가로질러 고연산 MLPLOB 타겟으로 외삽되었으며, 제외된 타겟 프런티어에 대해 $R^2 = 0.941$을 달성했다.
   • W64 및 W128 MLPLOB 변체들은 이 프런티어 상에 있거나 근처에 위치하는 반면($제외된 부분집합에 대해$R^2 = 0.948$), W256 변체는 (손실을 개선하지 못한 채 더 많은 작업을 사용하며) 지배당하였다. 이는 효율적인 스케일링과 비효율적인 스케일링을 구분하는 프런티어의 능력을 검증한다.
2. 지연 시간은 연산량과 구별됨: 구조적 순방향 작업을 측정된 지연 시간으로 대체하면 적합도가 현저히 낮아지며($R^2 = 0.468$), 모델 패밀리의 순서가 바뀐다. 예를 들어, CatBoost 모델은 구조적 순방향 작업은 높지만 지연 시간은 낮은 반면, MLPLOB 모델은 하드웨어 효율성 덕분에 막대한 구조적 순방향 작업을 수행하면서도 경쟁력 있는 지연 시간을 가진다. 이는 지연 시간이 단순히 "노이즈가 섞인 연산량"이 아니라 구현 및 하드웨어에 의존하는 별개의 설계 목표임을 확인시켜 준다.
3. FastBiNLOB 성능:
   • 지연 시간: H96 변체는 발표된 $y_{10}$ macro-F1 타겟을 MLPLOB 앵커보다 약 23% 낮은 지연 시간으로 달성한다. H120 테이퍼(taper) 변체는 $y_{100}$ 타겟을 TLOB 앵커보다 약 60% 낮은 지연 시간으로 달성한다.
   • 정확도: 발표된 비교 설정 하에서, H120 테이퍼 변체는 $y_{10}$ 및 $y_{100}$ 호라이즌에서 최첨단(SOTA) macro-F1 점수를 기록했으나, $y_{20}$ 및 $y_{50}$에서는 베이스라인을 능가하지 못했다.

의의 및 주장
본 논문은 두 가지 주요 기여를 한다:

1. 경험적 프런티어 검증: FI-2010 상의 이질적인 LOB 예측기들 사이에서 구조적 순방향 작업이 추론-연산 프런티어를 정의하기 위한 유용하고 안정적인 좌표라는 증거를 제공한다. 제외된 MLPLOB 패밀리로의 성공적인 외삽은 이 도메인에서 연산량이 어떻게 손실로 변환되는지에 대한 규칙성이 존재함을 시사한다.
2. 지연 시간 효율적 설계: 연산을 극대화하는 것이 반드시 낮은 지연 시간을 보장하는 것은 아님을 입증한다. 저자들은 지연 시간을 별도의 목표로 다룸으로써, 유용한 연산(밀집 믹싱)은 유지하면서도 지연 시간이 높은 연산(어텐션)을 제거하는 FastBiNLOB 아키텍처를 도입한다.

저자들은 모델 용량과 서빙 지연 시간이 별개의 객체로서 최적화되어야 한다고 결론짓는다. 스케일링 법칙은 유용한 연산이 존재하는지 여부는 식별할 수 있지만, 그 연산이 얼마나 "저렴하게" 서비스될 수 있는지는 예측하지 못한다. 실질적인 시사점은 효율적인 LOB 모델링을 위해서는 단순히 파라미터 수를 늘리거나 어텐션 중심의 메커니즘을 사용하는 것이 아니라, 연산이 밀집되고 하드웨어 친화적인 연산자에 머물도록 아키텍처를 설계해야 한다는 것이다.

한계 및 범위
저자들은 이러한 주장들이 베이즈 리스크(Bayes risk)나 모든 시장에 대한 정리(theorem)가 아닌, 경험적이고 유한한 것임을 명시적으로 밝힌다. "구조적 순방향 작업"은 하나의 관례이며 하드웨어 명령어 횟수는 아니지만, 이 횟수의 2배 섭동(perturbation) 하에서도 결과는 견고하게 유지된다. 또한, 스케일링 레인과 배포 레인은 서로 다른 피처 세트를 사용하므로 혼동해서는 안 된다. FastBiNLOB 결과는 "레시피-플러스-아키텍처"의 결과물로 제시되었으며, 지연 시간 성능은 특정 하드웨어 및 구현 세부 사항에 의존한다는 점을 인정한다.