Zero-shot adaptation to order book dynamics

기술 요약: 오더북 역학에 대한 제로샷 적응

문제 제기
고전적인 아벨라네다-스토이코프 (AS) 마켓메이킹 모델은 소수의 해석 가능한 매개변수 (변동성, 주문 도착 강도, 재고 위험 회피, 시간 범위) 를 기반으로 한 빠르고 구조적으로 견고한 프레임워크를 제공합니다. 그러나 이러한 모델들은 일반적으로 사전에 정의된 고정된 목적 함수에 의존합니다. 시장 체제가 변화하거나 거래 목표가 변경되는 경우 (예: 원하는 재고 목표, 위험 성향, 불리한 선택 패널티), 모델은 전체를 재학습하거나 AS 프레임워크의 분석적 구조를 포기하지 않고도 거래 목표를 실시간으로 조정할 수 있는 적응 메커니즘이 필요합니다. 이 논문은 전체 모델을 재학습하거나 AS 프레임워크의 분석적 구조를 포기하지 않고도 시장 조건에 기반하여 실시간으로 거래 목표를 조정할 수 있는 적응 메커니즘의 필요성을 다룹니다.

방법론
제안된 아키텍처는 시장 역학을 거래 목표와 분리하여, 제로샷 강화 학습 (특히 Forward-Backward 표현) 에서 영감을 받은 "서서 메저 (successor measure) 스타일" 적응 메커니즘을 활용합니다. 시스템은 세 가지 주요 구성 요소를 통해 작동합니다:

1. 시장 상태 추정 ($\xi_t$):
   현재 리미트 오더북 상태 ($L_t$) 를 아벨라네다-스토이코프 매개변수의 저차원 벡터 $\xi_t = (\sigma_t, A^b_t, A^a_t, \kappa^b_t, \kappa^a_t, c^b_t, c^a_t)$로 매핑합니다. 이러한 매개변수는 변동성, 주문 도착 강도, 국소적 불리한 선택 비용 등을 포함한 국소적 시장 역학을 지배합니다. 고전적 모델에서 이러한 값들이 고정되어 있는 것과 달리, 여기서는 오더북에서 동적으로 추론됩니다.

2. 적응적 목표 추정 ($z_t$):
   고정된 보상 함수 대신, 모델은 최근 실현된 보상 ($W_t$) 의 롤링 윈도우에서 저차원 목표 벡터 $z_t$를 추정합니다. 보상은 결과 특징의 선형 함수로 모델링됩니다: $r = z^\top \phi(s, a, s')$. 여기서 $\phi$는 손익, 다음 재고, 재고의 제곱, 불리한 선택 비용을 포함합니다.
   목표 벡터는 과거 상태 - 행동 쌍을 보상 좌표 공간으로 매핑하는 역방향 표현 $B_\psi$를 사용하여 추정됩니다. 이 추정치는 실현된 보상의 가중 기대값으로 계산됩니다:
   $$\hat{z}_t = \mathbb{E}_{\rho_t} [r^H(s, a) B_\psi(s, a)]$$
   이를 통해 모델은 데이터에서 직접 현재 시장의 "보상 방향" (예: 재고 축적을 보상하는지 불리한 선택을 패널티로 부과하는지) 을 추론할 수 있습니다.

3. HJB Forward 표현 및 스칼라화:
   핵심 가치 객체는 주어진 목표 $z$에 대한 최적 정책 하의 예상 미래 보상 특징을 나타내는 벡터 값 해밀턴 - 야코비 - 벨만 (HJB) Forward 표현, $F_{HJB}(q, \tau, a, z; \xi)$입니다.
   스칼라 행동 가치는 이 벡터를 현재 적응적 목표에 투영하여 얻어집니다:
   $$Q_{z_t}(s, a) = F_{HJB}(s, a, z_t; \xi_t)^\top z_t$$
   정책 $\pi_{z_t}$는 이 스칼라 값을 최대화함으로써 유도됩니다. 폐쇄형 구현에서 이는 고전적 AS 와 유사한 견적 규칙을 초래하지만, 여기서 연속 가치 $h_t(q)$는 추론된 목표 $z_t$에 대해 구체적으로 계산됩니다:
   $$\delta^{b,\star}_t = \frac{1}{\kappa^b_t} - \frac{h_{z_t}(q_t + v) - h_{z_t}(q_t)}{v} + \frac{c^b_t}{v}$$
   (매도 측도 유사하게 적용됨).

주요 기여

• 적응형 AS 프레임워크: 이 논문은 고정된 목표를 데이터 기반의 적응형 벡터로 대체하면서도 아벨라네다-스토이코프 모델의 분석적 속도와 해석 가능성을 유지하는 방법을 소개합니다.
• 역학과 목표의 분리: 시장 역학 (매개변수 $\xi_t$) 과 거래 목표 (벡터 $z_t$) 를 분리할 수 있음을 보여줍니다. 역학은 오더북에서 추론되고, 목표는 실현된 보상에서 추론됩니다.
• 제로샷 적응: 이 접근법은 모델을 재학습하지 않고도 변화하는 체제와 목표에 적응할 수 있게 하여, 마켓메이킹 목표에 대한 제로샷 학습자로서 효과적으로 기능합니다.
• 폐쇄형 해: 저자들은 적응형 목표를 표준 AS 구조에 통합하는 폐쇄형 견적 규칙을 유도하여 모델이 계산적으로 효율적으로 유지되도록 합니다.

실험 결과
저자들은 재구성된 BTCUSDT 리미트 오더북 데이터셋에서 제안된 "Rolling FB-AS HJB"전략을 두 가지 기준선과 비교 평가했습니다:

1. 고정 지연 Guéant–Lehalle–Fernandez-Tapia (GLFT) 전략.
2. 고정 지연 아벨라네다-스토이코프 전략.

결과:

• 성능: 두 기준선 전략 (GLFT 그리드 및 AS 그리드) 모두 평가 기간 동안 음의 수익과 높은 손실 폭락을 기록했습니다. 반면, Rolling FB-AS HJB 전략은 양의 수익 (0.002167) 과 기준선의 음수 대비 훨씬 높은 샤프 비율 (28.57) 을 달성했습니다.
• 위험 관리: 적응형 전략은 기준선 (~0.0027–0.0028) 에 비해 현저히 낮은 최대 손실 폭락 (0.000947) 을 보였습니다.
• 거래 빈도: 적응형 전략은 기준선 (~4500–4600 건/일) 에 비해 거래 빈도가 현저히 낮았습니다 (477.85 건/일). 이는 적응형 목표와 유한 시간 범위 HJB 선택이 노이즈가 많은 조건에서의 과도한 거래를 필터링하는 역할을 함을 시사합니다.

의의 및 주장
이 논문은 "분석적 마켓메이킹과 표현 기반 강화 학습 사이의 해석 가능한 다리"를 제공한다고 주장합니다. 아벨라네다-스토이코프 역학을 물리적 핵심으로 유지하고 저차원 목표 벡터만 적응시킴으로써, 이 프레임워크는 딥 강화 학습의 "블랙박스"성을 피하면서도 제로샷 적응의 유연성을 얻습니다.

저자들은 결과가 원본 거래소 데이터가 아닌 재구성된 데이터와 근사적 체결 할당을 사용한 "제어된 시뮬레이션 연구"에서 도출된 것임을 명시하며 주장을 겸손하게 표현합니다. 그들은 생산 환경 구현에는 원본 이벤트 데이터, 더 강력한 체결 확률 보정, 그리고 더 상세한 비용 모델링이 필요함을 인정합니다. 그러나 연구는 동일한 백테스트 조건 하에서 적응형 견적 규칙이 고정 목표 기준선과 근본적으로 다르게 그리고 더 견고하게 작동함을 보여줍니다.