Reinforcement Learning for Execution under Dynamic Fees in a Closed-Loop DEX Simulator

기술 요약: 동적 수수료 환경의 폐쇄 루프 DEX 시뮬레이터 내 실행을 위한 강화 학습

1. 문제 정의

본 논문은 트레이더 대상의 동적 수수료를 평가하는 데 있어 근본적인 한계를 다룹니다. 동적 수수료는 유동성 공급자(LP)를 보호하기 위해 제안되지만, 다음과 같은 이유로 과거 데이터로는 주문 흐름(order flow)이 수수료에 어떻게 반응하는지 결정할 수 없습니다:

1. 정적 수수료: 과거의 수수료는 유의미하게 변동하지 않았습니다.
2. 잠재적 유형: 트레이더의 유형과 라우팅 결정은 관찰되지 않습니다.
3. 비순차적 특성: 재현된 과거의 테이프(historical tapes)는 행동이 미래 상태에 영향을 미치는 순차적 의사결정 환경을 구성하지 못합니다.

결과적으로, "만약 수수료가 주문 흐름에 불리하게 움직인다면 주문 흐름은 어떻게 반응할 것인가?"와 같은 반사실적(counterfactual) 질문은 역사적 이벤트 연구를 통해 답할 수 없습니다. RL을 과거 거래 테이프에 적용하려 했던 이전의 시도들은 테이프에 행동 의존적 전이 커널(action-dependent transition kernel)이 결여되어 실패했습니다. 즉, 리플레이 중인 에이전트의 행동은 이후의 시장 상태를 변경할 수 없습니다.

2. 방법론

역사적 데이터에서 결여된 반사실적 신호를 극복하기 위해, 저자들은 신호가 구조적으로 존재하도록 설계된 **최소한의 폐쇄 루프 시뮬레이터(minimal closed-loop simulator)**를 구축했습니다. 본 방법론은 특정 학습 알고리즘보다는 엄격한 평가 규율에 의해 정의됩니다.

시장 시뮬레이터:

• 구조: 두 개의 상수 곱 공식 풀(constant-product pools, Uniswap 계열)과 외부 중앙화 거래소(CEX)로 구성됩니다.
• 에이전트:
  • 실행 에이전트(Execution Agent): 유한한 시계(finite horizon) 동안 목표 주문을 거래합니다.
  • 노이즈 트레이더(Noise Traders): 유효 실행 비용(effective execution costs)을 기준으로 소프트맥스(softmax) 함수를 통해 경로를 결정합니다.
  • 차익거래자(Arbitrageur): 수익이 발생하는 경우(가스비를 제외하고) 닫힌 형태(closed-form)로 CEX-AMM 간의 격차를 해소합니다.
• 동적 수수료 규칙: 수수료는 평형 기반의 폐쇄 원리(Nash 수수료 구조의 선형화)에 따라 매 스텝마다 재산정됩니다. 수수ло는 다음 요소들에 의존합니다:
  • 자체 풀의 인벤토리 불균형(inventory imbalance).
  • 경쟁 풀의 상태.
  • 오라클 가격 격차.
• 전이 역학(Transition Dynamics): 환경은 유한 시계 마르코프 결정 과정(MDP)입니다. 전이 함수는 에이전트의 행동을 시장 연산자(수수료 업데이트, 오라클 업데이트, 차익거래, 노이즈 흐름)와 정해진 순서에 따라 결합합니다. 결정적으로, 에이전트의 단계 내 위치(예: 차익거래 전 또는 후에 행동함)는 명시적인 설계 변수입니다.

평가 프로토콜:

• 목표: 강제적 종결 완료 규칙(모든 인벤토리를 반드시 실행해야 하며, 마지막 단계에서 잔여 인벤토리를 즉시 청산함) 하에서 구현 손실(Implementation Shortfall, IS)을 최소화하는 것입니다.
• 벤치마크 사다리(Benchmark Ladder): 단일 베이스라인 대신, 대안적 설명 가능성을 배제하기 위해 튜닝된 휴리스틱들의 "사다리"와 비교합니다:
  • 스케줄 베이스라인: TWAP, 최속 청산, 무작위 라우팅.
  • 룩어헤드(Lookahead): 미래 비용(mark-to-market 긴급도 항 포함)을 고려하여 튜닝된 1-스텝 제어.
  • 플래너(Planners): 결정론적 K-스텝 확정 등가(certainty-equivalent) 플래너 및 확률적 롤아웃(stochastic rollout) 플래너.
  • 타뷸러 학습(Tabular Learners): 이산화된 상태를 사용하는 온-폴리시 몬테카를로 제어.
  • DQN: 함수 근사를 사용하는 심층 Q-네트워크(Deep Q-Network).
• 엄격한 동결(Rigorous Freeze): 모든 하이퍼파라미터, 베이스라인 튜닝 및 설계 선택 사항은 검증 블록(validation block)에서 동결됩니다. 최종 헤드라인 결과는 개발 과정에서 한 번도 사용되지 않은 예약된 1,000개의 시드(seed)로부터만 도출됩니다.

3. 주요 기여

1. 폐쇄 루프 시뮬레이터 구축: 본 논문은 에이전트의 실행 행동이 풀의 인벤토리, 쿼트(quote), 그리고 동적 수수료에 직접적인 영향을 미쳐, RL을 위한 유효한 순차적 의사결정 환경을 생성하는 재현 가능한 최소한의 시뮬레이터를 제공합니다.
2. 평가 규율: 튜닝된 휴리스틱과의 쌍체 비교, 엄격한 완료 의미론, 훈련/검증/최종 평가 블록의 분리를 강조하며, 폐쇄 루프 시장에서의 모델 프리 제어(model-free control)를 평가하기 위한 프로토콜을 수립합니다.
3. 반사실적 증거: 모델 조건부 증거를 생성하여, AMM 내에서의 실행 제어에 대한 영향을 격리하여 보여줍니다. 특히 동적 수수료가 실행 전략에 미치는 영향을 구체화합니다.

4. 결과

연구는 강제 종결 조건 하에서 예약된 최종 블록(1,000개 시드)에 대해 작은 규모의 DQN을 벤치마크 사다리와 비교 평가했습니다.

• 성능 우위: DQN은 튜닝된 1-스텝 룩어헤드 벤치마크 대비 쌍체 개선(paired improvement)의 차이가 0을 제외하는 유일한 평가된 정책입니다.
  • 에이전트 우선 순서(Agent-First Ordering): DQN은 룩어헤드 벤치마크 대비 주문 총액(notional) 기준 13.3 bps(베이시스 포인트)의 구현 손실을 줄였습니다.
  • 에이전트 후순위 순서(Agent-Last Ordering): 우위는 14.9 bps입니다.
  • 무작위 순서(Randomized Ordering): 우위는 5.6 bps입니다 (가장 작지만 여전히 유의미함).
• 대안의 실패:
  • 플래닝(Planning): 결정론적 및 확률적 얕은 플래너들은 룩어헤드 벤치마크와의 격차를 좁히는 데 실패했습니다. 이들의 성능은 튜닝된 1-스텝 룩어헤드와 통계적으로 구별할 수 없거나 오히려 더 나쁩니다.
  • 타뷸러 학습(Tabular Learning): 450개 상태를 가진 타뷸러 학습자는 룩어헤드보다 성능이 낮습니다. 1,440개 상태를 가진 타뷸러 학습자는 -0.42 bps의 쌍체 차이를 보였으나, 95% 신뢰 구간이 0을 포함합니다.
• 우위의 귀인(Attribution of Edge):
  • 이 장점은 동적 수수료 환경에 집중되어 있습니다. 상수 수수료 환경에서는 DQN과 휴리스틱 간의 쌍체 차이가 0과 구별할 수 없습니다.
  • DQN은 저렴한 쿼트와 낮은 수수료 사이의 상관관계를 활용하여, 낮은 수수료 상태로 거래를 타이밍 조절하고 수수료 격차에 따라 경로를 결정하는 법을 학습합니다.
• 강건성(Robustness):
  • 이 우위는 가스 비용, 차익거래 속도, 노이즈 강도의 변화에도 지속됩니다.
  • 전이(Transfer) vs 재해결(Re-solving): 한 가지 순서(예: 에이전트 우선)에서 훈련되어 동결된 정책은 다른 순서(예: 에이전트 후순위)로 평가될 때 그 우위를 상실합니다. 그러나 새로운 순서에 따라 DQN을 재학습하면 우위가 복구되며, 이는 손실이 구조적 결함이 아닌 정책-환경 불일치 때문임을 나타냅니다.

5. 의의 및 주장

본 논문은 결과가 무엇을 지지하고 무엇을 지지하지 않는지를 명확히 정의하며, 그 범위를 겸손하게 설정합니다:

• 지지하는 내용:

  • 특정 구축된 환경에서, 엄격한 완료가 강제될 때 모델 프리 실행 제어(DQN)는 강력하게 튜닝된 1-스텝 라우팅 휴리스틱을 능가할 수 있습니다.
  • 성능 우위는 동적 수수료의 구조로부터 구체적으로 학습되었습니다. 즉, 상수 수수료 환경에서는 존재하지 않습니다.
  • 얕은 플래닝(결정론적 또는 확률적)은 이 설정에서 동적 수수료 타이밍의 가치를 포착하기에 불충분합니다.

• 지지하지 않는 내용:

  • 역사적 행동: 결과는 합성 데이터이므로, 실제 역사적 트레이더들이 어떻게 행동할지에 대한 증거가 아닙니다.
  • 배포 가능한 수익: 시뮬레이터가 최소한의 모델이므로, 본 결과가 실제 시장에 배포된 전략의 수익성을 보장한다는 의미는 아닙니다.
  • 평형 플레이: 동적 수수료 규칙은 환경이 스스로를 방어하게 만들기 위한 폐쇄 원리로 사용된 것이지, 해당 수수료 규칙이 내쉬 평형(Nash equilibrium)임을 인증하는 것이 아닙니다.
  • LP 복지: 본 논문은 동적 수수료가 유동성 공급자에게 최적이라는 주장을 하지 않습니다.

결론:
본 논문은 동적 수수료가 있는 폐쇄 루프 시장에서, 모델 프리 에이전트가 수수료 상태의 변화를 이용함으로써 휴리스틱 룩어헤드를 능가하는 실행 전략을 학습할 수 있음을 입증합니다. 그러나 이러한 우위는 특정 시장 역학(동적 수수료)과 에이전트의 훈련 환경 및 실행 순서 간의 일치 여부에 달려 있습니다. 본 연구는 즉각적인 배포를 위한 청사진이라기보다, AMM 내에서의 실행 제어를 연구하기 위한 폐쇄 루프 시뮬레이션 활용의 개념 증명(proof-of-concept) 역할을 합니다.