RAmmStein: Regime Adaptation in Mean-reverting Markets with Stein Thresholds -- Optimal Impulse Control in Concentrated AMMs

이 논문은 분산형 거래소의 집중 유동성 공급 문제를 최적 제어 문제로 정식화하고, Ornstein-Uhlenbeck 과정의 평균 회귀 속도를 활용한 딥 강화 학습 기법인 RAmmStein 을 제안하여, 불필요한 재조정 비용을 줄이면서도 자본 효율성을 극대화하는 지능형 유동성 관리 전략을 입증했습니다.

핵심

이 논문은 **디파이 (DeFi) 의 '자동화 시장 제조자 (AMM)'**에서 자산을 맡긴 투자자 (유동성 공급자, LP) 가 어떻게 하면 더 많은 수익을 내고, 불필요한 손실을 막을 수 있는지에 대한 혁신적인 해결책을 제시합니다.

제목인 **'RAmmStein'**은 독일의 산업 메탈 밴드 이름과 무관하며, 수학적으로 매우 단단한 (Stein) 경계를 의미한다고 합니다.

이 복잡한 논문을 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

🏪 비유: "유동성 가게"와 "비싼 이동 비용"

가상의 상황을 상상해 보세요. 여러분은 유동성 가게를 운영합니다.

• 가게의 역할: 사람들이 A 코인과 B 코인을 교환할 때 중개해 주고, 그 대가로 수수료를 받습니다.
• 조건: 여러분은 가게의 가격대가 특정 범위 (예: 100 원~110 원) 일 때만 수수료를 받습니다. 가격이 이 범위를 벗어나면 가게는 문을 닫고, 아무것도 벌지 못합니다.
• 문제: 가격이 범위를 벗어나면, 여러분은 가게를 다시 열어놓기 위해 **이동 (리밸런싱)**을 해야 합니다. 하지만 이 이동에는 **엄청난 비용 (가스비, 수수료, 슬리피지)**이 듭니다.

여러분의 딜레마:

1. 너무 자주 이동하면? 수수료는 많이 받지만, 이동 비용 때문에 오히려 손해를 봅니다. ( greedy 전략)
2. 너무 안 움직이면? 이동 비용은 아끼지만, 가격이 범위를 벗어나는 동안 수수료는 0 원입니다. (passive 전략)

이 논문은 **"언제 이동하고, 언제 기다려야 할까?"**라는 질문에 답하는 **AI 비서 (RAmmStein)**를 개발했습니다.

---

🧠 핵심 아이디어 1: "날씨 예보"를 보고 행동하기

기존의 전략들은 가격이 범위를 벗어나면 무조건 "이동해라!"라고만 했습니다. 하지만 이 논문은 **시장의 '날씨'**를 봅니다.

• 비유: 가격이 범위를 벗어났을 때, 그건 **순간적인 바람 (노이즈)**일까요, 아니면 **계절이 바뀌는 추세 (트렌드)**일까요?
• RAmmStein 의 눈 (Stein 신호): 이 AI 는 수학적인 '오르네 - 울렌벡 (Ornstein-Uhlenbeck)' 과정을 통해 **가격이 원래 자리로 돌아오려는 힘 (평균 회귀)**이 강한지 약한지를 측정합니다.
  • 날씨가 안정적일 때 (평균 회귀 강함): "아, 지금 바람이 불어서 잠시 벗어났구나. 곧 다시 들어올 거야. 이동 비용 아끼고 기다려라!"
  • 날씨가 변할 때 (추세 강함): "이건 단순한 바람이 아니야. 완전히 다른 곳으로 가버릴 거야. 지금 바로 이동해서 새로운 가게를 여는 게 낫다!"

이처럼 상황을 파악하고 '게으름 (기다림)'을 선택하는 것이 핵심입니다.

---

🤖 핵심 아이디어 2: "딥러닝"이 배운 지혜

이 AI 는 정해진 규칙을 따르는 게 아니라, 수백만 번의 거래 데이터를 보고 스스로 배웠습니다. (딥 강화 학습)

• 배운 결과:
  • "가격이 범위를 벗어났을 때, 무조건 뛰쳐나가는 건 바보짓이야."
  • "가격이 다시 들어올 확률이 높다면, 가스비 (이동 비용) 를 아끼는 게 더 큰 수익이야."
  • "오직 가격이 완전히 벗어났고, 다시 돌아오기 힘들 것 같을 때만 이동해."

이 결과, AI 는 이동 횟수를 85% 나 줄이면서도, 기존 전략들보다 수익 (ROI) 을 훨씬 더 많이 냈습니다.

---

📊 실제 성과: "게으름이 부자 만든다"

논문의 실험 결과를 보면 놀라운 차이가 나옵니다.

1. 무조건 이동하는 전략 (Greedy):

   • 가게를 100% 열어두려고 했지만, 이동 비용 (가스비) 때문에 8.4% 손실을 봤습니다.
   • 비유: "매일 아침마다 차를 타고 출근해서 1 분만 일하고 다시 집으로 돌아오는 것"처럼 비효율적입니다.

2. RAmmStein (AI 전략):

   • 이동 횟수를 85% 줄였습니다. (기다리는 시간이 훨씬 많음)
   • 그 결과, 1.60% 의 순이익을 냈습니다.
   • 비유: "비가 올 때만 우산을 쓰고, 날씨가 좋으면 우산을 안 들고 다니는 지혜"를 발휘했습니다.

3. RAmmStein-Width (고급 버전):

   • 이동 타이밍뿐만 아니라 **가게의 크기 (범위)**까지 스스로 조절했습니다.
   • 아주 드물게만 이동하고, 이동할 때는 아주 좁은 범위 (높은 수익률) 를 선택하는 극도의 검소함을 보여주었습니다.

---

💡 결론: 왜 이 논문이 중요한가요?

이 논문의 핵심 메시지는 **"무조건 열심히 움직이는 게 정답이 아니다"**입니다.

• 과거의 생각: "가격이 범위를 벗어나면 바로 고쳐야지!" (이동 비용이 많이 들지만, 무조건 움직여야 함)
• 이 논문의 생각: "가격이 잠시 벗어났을 때는 기다리는 것이 더 이득이다. 시장이 다시 돌아오기를 기다리자."

**"상황을 잘 파악한 채로 게으름을 피우는 것 (Regime-aware Laziness)"**이 오히려 자산을 지키고 수익을 극대화하는 비결이라는 것을 증명했습니다.

마치 스마트한 농부가 비가 올 때만 물을 주고, 맑은 날에는 물을 아끼는 것처럼, AI 는 시장의 '날씨'를 보고 언제 움직이고 언제 멈출지 결정함으로써, 불필요한 비용 (가스비) 을 아껴 더 큰 수익을 만들어낸 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

배경 및 핵심 문제:

• 집중 유동성 (Concentrated Liquidity) 의 딜레마: Uniswap V3 와 같은 자동화 시장 제조자 (AMM) 에서 유동성 공급자 (LP) 는 특정 가격 범위 내에서만 수수료를 받습니다. 이는 자본 효율성을 극대화하지만, 가격이 지정된 범위를 벗어나면 수수료가 0 이 되는 '비활성화' 상태에 빠집니다.
• 재조정 (Rebalancing) 의 비용: LP 는 범위를 벗어나면 수수료를 다시 받기 위해 포지션을 재조정해야 합니다. 하지만 이 과정에는 가스비 (Gas fees), 스왑 수수료, 슬리피지 (Slippage) 와 같은 마찰 비용이 발생합니다.
• LP 재조정 역설 (LP Rebalancing Paradox): 재조정 비용이 추가되는 수수료 수익을 상회할 수 있습니다. 특히, 시장이 추세적 (Trending) 인지 평균 회귀적 (Mean-reverting) 인지 구분하지 않고 무조건 재조정하는 기존 전략 (Greedy Strategy) 은 과도한 비용으로 인해 자본을 파괴합니다.
• 현재의 한계: 기존 전략들은 대부분 휴리스틱이나 단순 임계값을 사용하며, 시장의 regimes(추세 vs 평균 회귀) 를 고려하지 않아 비효율적인 의사결정을 내립니다.

목표:

• 유동성 관리 문제를 임펄스 제어 (Impulse Control) 문제로 공식화하고, 가스비와 같은 마찰 비용을 최소화하면서 순수익 (Net ROI) 을 극대화하는 최적의 재조정 시점과 범위를 결정하는 알고리즘 개발.

---

2. 방법론 (Methodology)

가. 이론적 프레임워크: 임펄스 제어 및 HJB-QVI

• 임펄스 제어 (Impulse Control): LP 는 연속적인 상태 변화 (가격 변동) 와 이산적인 개입 (재조정) 사이에서 선택해야 합니다. 각 개입은 고정된 비용 ($C$) 을 수반합니다.
• HJB-QVI (Hamilton-Jacobi-Bellman Quasi-Variational Inequality): 최적 제어 이론을 적용하여 가치 함수 (Value Function) 를 정의했습니다. 상태 공간은 두 영역으로 나뉩니다.
  • 계속 영역 (Continuation Region): 기다리는 것이 최적인 영역 (기대 수익 > 재조정 비용).
  • 점프 영역 (Jump Region): 즉시 재조정하는 것이 최적인 영역.
• 오르스틴 - 울렌벡 (OU) 과정: 가격 동역학을 모델링하기 위해 OU 과정을 사용했습니다.
  • $dS_t = \theta(\mu - S_t)dt + \sigma dW_t$
  • 여기서 $\theta$ (Stein Signal) 는 평균 회귀 속도를 나타내며, 시장의 regimes(강한 평균 회귀 vs 추세) 를 구분하는 핵심 지표입니다.

나. RAmmStein 알고리즘 (Deep Reinforcement Learning)

• 모델: Double Deep Q-Network (DDQN) 를 사용하여 HJB-QVI 의 해를 근사화합니다.
• 상태 공간 (State Space, 8 차원):
  • 정규화된 가격 편차, 범위 끝까지의 거리, Stein Signal ($\theta$), 평균 편차, 정규화된 시그마, 활성 비율, 최근 변동성, 범위 내 여부.
  • 특히 $\theta$ 를 입력으로 포함시켜 에이전트가 시장 regimes 를 인식하도록 합니다.
• 행동 공간 (Action Space):
  • 0 (Hold): 현재 포지션 유지.
  • 1 (Rebalance): 현재 가격으로 포지션 중심 재설정 (비용 $C$ 발생).
• 보상 함수 (Reward Function):
  • 순손익 (Net PnL) = (수수료 수익 - 재조정 비용) / 초기 자본.
  • 가스비와 스왑 비용을 명시적으로 반영하여 실제 ROI 를 극대화하도록 학습.

다. RAmmStein-Width (확장 버전)

• 재조정 시점뿐만 아니라 포지션의 폭 (Width) 도 함께 최적화합니다.
• 6 가지 행동 (유지 또는 1%~5% 폭으로 재조정) 을 선택하여, 시장 regimes 에 따라 집중도 (Concentration) 와 안정성 (Stability) 사이의 균형을 학습합니다.

---

3. 주요 기여 (Key Contributions)

1. 수학적 공식화: 집중 유동성 관리 문제를 임펄스 제어 문제로 공식화하고, 이에 해당하는 HJB-QVI 를 유도하여 최적 재조정 정책의 이론적 기반을 마련했습니다.
2. Stein Signal ($\theta$) 의 도입: OU 과정의 평균 회귀 속도를 'Stein Signal'로 정의하고, 이를 에이전트의 입력 특징으로 사용하여 시장 regimes(임시 노이즈 vs 장기 추세) 를 구분하도록 했습니다.
3. RAmmStein 개발: HJB 방정식의 해를 근사하는 딥 강화학습 (DDQN) 에이전트를 개발하여, 상태 공간에서 '기다림 (Continuation)'과 '행동 (Rebalance)'을 구분하는 동적 경계 (Laziness Boundary) 를 학습했습니다.
4. 실증적 검증: Coinbase 의 고빈도 (1Hz) 거래 데이터 (680 만 건 이상) 와 현실적인 풀 파라미터 ($10M TVL, 1% 폭, $2 가스비) 를 사용하여 백테스팅을 수행했습니다.
5. RAmmStein-Width: 재조정 타이밍과 위치 폭을 동시에 최적화하는 확장 모델을 제시하여, 더 풍부한 행동 공간에서도 regimes 에 따른 적응적 의사결정이 가능함을 보였습니다.

---

4. 실험 결과 (Experimental Results)

• 데이터: 2026 년 1 월 20 일 ~ 2 월 3 일 ETH-USD 1Hz 데이터 (680 만 건 거래).
• 비교 대상:
  • Set & Forget (오라클, 미래 지식 보유)
  • Fixed Passive (재조정 없음)
  • Fixed Active (Greedy, 범위 이탈 시 즉시 재조정)
  • LSTM Predictor (미래 가격 예측 기반)
  • RAmmStein (제안 방법)
  • RAmmStein-Width (폭 최적화 포함)

주요 성과:

• 최고의 순수익 (Net ROI): RAmmStein 은 **1.60%**의 Net ROI 를 기록하여, 모든 현실적인 (비오라클) 전략 중 가장 높은 성과를 거두었습니다.
  • 반면, Greedy 전략 (Fixed Active) 은 100% 활성 시간을 유지했으나, 과도한 재조정 (344 회) 으로 인한 가스비 ($1,483) 로 인해 **-8.40%**의 손실을 입었습니다.
• 재조정 빈도 감소: RAmmStein 은 Greedy 전략 대비 **85% 감소 (344 회 $\to$ 51 회)**된 재조정 횟수를 보였습니다.
• RAmmStein-Width 의 극단적 절약: 9 회 재조정과 $40 가스비만 소모하여, 가스비 상승 환경에서도 손실 폭이 가장 작게 감소하는 특성을 보였습니다.
• 의사결정 경계 분석:
  • 에이전트는 가격이 범위 밖으로 나갔을 때 즉시 재조정하지 않고, **$\theta$(평균 회귀 속도) 가 낮을 때 (추세 장)**만 재조정했습니다.
  • $\theta$가 높을 때 (평균 회귀 장) 는 가격이 자연스럽게 돌아올 확률이 높으므로 기다리는 것이 최적임을 학습했습니다.
• 가스비 민감도: 가스비가 $10 이상으로 상승하더라도 RAmmStein-Width 는 다른 전략들보다 손실이 적게 발생하여 견고성을 입증했습니다.

---

5. 의의 및 결론 (Significance & Conclusion)

• Regime-Aware Laziness (정황 인식적 게으름): 본 연구는 "무조건 재조정하는 것"이 아니라, "시장의 평균 회귀 특성을 파악하여 재조정을 지연시키는 것"이 자본 효율성을 극대화한다는 것을 증명했습니다.
• 비용 효율성: 과도한 재조정으로 인해 수수료 수익이 가스비로 소진되는 현상을 방지하고, 이를 순이익으로 전환하는 메커니즘을 제시했습니다.
• DeFi 자동화의 진전: 전통적인 금융의 수학적 모델 (OU 과정, 임펄스 제어) 과 딥러닝을 결합하여 DeFi 유동성 관리의 새로운 표준을 제시했습니다.
• 미래 전망: 가스비 예측, MEV 방지, 다중 풀 할당 등으로의 확장을 통해 DeFi 생태계의 성숙에 기여할 것으로 기대됩니다.

핵심 메시지:

"Greedy 전략은 100% 활성 시간을 쫓다가 자본을 파괴하지만, **Regime-Aware Laziness(상황을 파악한 인내심)**는 동일한 시장 조건에서도 양의 수익을 창출한다."