기술 요약: Moira – 페어 트레이딩을 위한 언어 기반 계층적 강화 학습

1. 문제 정의

본 논문은 계층적 구조, 지연된 피드백, 그리고 모호한 크레딧 할당이 특징인 환경에서의 순차적 의사결정 과제를 다룹니다. 특히 저자들은 페어 트레이딩에 초점을 맞추는데, 이는 두 가지 명확한 시간적 및 의미적 규모를 자연스럽게 결합한 금융 영역입니다:

1. 고수준 추상화 (페어 선정): 안정된 경제적 또는 통계적 관계를 가진 자산 페어를 식별하기 위해 장기적 의미 추론이 필요합니다.
2. 저수준 실행 (거래): 부분 관측 가능성 (시장 노이즈) 하에서 시장 중립적 거래를 수행하기 위해 단기적, 반응형 의사결정이 필요합니다.

핵심적인 어려움은 크레딧 할당에 있습니다. 거래 전략이 실패할 때, 그 오류가 결함이 있는 고수준 추상화 (잘못된 페어 선택), 비최적의 저수준 실행 (부적절한 타이밍), 또는 두 요소 간의 상호작용에서 비롯된 것인지 명확하지 않습니다. 기존의 엔드 - 투 - 엔드 강화 학습 (RL) 은 이러한 구성 요소들을 혼재시켜 실패 원인을 분리하기 어렵게 만듭니다. 또한, 표준 계층적 강화 학습 (HRL) 은 종종 경직된 시간적 추상화에 의존하거나 고정된 노이즈 분포를 가정하여, 의미적 관계가 변화할 때 적응력을 제한합니다.

2. 방법론: Moira 프레임워크

저자들은 Moira를 제안합니다. 이는 언어 기반 계층적 강화 학습 프레임워크입니다. 경량 기반 미세 조정이나 전문가 라벨링 데이터를 사용하는 대신, Moira 는 고수준 선택자와 저수준 트레이더 모두를 **프롬프트 조건부 대규모 언어 모델 (LLM)**로 파라미터화합니다. 정책은 텍스트 기반 피드백에 의해 주도되는 프롬프트 업데이트를 통해 exclusively 최적화됩니다.

2.1 계층적 정책 설계

이 프레임워크는 추상화 선택과 실행을 명시적으로 분리하여, 피드백의 가용성에 맞춰 적응 일정을 조정합니다:

• 고수준 선택자 ($\pi_{sel}$): 에피소드 수준 (예: 월간) 에서 작동합니다. 집계된 가격 통계와 의미적 요약 (뉴스, 감성) 을 관찰하여 자산 페어 $z$를 선택합니다. 이 선택은 해당 에피소드 기간 동안 고정됩니다.
• 저수준 트레이더 ($\pi_{tr}$): 에피소드 내 수준 (예: 일간/주간) 에서 작동합니다. 고정된 페어 $z$에 조건부로, 실시간 스프레드 동향과 로컬 가격 특징에 기반하여 거래 행동을 실행합니다.

2.2 프롬프트 적응을 통한 최적화

시스템은 모델 가중치에 대한 경사 하강법을 피하기 위해 두 수준 모두에 2 단계 텍스트 최적화 과정을 활용합니다:

1. 궤적 수준 비판 (1 단계): "비평가 (Critic)" LLM 이 실행된 궤적 (관찰, 행동, 보상) 을 분석하고 자연어 피드백 신호 ($g_{text}$) 를 생성합니다. 이 신호는 의사결정 규칙의 결함 (예: "조기 청산" 또는 "뉴스 촉매제 무시") 을 식별합니다.
2. 프롬프트 업데이트 (2 단계): "업데이트 (Update)" LLM 이 텍스트 피드백을 현재 정책 프롬프트에 통합하여 다음 서브 - 에피소드 또는 에피소드를 위한 업데이트된 프롬프트 ($\theta^{(k)}$) 를 생성합니다.

적응 일정의 주요 차이점:

• 트레이더: 에피소드 내 프롬프트 업데이트를 거칩니다. 페어 컨텍스트가 고정된 상태에서 궤적 수준 피드백에 기반하여 실행 규칙을 적응시킵니다.
• 선택자: 에피소드 단위 프롬프트 업데이트를 거칩니다. 트레이더가 해당 에피소드에 대한 적응과 실행을 완료한 후, 지연되고 집계된 피드백 (누적 수익) 을 받습니다.

3. 주요 기여

1. 공유 의미 인터페이스로서의 언어: 이 논문은 계층적 수준 간의 인터페이스로 언어를 사용하는 새로운 접근법을 제시합니다. 스칼라 보상과 달리, 텍스트 피드백은 명시적 의미 귀인을 가능하게 하여 추상화 오류 (나쁜 페어 선택) 와 실행 오류 (나쁜 타이밍) 를 구분합니다.
2. 프롬프트 주도 계층적 최적화: 저자들은 LLM 이 프롬프트 업데이트만으로 최적화되는 계층적 정책으로 기능할 수 있음을 입증합니다. 이는 복잡한 알고리즘적 제약이나 경량 기반 미세 조정 없이도 자연스러운 시간 규모 분리를 유도합니다.
3. 추상화와 실행의 분리: 에피소드 동안 페어 선택을 고정하면서 트레이더가 에피소드 내에서 적응하도록 함으로써, 수준 간 비정상성을 줄이고 지연된 피드백 하에서 표적 적응을 가능하게 합니다.

4. 실험 결과

이 프레임워크는 2025 년 1 월부터 6 월까지의 역사적 미국 주식 시장 데이터 (유동성 있는 10 개 주식) 로 평가되었습니다.

4.1 성능 비교

Moira 는 여러 베이스라인을 크게 능가했습니다:

• 통계적 베이스라인: GGR (거리 최소화), 상관관계, 공적분.
• RL 베이스라인: TRIALS (표준 RL 프레임워크).
• 플랫 LLM 베이스라인: 페어 선정과 거래 실행을 동시에 시도하는 비계층적 LLM.

주요 지표 (Moira vs 최상위 베이스라인):

• 연간 수익률 (AR): Moira 는 **59.11%**를 달성했으며, 최상위 통계적 베이스라인 (상관관계/공적분) 은 21.38% 였고 나머지는 음수 수익을 기록했습니다.
• 샤프 비율 (SR): Moira 는 3.791을 기록하여 통계적 베이스라인 (1.218) 과 플랫 LLM (-0.403) 보다 훨씬 높았습니다.
• 최대 낙폭 (MDD): Moira 는 **1.70%**의 낮은 낙폭을 유지했으며, 통계적 베이스라인은 5.11%, 플랫 LLM 은 8.69% 였습니다.

4.2 제거 실험 (Ablation Studies)

저자들은 계층적 분해와 프롬프트 적응의 필요성을 검증하기 위해 제거 실험을 수행했습니다:

• Moira-Selection (LLM 선택자 + 통계적 트레이더): LLM 트레이더를 통계적 트레이더로 대체한 결과, 수익률이 강하게 음수 (-17.10% AR) 가 되어 의미적 페어 선정만으로는 적응형 실행 없이는 부족함을 나타냈습니다.
• Moira-Tuning (통계적 선택자 + LLM 트레이더): 상관관계 기반 선택자와 조정된 LLM 트레이더를 사용한 결과는 양수 수익 (17.63% AR) 을 보였으나 전체 Moira 모델보다 크게 저조했습니다. 이는 정적 거래 행동이 의미적 선정이 식별한 기회를 완전히 활용하지 못함을 강조합니다.
• Flat-LLM: 비계층적 접근법은 학습에 실패하여 음수 수익과 높은 변동성을 보였으며, 페어 선정과 실행의 공동 최적화가 단일 의사결정 과정에는 너무 복잡함을 확인시켜 주었습니다.

4.3 학습 역학

학습 곡선 분석은 프롬프트 업데이트에 따라 성능이 점진적으로 향상되었음을 보여주었습니다. 초기 업데이트는 기본 규칙 (진입/청산 규칙) 을 확립했고, 후기 업데이트는 정교한 리스크 관리 (트레일링 스톱, 부분 수익 실현) 를 도입하여 더 매끄러운 자본 곡선과 감소된 낙폭으로 이어졌습니다.

5. 중요성과 주장

이 논문은 언어 기반 계층적 정책 최적화가 다음과 같은 순차적 의사결정 문제에 대한 원칙적인 접근법을 제공한다고 주장합니다:

• 추상화가 시간에 따라 진화하는 경우.
• 피드백이 지연되고 집계되는 경우.
• 명시적 크레딧 할당 신호가 없는 경우.

저자들은 언어를 정책 표현으로 사용함으로써, 시스템이 경량 기반 미세 조정과 관련된 불안정성이나 전통적 HRL 의 경직성 없이 다양한 시간 규모에서 표적 적응을 달성할 수 있다고 주장합니다. 결과는 LLM 이 계층적으로 구조화되고 프롬프트 적응을 통해 최적화될 때, 의미적 추론과 전술적 실행을 효과적으로 분리하여 견고한 금융 의사결정으로 이어질 수 있음을 시사합니다.

인정된 한계:
저자들은 본 연구가 작은 자산 범위 (10 개 주식) 와 특정 시장 환경에 국한되어 있음을 지적합니다. 그들은 극단적인 환경 변화나 적대적 조건 하에서의 견고성을 주장하지 않으며, 최적화 신호로서의 텍스트 피드백의 이론적 속성은 여전히 열린 질문으로 남아 있습니다.