📊 statistics

Learning Stock Trading Policies via Barycenter-Based Adversarial Inverse Reinforcement Learning

이 논문은 바리센트(barycenter) 기반의 적대적 역강화학습 프레임워크인 BRaG을 소개하며, 이는 바리센트(Wasserstein barycenters)를 통해 이질적인 전문가 전략을 결합하고 제어 장벽 함수(control barrier functions)를 통합함으로써, 전 세계 주식 시장에서 고전적 규칙 및 심층 강화학습 방법론보다 우수한 성능을 보이는 안정적이고 위험 인지적인 주식 매매 정책을 학습한다.

원저자: Arishi Orra, Himanshu Choudhary, Manoj Thakur

게시일 2026-08-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Arishi Orra, Himanshu Choudhary, Manoj Thakur

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

주식 거래의 세계는 예측, 패턴, 그리고 인간의 공포와 탐욕이 끊임없이 웅성거리는 가운데 돈이 움직이는 거대하고 소란스러운 엔진과 같습니다. 수십 년 동안 투자자들은 인간보다 이 혼돈을 더 잘 헤쳐 나갈 수 있는 기계를 구축하기 위해 노력해 왔습니다. 문제는 시장 자체의 본질에 있습니다. 시장은 명확한 지침이나 즉각적인 피드백을 제공하지 않습니다. 트레이더가 오늘 결정을 내리더라도, 그 선택이 탁월한 수였는지 아니면 값비싼 실수였는지에 대한 진정한 결과는 며칠, 몇 주, 혹은 몇 달이 지난 후에야 알려질 수 있습니다. 이러한 지연은 컴퓨터에게 어떻게 거래할지를 가르치는 것을 매우 어렵게 만듭니다. 왜냐하면 기계는 자신의 행동과 훨씬 나중에 도착하는 결과 사이의 연관성을 파악하는 데 어려움을 겪기 때문입니다. 더욱이 시장은 예측 불가능하며 규칙을 끊임없이 바꾸기 때문에, 오늘 완벽하게 작동하던 전략이 내일은 실패할 수도 있습니다. 전통적인 방식은 인간이 작성한 고정된 규칙에 의존하고, 최신 방식은 데이터로부터 학습하는 인공지능을 사용하지만, 두 방식 모두 현실 세계의 복잡한 금융 상황, 특히 위험을 관리하고 파멸적인 손실을 피하는 문제에 직면했을 때 종종 비틀거리곤 합니다.

최근 연구에서 인도 공과대학교 만디(IIT Mandi)의 연구진은 처음부터 스스로 배우려고 하기보다는 여러 전문가의 지혜를 빌려 컴퓨터에게 거래하는 법을 가르치는 새로운 방법을 제안했습니다. 그들은 이 시스템을 BRaG라고 부릅니다. 연구진은 컴퓨터가 시행착오를 거치며 최선의 거래 방법을 찾아내도록 하여 격한 변동성과 위험한 실수를 유발하는 대신, 다양한 성공적인 거래 전략들을 관찰하며 배우도록 결정했습니다. 복잡한 기술을 배우려는 학생을 상상해 보십시오. 그 학생은 단 한 명의 사람만을 모방하기보다는 공격적인 사람, 신중한 사람, 추세를 따르는 사람, 그리고 반전(reversal)에 베팅하는 사람 등 다양한 마스터들의 패널을 관찰함으로써 더 잘 배울 것입니다. 연구진은 단순 이동 평균부터 더 복잡한 모멘텀 기반 접근 방식에 이르기까지 다섯 가지의 뚜렷한 거래 스타일로부터 데이터를 수집했습니다. 그러나 이 서로 다른 스타일들을 단순히 한데 섞어버리면 혼란스러운 엉망진창이 될 수 있습니다. 이를 해결하기 위해 연구팀은 이 모든 전문가들의 결합된 부분 중 가장 우수하고 안정적인 부분을 나타내는 '중심점'을 찾는 수학적 방법을 개발했습니다. 이 중심점은 신뢰할 수 있는 가이드 역할을 하며, 컴퓨터가 실제 돈을 만지기 전에 따라야 할 안전하고 효과적인 경로를 보여줍니다.

이 과정은 두 개의 뚜렷한 단계로 진행됩니다. 첫째, 컴퓨터는 이 안정적인 결합된 전문가의 행동을 모방하도록 사전 학습됩니다. 이 단계에서 기계는 복잡한 이유를 이해하거나 지연된 보상을 기다릴 필요 없이, 전문가 전략의 가장 똑똑한 부분들을 닮은 결정을 내리는 법을 배웁니다. 이 단계는 매우 중요한데, 이는 컴퓨터가 학습하는 동안 목적 없이 방황하거나 무모한 베팅을 하는 것을 방지하여 탄탄한 기초를 제공하기 때문입니다. 컴퓨터가 이러한 좋은 습관을 내면화하고 나면, 두 번째 단계가 시작됩니다. 연구진은 그다음 컴퓨터가 실제 금융 보상을 사용하는 시뮬레이션된 시장에서 거래하도록 합니다. 이제 컴퓨터는 단순히 전문가를 복제하는 것이 아니라, 이전에 배웠던 안전한 행동을 유지하면서도 시장의 특정한 오르내림에 적응하며 자신만의 전략을 정교화합니다. 컴퓨터가 너무 탐욕스러워져 과도한 위험을 감수하지 않도록, 시스템에는 엄격한 안전 장치가 포함되어 있습니다. 이 메커니즘은 가드레일처럼 작동하여 컴퓨터의 포트폴리오 가치를 지속적으로 점검합니다. 만약 어떤 거래가 포트폴리오 가치를 최고점으로부터 너무 많이 떨어뜨릴 위험이 있다면, 시스템은 해당 거래를 자동으로 차단하거나 안전한 범위 내에 머물도록 조정합니다. 이는 컴퓨터가 돈을 더 벌기 위해 더 공격적으로 학습하는 과정에서도 결코 위험한 영역을 넘지 않도록 보장합니다.

연구진은 이 새로운 접근 방식을 미국, 영국, 인도, 대만 등 세계 4대 주요 주식 시장에서 테스트했습니다. 그들은 기존의 거래 규칙, 무작위 추측, 그리고 최근 개발된 다른 고급 인공지능 모델들을 포함한 광범위한 경쟁 모델들과 이 시스템을 비교했습니다. 결과는 네 시장 모두에서 명확하고 일관되었습니다. 새로운 시스템인 BRaG는 다른 방법들을 지속적으로 능가하며 시간이 지남에 따라 더 높은 총수익을 창출했습니다. 더 중요한 것은, BRaG가 더 높은 안정성을 가지고 이를 달성했다는 점입니다. 다른 인공지능 모델들이 거대한 이득 뒤에 급격한 하락이 따르는 등 성과에서 격한 변동을 보이는 경우가 많았던 반면, BRaG는 더 매끄럽고 신뢰할 수 있는 성장 곡선을 유지했습니다. 또한 수익 대비 위험 비율이 더 높았는데, 이는 위험 한 단위당 더 많은 돈을 벌었다는 의미입니다. 또한 심각한 손실에서도 피해를 덜 입었으며, 어려운 시장 상황에서도 포트폴리오 가치가 다른 모델들만큼 깊게 떨어지지 않도록 유지했습니다. 이 연구는 해당 시스템이 단순히 운이 좋았던 것이 아니라, 본 적 없는 데이터로 테스트했을 때도 잘 작동하는 견고함을 갖추었음을 보여주었습니다.

이러한 접근 방식의 성공은 우리가 금융 도구를 구축하는 방식의 변화를 시사합니다. 완벽한 규칙 세트를 설계하려고 노력하거나 단 하나의 알고리즘이 모든 것을 스스로 알아낼 수 있기를 기대하기보다, 연구진은 다양한 전략의 강점을 결합하는 것이 더 강력하고 안전한 결과를 만든다는 것을 발견했습니다. 균형 잡힌 전문가 행동의 혼합으로부터 먼저 배우고, 그 지식을 실제 시장 경험으로 정교화함으로써, 컴퓨터는 수익성과 신중함을 동시에 갖추게 됩니다. 이 연구는 효과적인 자동 거래 시스템의 핵심이 단순히 기계의 지능에 있는 것이 아니라, 기계가 받는 가이드의 품질과 따르는 안전 제한의 엄격함에 있다는 것을 시사합니다. 이 방법은 길을 잃거나 모든 것을 걸지 않고도 복잡하고 변동성이 큰 금융 세계를 항해할 수 있는 거래 시스템을 만들기 위한 유망한 길을 제시합니다.

기술 요약: BRaG – 주식 트레이딩을 위한 바리센터 기반 리스크 인식 적대적 역강화학습

문제 정의
강화학습(RL)을 통한 효과적인 주식 트레이딩 전략 설계는 지연되고 노이즈가 섞인 보상 신호, 고차원 환경에서의 열악한 탐색, 그리고 명시적인 리스크 제약을 강제하는 어려움 등 상당한 장애물에 직면해 있다. 전통적인 지도 학습은 레이블 노이즈와 예측을 수익성 있는 행동으로 변환하는 문제에 취약하며, 표준 딥 강화학습(DRL) 방법론은 희소한 보상으로 인해 불안정한 학습 역학을 겪는 경우가 많고, 자산이나 시장 국면에 걸쳐 일반화되기 어려운 수동 지정된 보상 함수에 의존한다. 또한, 기존의 역강화학습(IRative RL) 접근 방식은 단일 전문가 데모에 의존하는 경우가 많아, 과적합을 초래하고 이질적인 시장 조건에서의 견고성이 부족하다.

방법론: BRaG 프레임워크
저자들은 다중 전문가 모방 학습과 명시적 리스크 제어를 통합한 통합 프레임워크인 BRaG(Barycenter-based Risk-aware Adversarial GAIL)를 제안한다. 본 방법론은 세 가지 뚜렷한 단계로 진행된다:

성과 가중치 기반 와서스타인 바리센터 집계 (Performance-Weighted Wasserstein Barycenter Aggregation):
단일 전문가나 균등한 데모 병합에 의존하는 대신, BRaG은 여러 이질적인 전문가 전략(예: 모멘텀, 평균 회귀, 추세 추종)을 하나의 "의사 전문가(pseudo-expert)" 분포로 집계한다.
- 가중치 부여: 전문가들에게는 리스크 조정 성과(샤프 지수)에 비례하여 가중치( $\alpha_k$ )를 할당하며, 성과가 음수인 경우는 0으로 클리핑한다.
- 바리센터 구축: 프레임워크는 전문가의 상태-행동 궤적의 성과 가중 **슬라이스 와서스타인 바리센터(sliced Wasserstein barycenter)**를 계산한다. 이 접근 방식은 전문가 행동의 기하학적 구조를 보존하며, 개별 전문가의 편향에 대한 민감도를 줄이는 견고한 합의 표현을 제공한다.
- 타당성 검사: 슬라이스 와서스타인 역투영(back-projection)은 유일한 역함수를 보장하지 않으므로, 재구성된 샘플은 가용 현금 및 보유 자산에 대한 타당성 검사를 통해 유효한 거래를 나타내는지 필터링된다.
적대적 모방 학습 (GAIL) 사전 학습:
집계된 바리센터 분포는 **생성적 적대적 모방 학습(GAIL)**의 타겟이 된다.
- 판별기( $D_\phi$ )는 바리센터 의사 전문가 샘플과 에이전트가 생성한 궤적을 구별하도록 학습된다.
- 에이전트 정책( $\pi_\theta$ )은 판별기의 출력( $r_\phi = -\log D_\phi$ )을 최대화하도록 최적화되며, 이는 명시적인 보상 지정 없이 암묵적인 보상 신호를 회복한다.
- 이 단계는 정책을 전문가 행동과 정렬된 정책 공간 영역으로 초기화하여, 노이즈가 많은 금융 환경에서 발생하는 전형적인 불안정한 탐색 문제를 완화한다.
제어 장벽 함수(CBF)를 통한 리스크 제약 정교화:
리스크를 인식하는 의사결정을 보장하기 위해, BRaG은 최대 낙폭(maximum drawdown) 제한을 강제하는 **제어 장벽 함수(Control Barrier Functions, CBF)**를 통합한다.
- 장벽 함수 $B(V_t)$ 는 포트폴리오 가치와 허용 가능한 최대 낙폭( $\delta_{max}$ )을 기반으로 정의된다.
- 하드 제약(Hard Constraint): 실행 시점에 제안된 행동이 안전 조건을 위반할 경우(예측된 낙폭이 제한을 초과하는 경우), 해당 행동은 가장 가까운 안전 집합으로 투영된다.
- 소프트 정규화(Soft Regularization): 반복적인 장벽 위반을 억제하기 위해 PPO 목적 함수에 페널티 항이 추가된다.
  정교화(Fine-tuning): GAIL 사전 학습 후, 정책은 실제 시장 보상(포트폴리오 수익률)을 사용하는 근사 정책 최적화(PPO)를 통해 정교화되며, 이때 CBF 메커니즘은 탐색을 제한하기 위해 활성화된 상태를 유지한다.

주요 기여
본 논문은 다섯 가지 주요 기여를 식별한다:

BRaG 프레임워크: 이질적인 전문가 전략을 집계하여 모방 학습을 위한 안정적인 의사 전문가 표현을 구축하는 새로운 바리센터 기반 적대적 IRL 프레임워크를 제안한다.
성과 가중 바리센터: 전문가 궤적을 결합하기 위해 성과 가중 와서스타인 바리센터를 도입하여, 개별 편향에 대한 민감도를 줄이고 다양한 시장 조건에서의 견고성을 높인다.
적대적 사전 학습: 적대적 모방 학습이 금융 RL에서의 열악한 탐색 문제를 해결하는 효과적인 사전 학습 메커즘임을 입증한다.
명시적 리스크 제어: 행동 실행 시 낙폭 제약을 강제하고 정책 학습을 정규화하기 위해 제어 장벽 함수를 통합한다.
실증적 검증: 네 개의 글로벌 주식 시장(미국 DJI, 영국 FTSE 100, 인도 Sensex, 대만 TAIEX)에 대한 광범에한 평가를 통해 고전적 규칙 및 최신 DRL 베이스라인 모델들을 일관되게 능가함을 보여준다.

실험 결과
프레임워크는 2010년부터 2025일까지의 일간 주식 데이터를 사용하여 평가되었으며, 2010~~2023년 데이터로 학습하고 2024~~2025년 데이터로 테스트하였다.

성과: BRaG은 네 개 시장 모두에서 가장 높은 누적 및 연율화 수익률을 달em했다. 예를 들어, DJI 데이터셋에서 BRaG은 누적 수익률 53.977을 기록하여, 차순위 DRL 베이스라인(DREB, 42.522)과 최우수 기술적 전략(MA Crossover, 25.625)을 모두 앞질렀다.
리스크 조정 지표: BRaG은 일관되게 가장 높은 샤프 지수(예: DJI에서 1.472, 차순위 모델 1.405)를 달성했으며, 고성능 DRL 에이전트들과 비교하여 경쟁력 있거나 더 낮은 최대 낙폭을 유지했다.
안정성: 승률 분석 결과, BRaG은 더 높은 비율의 수익성 있는 거래(예: DJI에서 58.05%)를 달성하였으며, 이는 극단적인 결과에 의존하기보다 일관된 의사결정에 의해 성과가 도출되었음을 시사한다.
절제 연구(Ablation Studies):
- 전문가 집계: 샤프 지수 기반 가중치를 적용한 전체 바리센터를 사용하는 것이 단일 최우수 전문가, 균등 샘플링, 또는 단순 샤프 가중 샘플링을 사용하는 것보다 우수한 성능을 보였다.
- 구성 요소 분석: GAIL 사전 학습을 제거했을 때 성능 저하가 가장 컸으며, 이는 초기화 과정에서의 역할을 강조한다. CBF를 제거하면 원시 수익률은 약간 높아졌으나 샤프 지수가 크게 악화되고 최대 낙폭이 증가하여, 리스크 안정성 측면에서 CBF의 역할을 확인시켜 주었다.

의의 및 주장
본 논문은 BRaG이 전문가 집계, 안정적인 정책 초기화, 적응형 정교화, 리스크 인식 최적화의 원칙적 통합을 통해 다중 전문가 모방 학습의 실무적 과제를 해결한다고 주장한다. 저자들은 이 프레임워크가 변동성과 구조적 특성이 다른 시장 전반에서 일관된 성능을 보인 것을 근거로, 데이터셋 특정 효과가 아닌 일반적인 트레이딩 원칙을 성공적으로 포착했다고 단언한다.

저자들은 현재 구현이 사전 정의된 규칙 기반 전문가와 단순화된 리스크 모델에 의존하고 있음을 인정하며, 현재의 주장은 겸허한 편이다. 향end로 더 풍부한 전문가 소스, 더 정확한 시장 역학, 적응형 리스크 제약, 그리고 고빈도 트레이딩으로의 확장을 포함할 수 있는 후속 연구를 제안한다. 핵심적인 의의는 다양한 전문가 행동을 기하학적 바리센터를 통해 결합하고, 적대적 학습을 통해 초기화하며, 장벽 함수를 통해 행동을 제약함으로써 기존의 단독 접근 방식보다 더 견고하고 수익성 있는 트레이딩 에이전트를 생성할 수 있음을 입증한 데 있다.

유사한 논문