💰 quantitative finance

Robust Control under Stationary Ambiguity

이 논문은 금융 헤징과 같은 실제 순차적 의사결정 과업에서 변화하는 잠재 요인에 대한 강건성을 유지하는 제어 정책을 훈련하기 위해, 파라미터 불확실성을 시간이 흐름에 따라 해소되는 것이 아니라 비감쇄적이고 상태 의존적인 필터로 유지하는 시뮬레이터 설계 원칙인 "정상적 모호성(stationary ambiguity)"의 개념을 제안한다.

원저자: Konrad J. Mueller, Amira Akkari, Ben Wood, Lukas Gonon

게시일 2026-08-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Konrad J. Mueller, Amira Akkari, Ben Wood, Lukas Gonon

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 비디오 게임을 하는 법을 가르치고 있다고 상상해 보세요. 하지만 당신은 그 게임의 물리 엔진이 정확히 어떤 규칙으로 돌아가는지 모릅니다. 중력이 당신이 생각하는 것보다 약간 더 무거울 수도 있고, 지면의 마찰력이 조금 미끄러울 수도 있습니다. 이것이 바로 **스토캐스틱 제어(stochastic control)**의 세계입니다. 이는 미래가 불확실하고 규칙이 100% 명확하지 않을 때 최선의 의사결정을 내리는 방법을 찾는 과학의 한 분야입니다. 보통 우리는 컴퓨터 시뮬레이션 속에서 이 로봇들을 훈련시킵니다. 하지만 여기 함정이 있습니다. 만약 우리가 규칙을 그냥 추측하고 그 추측에만 매달린다면, 로봇은 '우리의 특정 추측'에는 달인이 될지 몰라도, 규칙이 다를 수 있는 실제 세상에서는 완전히 실패할 수도 있습니다. 이를 해결하기 위해 과학자들은 흔히 **도메인 무작위화(domain randomization)**라는 기술을 사용합니다. 그들은 시뮬레이션에게 이렇게 말합니다. "이봐, 게임을 새로 시작할 때마다 중력이 무작위로 변한다고 가정해 봐!" 이 방식은 로봇이 중력이 어떤 상태이든 상관없이 작동하는 전략을 배우도록 강제합니다.

하지만 이 표준적인 기술에는 교활한 문제가 하나 있습니다. 전형적인 시뮬레이션에서는 로봇이 일단 게임을 시작하면, 게임이 전개되는 과정을 지켜볼 수 있게 됩니다. 만약 중력이 게임 내내 "무거운" 상태로 설정된다면, 로봇은 빠르게 "아, 오늘은 무겁구나!"라고 파악하고 다른 가능성에 대해 걱정하는 것을 멈춥니다. 즉, 특정 상황에 특화된 전문가가 되지만, "가벼운" 중력을 다루는 법은 잊어버리게 됩니다. 이를 **모호성의 소멸(vanishing ambiguity)**이라고 부릅니다. 로봇의 혼란이 그 특정 게임의 조건에 맞춰 학습되면서 사라지는 현상입니다. 하지만 실제 세상, 특히 주식 시장 같은 곳에서는 규칙이 고정되어 있지 않습니다. "중력"(또는 시장 변동성)은 갑작스럽고 예측 불가능하게 변할 수 있습니다. 만약 당신의 로봇이 이미 "나는 이것이 어떻게 돌아가는지 정확히 안다"라고 결론을 내려버렸다면, 규칙이 바뀌는 순간 처참하게 무너질 것입니다.

"정적 모호성 하에서의 강건한 제어(Robust Control Under Stationary Ambiguity)"라는 제목의 이 논문은 바로 이 골칫거리를 다룹니다. 컴퓨터 과학과 금융의 접점에서 연구하는 저자들은 우리가 로봇을 훈련시키는 새로운 방법이 필요하다고 주장합니다. 그들은 **정적 모호성(stationary ambiguity)**이라는 방법론을 제안합니다. 이 설정에서는 시뮬레이션의 "규칙"이 로봇이 결코 완전히 파악할 수 없도록 계속해서 변하도록 설계됩니다. 이는 마치 서퍼를 훈련시키는데, 파도가 한 번 정해지는 것이 아니라 세션 내내 끊임없이 크기와 모양이 변하는 수영장에서 훈련시키는 것과 같습니다. 목표는 서퍼(또는 트레이딩 로봇)를 건강한 불확실성 상태에 머물게 하여, 어떤 상황에도 대비할 수 있도록 만드는 것입니다.

연구진은 이 아이디어를 금융 문제, 구체적으로는 주식 포트폴리오에 대한 보험을 드는 것과 같은 **헤징(hedging)**에 테스트했습니다. 그들은 두 가지 유형의 훈련 시뮬레이터를 비교했습니다. 첫 번째는 기존의 "정적(static)" 버전으로, 숨겨진 규칙(예: 시장 변동성)이 시작 단계에서 한 번 결정되면 그대로 유지되는 방식입니다. 두 번째는 그들의 새로운 "리프레시(refresh)" 버전으로, 규칙이 가끔씩 새로운 값으로 무작위 점프할 수 있어 모호성을 계속 유지하는 방식입니다.

결과는 명확했습니다. 기존 방식의 시뮬레이터로 훈련받은 로봇들은 시장을 예측하는 데 매우 뛰어난 능력을 보였지만, 시장이 갑자기 변하는 순간까지였습니다. "체제 변화(regime shift)"가 발생하자, 그들은 과거의 예측에 너무 확신을 가졌던 탓에 성능이 급락했습니다. 너무 빨리 전문화되어 버린 것입니다. 반면, 정적 모호성으로 훈련받은 로봇들은 결코 자만하지 않았습니다. 그들은 건강한 수준의 의구심을 유지했고, 이는 시장 규칙이 변했을 때 훨씬 더 잘 적응할 수 있음을 의미했습니다. 저자들이 이 로봇들을 실제 역사적 주식 시장 데이터로 테스트했을 때, "정적" 로봇들은 과도하게 자신만만했던 로봇들보다 일관되게 손실을 적게 보았고 시장 폭락 상황을 더 잘 관리했습니다.

이 논문은 이것이 단순히 금융을 위한 기술이 아니라, 환경이 예측 불가능하고 제어기가 환경을 고정시킬 수 없는 모든 시스템을 위한 근본적인 설계 원칙임을 시사합니다. 시뮬레이션 속에 지속적인 신비로움을 유지하도록 설계함으로써, 우리는 단순히 과거를 암기하는 것이 아니라, 놀라운 미래에도 살아남을 수 있는 강건함을 갖춘 AI를 만들 수 있습니다.

기술 요약: 정적 모호성 하에서의 강건한 제어 (Robust Control Under Stationary Ambiguity)

문제 정의

확률적 제어 문제, 특히 금융(예: 최적 투자 및 파생상품 헤징)에서 정책은 흔-히 시뮬레이터 내에서 최적화됩니다. 이러한 시뮬레이터는 제한된 과거 데이터를 통해 추정된 파라미터 $x$ 에 의존하며, 이는 파라미터 불확실성(모호성)을 도입합니다. 이를 처리하기 위한 일반적인 접근 방식은 **도메인 무작위화(Domain Randomization)**로, 시뮬레이터 파라미터 $x$ 를 각 훈련 에피소드가 시작될 때 분포 $\nu$ 로부터 추출되는 확률 변수로 취급하는 것입니다.

그러나 **정적 잠재 모델(Static Latent Model, SLM)**이라 불리는 이 표준 접근 방식은 **모호성 소멸(vanishing ambiguity)**이라는 치명적인 결함을 가집니다. 파라미터 $x$ 가 훈련 에피소드 동안 고정되어 있기 때문에, 제어 정책은 시스템의 출력 $Y$ 를 관찰함에 따라 $x$ 의 값을 점점 더 정밀하게 추론하게 됩니다. 결과적으로 $x$ 에 대한 정책의 사후 믿음(posterior belief)은 시간이 지남에 따라 집중(concentrate)되며, 정책은 자신이 추론한 특정 레짐(regime)에 특화(specialize)됩니다.

이러한 특화 현상은 모호성 역학(ambiguity dynamics)에서 심-투-리얼(sim-to-real) 격차를 만듭니다. 금융 시장과 같은 실제 시스템에서 잠재적 레짐(예: 변동성 또는 상관관계)은 시간이 지남에 따라 변화하거나 표류할 수 있습니다. 소멸하는 모호성 하에서 훈련된 정책은 현재 레짐에 대한 자신의 추정치에 과도하게 확신을 갖게 되어, 레짐이 변할 때 적응하지 못하고 성능 저하를 초과하게 됩니다.

방법론

저자들은 강건성의 저하를 해결하기 위해 **정적 모호성(Stationary Ambiguity)**이라는 새로운 모델링 원칙을 제안합니다.

1. 공식 정의

정적 모호성은 시뮬레이터가 정적 필터 프로세스(stationary filter process) $\pi_t := P(X_t \in \cdot \mid Y_{\le t})$ 를 유도할 것을 요구합니다.

정적 레짐에서, 잠재 상태 $X_t$ 에 대한 모호성의 평균량(조건부 분산으로 측정됨)은 시간이 지나도 일정하게 유지됩니다.
이는 누적된 관측 이력으로부터 정적 파라미터가 추론될 때 발생하는 체계적인 불확실성 감소를 방지합니다.

2. 리프레시 잠재 모델 (Refresh Latent Model, RLM)

실무에서 정적 모호성을 근사하기 위해, 저자들은 **리프레시 잠재 모델(RLM)**을 도입합니다.

$X$ 를 매 에피소드마다 한 번씩 정적으로 추출하는 대신, 잠재 파라미터 $X_t$ 를 정적 마르코프 과정으로 모델링합니다.
구체적으로, 저자들은 $X_t$ 가 확률 $1-\alpha$ 로 $X_{t-1}$ 과 동일하게 유지되거나, 확률 $\alpha$ 로 $\nu$ 에서 새로 추출된 값으로 "리프레시(refresh)"되는 전이 커널을 사용합니다.
핵심 속성: 잠재 파라미터가 가끔 새로운 값으로 점프하기 때문에, 먼 과거의 관측값은 현재 상태에 대해 정보를 제공하는 능력이 떨어집니다. 이는 필터가 집중되는 것을 방지하여, 제어 기간 내내 제로가 아닌 수준의 모호성을 유지하게 합니다.

3. 시뮬레이션 설정

제어 문제의 시작부터 정책이 정적 모호성 하에서 작동하도록 하기 위해 다음을 수행합니다:

웜업 기간(Warm-up Period): 시뮬레이터를 무한한 과거(또는 충분히 긴 유한한 과거 $H$ )의 정상 분포 상태에서 초기화합니다. 정책은 첫 번째 제어 결정을 내리기 전에 이 이력을 관찰합니다.
초기화: 저자들은 결정론적인 잠재 상태 초기화(예: 분산 $V_0 = v_0$ 로 설정)가 $t=0$ 이후 모호성의 체계적인 증가를 초래하여 정적 모호성을 위반한다고 강조합니다. 대신 관측된 이력에 기반한 조건부 초기화나 정상 분포로부터의 초기화를 권장합니다.

주요 기여

모호성 소멸 분석: 본 논문은 정적 무작위화(SLM) 하에서 최적화된 정책이 추론된 잠재 레짐에 점진적으로 특화된다는 것을 입증합니다. 최적 투자 및 헤징 작업에서, 이는 레짐이 변할 때 정책이 새로운 조건에 빠르게 적응하지 못하게 하여 강건성의 상실을 초라합니다.
정적 모호성 원칙: 저자들은 시뮬레이터가 정적 필터 프로세스를 유도해야 한다는 요구 사항을 공식화합니다. 또한 이를 달성하기 위한 충분 조건(예: 결합 과정 $(X, Y)$ 가 정적 마르코프 과정임)과 실용적인 레시피(RLM)를 제공합니다.
헤징에서의 경험적 검증: 세 가지 뚜렷한 헤징 문제(Black-Scholes의 변동성 불확실성, Heston의 상관관계 불확실성, 다자산 모델의 공분산 불확실성)를 통해, RLM(정적 모호성) 하에서 훈련된 정책은 강건성을 유지하는 반면, SLM 정책은 성능이 저하됨을 보여줍니다.
실제 시장 백테스트: S&P 100 주식 데이터를 사용한 대규모 케이스 스터디에서, 정적 무작위화 및 표준 Black-Scholes 벤치마크보다 정적 모호성 하에서 훈련된 정책이 우수한 성능을 보였으며, 특히 레짐 변화(큰 변동성 변화) 시기에 그러했습니다.

결과

시뮬레이션 실험

투자 문제: 정적 무작위화 하에서 최적 투자 전략은 추론된 드리프트(drift)에 특화된 결정론적 전략이 됩니다. 드리프트 레짐이 변할 때, SLM 정책은 느리게 적응하여 상당한 효용 손실을 입습니다. 정적 모호성으로 훈련된 RLM 정책은 행동의 분포를 유지함으로써 레짐 변화에 더 빠르게 적응할 수 있게 합니다.
헤징 문제 (BS-VOL, HESTON-CORR, BS-COV):
- 초기 강건성: 두 방식(SLM 및 RLM) 모두 고정된 레짐 범위에서 평가될 때 "플러그인(plug-in)" 정책(단일 고정 파라미터로 훈련된 정책)보다 우수한 성능을 보입니다.
- 지속적 강건성: 레짐 변화(사전 훈련 레짐 $\neq$ 트레이딩 레짐)가 있는 경로에서 평가할 때, SLM 정책은 사전 훈련 레짐에 따라 성능 편차가 크게 나타나며 이는 그들이 특화되었음을 나타냅니다. 반면 RLM 정책은 최소한의 편차를 보이며, 사전 훈련 이력과 관계없이 일관된 성능을 유지합니다.
- 필터링 동작: 신경망 정책의 내부 상태를 조사한 결과, SLM 정책은 시간이 지남에 따라 높은 확신(낮은 분산)을 가지고 잠재 상태를 필터링하는 법을 배우는 반면, RLM 정책은 더 높고 안정적인 불확실성 수준을 유지하여 새로운 관측값을 레 regime 변화의 증거로 취급할 수 있게 합니다.

실제 시장 백테스트

S&P 100의 일일 데이터를 사용하여 10가지 서로 다른 페이오프 구조에 대한 헤징 정책을 백테스트했습니다. 훈련 기간은 2006년 1월부터 2015년 12월까지이며, 평가(백테스트) 기간은 2016년 1월부터 2025년 12월까지입니다.
전반적인 성능: RLM 정책은 일반적으로 SLM 정책 및 표준 Black-Scholes 벤치마크(BS-EWMA, BS-HIST)보다 낮은 스펙트럴 리스크(spectral risk)를 달성했습니다.
레짐 변화: 변동성 변화가 큰 기간 동안 성능 격차가 크게 벌어졌습니다. 사전 훈련 레짐에 특화된 SLM 정책은 시장 레짐이 변했을 때 성능이 저하된 반면, RLM 정책은 강건함을 유지했습니다.

의의 및 주장

본 논문은 정적 모호성이 변화하는 잠재 구조를 가진 외생적 확률 과정에 의해 구동되는 제어 문제를 위한 시뮬레이터 설계에 있어 핵심적인 모델링 원칙이라고 주장합니다.

강건성 보존: 주요 의의는 정적 모호성이 정책의 "과도한 특화"를 방지하여, 강건성이 시간이 지남에 따라 감소하는 것이 아니라 유지되도록 한다는 점입니다.
실무적 설계 가이드: 저자들은 실무자들이 다음과 같이 할 것을 권고하는 구체적인 "레시피"를 제공합니다:
1. 파라미터를 정적 추출이 아닌 정적 마르코프 과정(RLM과 같은)을 사용하여 무작위화하십시오.
2. 시뮬레이터를 결정론적 방식이 아닌 웜업이나 조건부 초기화를 통해 정상 상태에서 초기화하십시오.
3. 시뮬레이터의 잠재 역학이 컨트롤러가 확실하게 예측할 수 없는 레짐 변화를 허용하도록 하십시오.
적용 가능성: 실험은 금융 헤징에 집중되어 있지만, 저자들은 이 원칙이 (탐색이 없는 경우) 컨트롤러가 잠재 상태에 영향을 미칠 수 없는 모든 순차적 제어 문제(예: 재고 관리, 에너지 저장)에도 적용될 수 있다고 주장합니다.

결론적으로, 모호성의 역학(즉, 모호성이 소멸하는 것)을 무시하는 것은 시뮬레이션과 현실 사이의 근본적인 격차를 만들며, 정적 모호성을 강제하는 것은 역동적이고 불확실한 환경에서 강건한 제어 정책을 배포하기 위한 필수적인 단계입니다.