Evaluating AI Investment Strategies

기술 요약: AI 투자 전략 평가

문제 정의
본 논문은 헤지펀드, 로보 어드바이저, 실행 알고리즘과 같은 순차적 환경에서 "블랙박스" 알고리즘 의사결정자를 감사하는 데 따르는 결정적인 과제를 다룹다. 규제 기관(예: SR 11-7 및 SR-26-2에 의거)과 플랫폼 설계자들은 내부 소스 코드나 개인화된 에이전트 유형에 접근하지 않고도 알고리즘 전략을 평가할 수 있는 성능 지표를 필요로 한다. 단일 기간 감사는 가능하지만, 관리자가 매 기간 새로운 데이터에 기반하여 재최적화를 수행하는 다기간 확률적 동적 계획법(stochastic dynamic programs)으로 이러한 방법을 확장하는 것은 여전히 미해결 과제로 남아 있다. 핵심적인 어려움은 누적 후회(cumulative regret, 실현된 성과와 이론적 최적 벤치마크 사이의 격차)가 관측 가능한 양(입력값과 출력값)만으로 분해될 수 있는지 여부를 결정하는 것이다.

방법론 및 이론적 프레임워크
저자는 일반적인 유한 시계(finite-horizon) 확률적 동적 계획법을 정식화하며, 여기서 정책 $\hat{\pi}_t$는 관측된 상태와 비용 벡터 $c_t$를 결정 $z_t$로 매핑한다. 벤치마크는 현재 정보가 주어졌을 때 기대 비용을 최소화하는 조건부 평균 최적 정책 $\pi^*_t$로 정의된다.

중심적인 방법론적 기여는 누적 후회에 대한 정확한 분해식을 도출하는 것이다. 본 논문은 특정 조건 하에서 $T$ 기간 동안의 총 후회가 비용 벡터와 정책 결정 사이의 기간별 공분산 합과 편향 수정 항(bias correction term)의 합과 같음을 입증한다:
$$\text{Regret}^{(T)}(\Pi) = \sum_{t=1}^T \text{Cov}(c_t, \hat{\pi}_t(c_t)) + \sum_{t=1}^T \bar{c}_t^\top b_t$$
여기서 $b_t = E[\hat{\pi}_t(c_t)] - \pi^*_t$는 기간별 정책 편향을 나타낸다.

분석은 다음과 같은 몇 가지 이론적 확장을 통해 진행된다:

1. i.i.d. 비용: 독립 항등 분포(i.i.d.) 비용 및 평균 불편 마르코프 정책(mean-unbiased Markov policies, 즉 $E[\hat{\pi}_t] = \pi^*_t$) 하에서는 편향 항이 사라지며, 후회가 공분산의 합과 같다는 정확한 항등식이 성립한다.
2. 비정상성(Non-Stationarity): 시변 비용 분포의 경우, 본 논문은 비용 증분의 교차 기간 공분산에 의해 경계가 지어지는 폐쇄형 편향 수정 항을 도출한다.
3. 무한 시계: 할인된 시계(discounted-horizon) 유사성을 확립하여, 할인된 후회가 유효 시계 $1/(1-\gamma)$에 선형적으로 비례함을 보여준다.
4. AR(1) 프로세스: 평균 회귀적 실행 비용(AR(1)으로 모델링됨)에 대해, 본 논문은 특정 자기 공분산 수정 항을 도해하며, 원시 공분산 합이 자기상관의 부호에 따라 실제 후과를 과대평가하거나 과소평가할 수 있음을 증명한다.
5. 벨만 재귀(Bellman Recursion): 공분산 후회 범함수에 대한 벨만 스타일의 재귀식이 도출되며, 이는 강화 학습의 Q-함수와 구조적으로 유사하다. 이를 통해 원래의 최적화 문제를 풀지 않고도 표준 동적 계획법 알고리즘을 사용하여 다기간 후회를 추정할 수 있다.

주요 기여
본 논문은 여덟 가지 구체적인 기여를 한다:

• 정확한 분해: i.i.d. 비용 및 평균 불편 정책 하에서 총 기대 후개가 기간별 입력-출력 공분산의 합으로 정확히 분해됨을 증명함.
• 편향 특성화: 비정상 비용 및 시변 정책에 대한 폐쇄형 편향 수정 항을 도출하며, 특히 모멘텀 전략의 편향을 $O(|\hat{\rho}|T\sigma_c^2)$로 정량화함.
• 알고리즘 감사 도구: 궤적 공분산 추정기(trajectory covariance estimator)를 제안하며, 이는 일관적(consistent)이고 HAC(이분산성 및 자기상관 일치) 분산을 가지며 $O(T \cdot nd)$ 시간에 계산 가능하다. 이는 관측 가능한 비용 및 할당 시퀀스만을 사용하여 모델 프리(model-free) 감사를 가능하게 한다.
• 금융 응용: 롤링 윈도우 포트폴리오 재조정(추정 오차 편향이 $O(d/w)$임을 보임) 및 평균 회귀적 실행 비용(폐쇄형 AR(1) 수정을 제공함)에 이론을 적용함.
• 강화 학습과의 연결: 표준 RL 인프라(예: fitted-Q)가 도출된 벨만 재귀를 통해 다기간 후회를 추정하는 데 재용도화될 수 있음을 입증함.

실증 결과
이론은 2016년 1월부터 2025년 12월까지의 CRSP 일간 수익률 데이터를 사용하여 검증되었다.

• AR(1) 계수: 일간 AR(1) 계수는 모든 연도와 NBER 경기 국면에서 지속적으로 음수($\hat{\rho} \in [-0.144, -0.004]$)를 기록했으며, 이는 단기 시계의 반전(reversal)이 모멘텀을 압도했음을 나타낸다.
• 전략 성과: 회귀(reversion) 전략이 10년 중 7년 동안 모멘텀 전략보다 우수한 성과를 보였다.
• 편향 수정: 편향이 수정된 회귀 전략은 모멘텀 역학이 왜곡되었던 2019년과 2022년에 원시 회귀 전략이 실패했을 때도 최적의 위험 조정 성과를 제공했다. 편향 수정은 유리한 해에는 약간의 비용을 발생시키지만, 모멘텀 역학이 왜곡될 때 상당한 이득을 가져다주는 "보험" 역할을 한다.
• 강건성: 본 논문은 크기 효과(size effects), 호가 스프레드 바운스(bid-ask bounce), 변동성 클러스터링, 횡단면 및 시계열 모멘텀, 유동성 공급 등 추정된 $\hat{\rho}$를 상향 편향시킬 수 있는 다섯 가지 혼란 변수를 식별한다. 결과적으로 계산된 후회 수치는 모멘텀에 의한 손실에 대한 보수적인 상한선이다.

의의 및 주장
본 논문은 알고리즘 감사를 통계적 검정 문제로 재정의함으로써 규제 감독을 위한 "다루기 쉬운 해결책"을 제공한다고 주장한다.

• 규제 기관을 위해: 컴플라이언스 담당자는 독점적인 최적화 엔진에 접근할 필요 없이 관측 가능한 입력 및 출력을 사용하여 누적 후회에 대한 신뢰 구간을 구축할 수 있으며, 이는 SR 11-7과 같은 명령을 충족한다.
• 메커니즘 설계를 위해: 이 항등식은 주체(principal)가 에이전트의 사적 유형에 접근하지 않고도 에이전트의 후회를 제한할 수 있게 하여, 블랙박스 감사를 게임 이론의 공분산 추정 문제와 연결한다.
• 정책 개선을 위해: 벨만 재귀는 점 단위의 공분산 감소가 다기간 후회 개선의 충분 조건임을 의미하며, 이는 전체 전략 열거에 대한 계산적으로 용이한 대안을 제공한다.

저자는 기술적 분해가 명시된 가정 하에 정확히 성립하지만, 관측되지 않은 미시구조 노이즈와 요인 노출로 인해 실증적 추정치는 상한선 역할을 한다는 점을 언급하며 실증적 후의 크기에 대해 겸허한 입장을 유지한다. 주요 가치 제안은 순차적 의사결정 시스템의 성과 귀속을 위한 엄격하고 모델 프리한 지표를 확립하는 데 있다.