💰 quantitative finance

Tackling Decision Processes with Non-Cumulative Objectives using Reinforcement Learning

이 논문은 비누적 마르코프 결정 과정(NCMDP)을 표준 MDP로 변환하는 일반적인 매핑을 도입하여, 기존의 강화 학습 기법을 직접 적용해 임의의 보상 함수를 최적화할 수 있게 하고 다양한 작업 전반에서 향상된 성능과 훈련 효율성을 입증한다.

원저자: Maximilian Nägele, Jan Olle, Thomas Fösel, Remmy Zen, Florian Marquardt

게시일 2026-10-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Maximilian Nägele, Jan Olle, Thomas Fösel, Remmy Zen, Florian Marquardt

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에는 기계가 어떻게 의사결정을 내리는지 가르치기 위해 사용되는 강력한 프레임워크가 있습니다. 로봇이 걷는 법을 배우거나, 컴퓨터 프로그램이 비디오 게임을 마스터하거나, 트레이딩 알고리즘이 주식 포트폴리오를 관리하는 모습을 상상해 보십시오. 이러한 시스템은 주변 환경에 대응하여 일련의 행동을 차례대로 수행하며 작동합니다. 매 움직임마다 시스템은 그 행동이 좋았는지 나빴는지를 알려주는 신호, 흔히 '보상(reward)'이라 불리는 것을 받습니다. 수십 년 동안 이러한 시나리오에서 성공을 위한 표준 규칙은 단순했습니다. 바로 시간이 흐름에 따라 수집된 모든 보상의 총합을 극대화하는 것입니다. 만약 로봇이 앞으로 한 걸음 내디딜 때마다 작은 점수를 받는다면, 목표는 여정의 끝까지 가능한 한 많은 점수를 얻는 것입니다. 마르코프 결정 과정(Markov decision process)으로 알려진 이 접근 방식은 산업용 로봇부터 자율주행 자동차에 이르기까지 모든 것을 안내하며 매우 성공적으로 활용되어 왔습니다.

하지만 현실 세계는 단순히 점수를 합산하는 표보다 훨씬 더 복잡할 때가 많습니다. 때로는 가장 중요한 결과가 발생한 모든 좋은 일의 총량이 아니라, 발생했던 최악의 순간이나 시간 경과에 따른 성과의 일관성일 수 있습니다. 우주선이 행성에 착륙하는 경우를 생각해 보십시오. 목표는 단순히 안전하게 착륙하는 것이 아니라, 비행이 얼마나 부드러웠는지와 상관없이 하강하는 동안 내내 위험한 속도를 초과하지 않도록 보장하는 것입니다. 금융 분야에서 투자자는 1년 동안 만든 총 이익보다는 그 이익이 얼마나 변동했는지에 더 관심을 가질 수 있으며, 위험한 도박보다는 꾸준한 수익을 추구할 수 있습니다. 이러한 시나리오는 연구자들이 '비누적 목적 함수(non-cumulative objectives)'라고 부르는 것을 포함하는데, 여기서 최종 점수는 최대값이나 평균 이익 대 변동성 비율과 같이 전체 보상의 이력에 대한 특정 함수에 달려 있습니다. 지금까지 인공지능에게 이러한 복잡하고 이력에 의존적인 목표를 최적화하도록 가르치는 것은 어려웠으며, 새로운 문제에 적용하기 까다로운 맞춤형 알고리즘을 필요로 하는 경우가 많았습니다.

막스 플랑크 광학 연구소(Max Planck Institute for the Science of Light)와 에를랑겐-뉘른베르크 대학교(Friedrich-Alexander-Universität Erlangen-Nürnberg)의 연구진은 이 문제에 대한 일반적인 해결책을 개발했습니다. 그들은 이러한 복잡한 비누적 과제들을 기존의 강력한 인공지능 도구들이 이미 해결할 수 있는 표준 형식으로 변환하는 방법을 발견했습니다. 새로운 유형의 학습 알고리즘을 처음부터 발명하는 대신, 그들은 다리를 놓았습니다. 그들은 기계가 현재 상황을 인식하는 방식과 즉각적인 피드백을 계산하는 방식을 약간 수정함으로써, 어떤 복잡한 목표라도 표준적인 '보상의 합' 문제로 변환될 수 있음을 보여주었습니다. 이를 통해 연구자들은 현재 사용 가능한 가장 진보된 기성 학습 소프트웨어를 가져와, 소프트웨어 자체를 수정할 필요 없이 이전에는 손이 닿지 않았던 문제들에 직접 적용할 수 있게 되었습니다.

그들의 방법의 핵심은 인공 에이전트에게 약간의 기억력을 부여하는 것입니다. 표준 설정에서 에이전트는 결정을 내리기 위해 현재의 상태만을 알면 됩니다. 하지만 목표가 보상의 전체 이력(예를 들어 지금까지 본 최고 속도)에 달려 있다면, 에이전트는 그 정보를 가지고 다녀야 합니다. 연구진은 에이전트의 '상태(state)'를 지금까지 관찰한 최고 또는 최저 보상과 같은 과거의 요약 정보를 포함하도록 확장하는 시스템을 제안했습니다. 동시에, 에이전트가 각 단계에서 받는 즉각적인 보상을 조정했습니다. 에리전트는 단순히 현재의 행동을 반영하는 보상을 받는 대신, 전체 여정 동안 합산되었을 때 복잡한 목표를 완벽하게 재구성할 수 있는 계산된 값을 받게 됩니다. 예를 들어, 목표가 최대 속도를 최소화하는 것이라면, 에리전트는 새로운 속도 기록을 세울 때만 벌칙을 받는 방식으로 보상을 받아, '최대값의 최소값' 문제를 표준적인 '합'의 문제로 바꿀 수 있습니다.

이 접근 방식은 다양한 어려운 과제들을 통해 그 범용성을 입증하며 테스트되었습니다. 달 착륙선 시뮬레이션에서 연구진은 우주선의 최대 속도를 엄격히 제한하면서 착륙하도록 에이전트를 훈련시켰습니다. 그들은 비행 끝에 벌칙을 더하는 방식으로 목표를 근사하려 했던 표준 방식과 이들의 방법을 비교했습니다. 최대 속도를 연속적인 학습 과정의 일부로 취급한 새로운 방법은 안전한 착륙과 효율적인 이동 사이에서 훨씬 더 나은 균형을 찾아냈습니다. 금융 영역에서는 평균 이익을 이익의 변동성으로 나눈 위험 조정 수익률 지표인 샤프 지수(Sharpe ratio)를 극대화하는 포트폴리오 최적화에 이 기술을 적용했습니다. 기존 방식들은 이 비율을 대략적으로 추정하는 데 의존해야 했습니다. 새로운 매핑을 사용함으로써, 에이전트들은 정확한 비율을 직접 학습하여 훈련 기간 동안 훨씬 더 나은 투자 전략을 학습할 수 있었습니다.

연구진은 또한 양자 논리 게이트의 가장 효율적인 배치를 찾거나 양자 컴퓨팅에 사용되는 복잡한 다이어그램을 단순화하는 것과 같은 이산 최적화 문제도 탐구했습니다. 이러한 과제에서 목표는 종 often 경로상의 모든 개선 사항의 합이 아니라, 긴 탐색 과정 중 도달한 단 하나의 최적 상태를 찾는 것입니다. 여기서 새로운 방법은 에이전트가 더 대담하게 탐색할 수 있도록 해주었습니다. 에이전트는 더 나은 솔루션에 도달하기 위해 필요한 일시적인 후퇴에 대해 벌칙을 받지 않았기 때문에, 표준적인 누적 보상을 사용하는 에이전트보다 더 빠르게 학습하고 더 높은 품질의 솔루션을 찾아냈습니다. 양자 오류 정정(quantum error correction)과 관련된 한 실험에서, 이 새로운 방법은 성능을 상당한 차이로 개선하며 더 짧은 시간 내에 더 나은 솔루션을 찾아냈습니다.

이 연구의 강점은 단순함과 일반성에 있습니다. 연구진은 새로운 학습 알고리즘을 만든 것이 아니라, 번역 계층(translation layer)을 만들었습니다. 이는 로보틱스에서 금융에 이르기까지 특정 분야의 전문가들이 자신의 문제를 가져와 이 매핑을 적용하기만 하면, 현재 사용 가능한 가장 강력한 강화 학습 도구들을 즉시 사용할 수 있음을 의미합니다. 이 방법은 예측 가능한 환경과 무작위 노이즈가 가득한 환경 모두에서 작동하며, 단순한 목표와 복잡한 목표를 모두 처리할 수 있습니다. 연구진은 에이전트에게 요구되는 확장된 메모리가 문제를 약간 더 크게 만들 수 있다고 언급했지만, 현대의 딥러닝 기술은 이를 처리하기에 충분한 역량을 갖추고 있습니다. 결과적으로, 이 연구는 복잡한 현실 세계의 목표와 정교한 인공지능 도구 사이의 장벽을 제거하는 통합된 프레임워크를 제공하며, 기계가 이전에는 정의하기 너무 어려웠던 전략들을 학습할 수 있는 문을 열어주었습니다.

기술 요약: 강화 학습을 이용한 비누적 목적 함수 기반 의사결정 프로세스 해결

문제 정의

표준 마르코프 결정 과정(MDP)은 궤적에 따른 기대 보상의 합 $E_\pi [\sum_{t=0}^{T-1} r_t]$ 을 최대화함으로써 의사결정을 모델링합니다. 그러나 많은 실제 응용 분야에서는 보상의 합이 아닌, 임의의 함수 $f$ 의 기대값을 최적화해야 하는 **비누적 마르코프 결정 과정(NCMDP)**을 요구합니다:
$E_\pi [f(\tilde{r}_0, \tilde{r}_1, \dots, \tilde{r}_{T-1})]$
이러한 목적 함수의 예로는 최소 보상 극대화(최약체 연결 문제), 샤프 지수(수익률의 평균을 표준편차로 나눈 값) 최적화, 또는 제어 작업에서의 최대 속도 최소화 등이 있습니다. 기존의 NCMDP 해결 방법들은 한계가 있습니다. 이들은 종종 목적 함수를 특정 함수(예: 최댓값)로 제한하거나, 결정론적 환경에서만 작동하거나, 핵심 강화 학습(RL) 알고리즘(예: 시간차 오차 재정의)을 수정해야 합니다. 결과적으로 최신 RL 접근 방식들은 근사치에 의존하거나 확률적 NCMDP를 효과적으로 처리하지 못하는 경우가 많습니다.

방법론

저자들은 임의의 NCMDP를 표준 MDP로 매핑하는 일반적인 이론적 프레임워크를 제안하며, 이를 통해 알고리즘의 수정 없이 기존의 MDP 솔버(예: 동적 계획법 또는 PPO와 같은 심층 RL 알고리즘)를 직접 적용할 수 있게 합니다.

매핑 메커니즘

핵심 혁신은 확장된 상태 공간과 적응형 보상 함수를 구축하는 것입니다. 주어진 NCMDP $\tilde{M}$ (상태 $\tilde{s}_t$ , 보상 $\tilde{r}_t$ , 목적 함수 $f$ )에 대해, 대응하는 MDP $M$ 은 다음과 같이 정의됩니다:

적응형 상태 ( $s_t$ ): 상태 공간은 목적 함수를 계산하는 데 필요한 보상 이력의 모든 정보를 캡슐화하는 이력 벡터 $h_t$ 를 포함하도록 확장됩니다.
$s_t = (\tilde{s}_t, h_t)$
벡터 $h_t$ 는 각 단계에서 함수 $u$ 를 통해 업데이트됩니다: $h_{t+1} = u(h_t, \tilde{r}_t)$ . 최댓값, 최솟값, 샤프 지수와 같은 많은 일반적인 함수들의 경우, $h_t$ 는 일정한 크기로 유지될 수 있습니다.
적응형 보상 ( $r_t$ ): 새로운 MDP에서의 즉각적 보상은 목적 함수 값의 증분 변화로 정의됩니다:
$r_t = f(\tilde{r}_0, \dots, \tilde{r}_t) - f(\tilde{r}_0, \dots, \tilde{r}_{t-1}) = \rho(h_t, \tilde{r}_t)$
이는 MDP에서의 적응형 보상의 누적 합이 원래 NCMDP의 비누적 목적 함수와 같아짐을 보장합니다:
$\sum_{t=0}^{T-1} r_t = f(\tilde{r}_0, \dots, \tilde{r}_{T-1})$
동등성: 저자들은 구축된 MDP의 최적 정책이 원래 NCMDP의 최적 정책과 동일함을 증명합니다. 또한, 모든 정책은 두 형식 모두에서 동일한 기대 수익을 산출합니다. 이를 통해 표준 수렴 보장(예: Q-learning 또는 정책 경사법)을 NCMDP에 직접 적용할 수 있습니다.

구현

이 접근 방식은 NCMDP 환경과 MDP 솔버를 블랙박스로 취급합니다. 중간 계층이 적응형 상태와 보상을 계산하며, 이는 기저의 RL 알고리즘을 변경할 필요가 없습니다. 이는 비누적 문제를 위해 표준 라이브러리(예: Stable-Baselines3)를 사용하는 것을 용이하게 합니다.

주요 기여

이론적 프레임워크: 결정론적 및 확률적 환경 모두에서 임의의 비누적 목적 함수를 수용하는 NCMDP에서 표준 MDP로의 일반적인 매핑 도입.
알고리즘 불가지론(Algorithmic Agnosticism): 업데이트 규칙을 재정의해야 했던 이전 연구들과 달리, 알고리즘 자체를 수정하지 않고도 기존의 모든 MDP 솔버를 사용할 수 있게 함.
상태 공간 관리: 추가된 상태 정보 $h_t$ 가 일정한 크기를 유지할 수 있는 조건을 식별하여, 확장된 상태 공간에도 불구하고 딥 RL 기법에 대한 확장성을 확보함.
실증적 검증: 고전 제어, 금융 포트폴리오 최적화, 이산 최적화를 포함한 다양한 도메인에서 방법론의 효과 입증.

실험 결과

저자들은 세 가지 도메인에서 자신들의 접근 방식을 표준 MDP 구성 및 이전의 NCMDP 전용 방법들과 비교 평가했습니다:

고전 제어 (Lunar Lander): 궤적 중 최대 속도에 의해 페널티를 받는 보상 함수를 최대화하는 작업입니다. 제안된 방법(MAXVELPPO)은 마지막에만 페널티를 더하는 누적 접근 방식(FINALPPO)보다 착륙 안전성과 최대 속도 사이의 우수한 트레이드오프를 달성했습니다. 이력(history)을 누적 에이전트에 추가하는 것은 성능 향상을 가져오지 못했지만, 매핑 접근 방식은 이력을 자연스럽게 통합했습니다.
포트폴리오 최적화: 샤프 지수를 최대화하는 것이 목표입니다. 제안된 방법(SHARPE)은 미분 샤프 지수 근사치(DIFFSHARPE)나 최종 보상 방식(FINALSHARPE)을 사용하는 에이전트보다 정확한 샤프 지수를 직접 최적화하여 더 우수한 성능을 보였습니다.
이산 최적화:
- Peak 환경: 전역 최솟값을 찾기 위해 간헐적인 비용 증가가 필요한 토이 문제에서, 비누적 목적 함수(MAXREINFORCE)가 누적 베이스라인보다 훨씬 빠르게 학습되었습니다. 분석 결과, 이는 그래디언트 분산의 감소와 더 유리한 그래디언트 방향 덕분인 것으로 나타났습니다.
- 양자 오류 정정 및 ZX-Diagram: 양자 회로 발견 및 ZX-diagram 단순화 작업을 포함하는 작업에서, 비누적 접근 방식(MAXPPO)은 일반적으로 표준 PPO보다 우수한 성능을 보였습니다. ZX-diagram 작업에서 비누적 에이전트는 더 효과적으로 탐색(더 높은 정책 엔트로피)하였으며, 누적 에이전트가 필요로 하는 학습 단계의 약 절반 정도만으로 최적 성능에 도달했습니다.

의의 및 주장

본 논문은 이 연구가 비누적 목적 함수를 표준 MDP 솔버와 통합함으로써 강화 학습의 범위를 크게 확장한다고 주장합니다. 저자들은 다음을 강조합니다:

이 방법은 특화되어 있고 종종 결정론적 환경에만 국한되었던 NCMDP 알고리즘의 필요성을 제거합니다.
연구자들이 근사치 없이 정확한 목적 함수(예: 샤프 지수, 최소 보상)를 에이전트에 직접 지정할 수 있게 합니다.
매핑 계층만을 필요로 하는 간단한 구현 방식으로, RL 전문가가 아닌 도메인 전문가들도 쉽게 접근할 수 있습니다.
목적 함수가 궤적의 이력에 의존하는 작업에서 최종 성능과 학습 효율성을 모두 개선합니다.

저자들은 몇 가지 한계점도 언급했습니다. 예를 들어, 상태 공간 크기가 증가할 가능성(비록 딥 RL에 의해 관리 가능한 수준이지만)과, 궤적이 긴 일부 이산 최적화 작업에서 에이전트가 빈번하게 보상을 얻지 못할 경우 초기 학습이 느려질 수 있다는 점입니다. 또한, 본 방법이 훈련된 환경 내에서의 성능은 향상시키지만, 금융 데이터와 같이 보지 못한 기간(unseen periods)에 대한 일반화 문제는 모든 RL 에이전트가 직면한 공통된 과제로 남아 있음을 인정했습니다.