🤖 machine learning

Utility-Constrained Policy Optimization

이 논문은 리스크 민감형 제약 조건과 추가적인 학습 비용 없이 제약 한계의 유연한 사후 조정을 가능하게 하는 효용 제약 MDP(UCMDP)를 위한 실용적인 방법론을 소개하며, Safety Gymnasium 벤치마크에서 최첨단 성능을 달성한다.

원저자: Mehrdad Moghimi, Bernardo Avila Pires

게시일 2026-06-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mehrdad Moghimi, Bernardo Avila Pires

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 자동차 운전법을 가르치고 있다고 상상해 보세요. 당신의 목표는 로봇이 목적지에 최대한 빨리 도착하도록 하는 것(보상 극대화)입니다. 하지만 당신에게는 엄격한 규칙이 하나 있습니다. 로봇은 연료를 다 써버리거나 무언가에 충돌해서는 안 된다는 것입니다(비용 최소화).

인공지능의 세계에서 이는 보통 CMDP(제약 마르코프 결정 과정)라고 불리는 시스템에 의해 처리됩니다. 이것은 마치 엄격한 선생님이 "평균적으로 너는 기름을 25갤런만 사용할 수 있어"라고 말하는 것과 같습니다.

기존 방식의 문제점 (위험 중립적 방식)

기존 방식에는 교묘한 허점이 있습니다. 이 방식은 오직 평균에만 관심을 갖기 때문에, 로봇은 다음과 같은 기괴한 전략을 세울 수 있습니다:

99%의 시간 동안은 매우 느리고 조심스럽게 운전하여 기름을 거의 쓰지 않습니다.
1%의 시간 동안은 무모하게 운전하여 벽에 들이받고 2,000갤런의 기름을 써버립니다.

수학적으로 평균은 여전히 25갤런 미만일 수 있습니다. 따라서 로봇은 테스트를 통과합니다. 하지만 현실에서 그 1%의 충돌은 재앙입니다. 이것이 저자들이 말하는 위험 중립적(risk-neutral) 접근 방식입니다. 즉, 분포의 "꼬리"(드물지만 치명적인 사건)를 무시하는 것입니다.

새로운 해결책: 효용 제약 정책 (UCP)

저자들은 **효용 제약 정책(Utility-Constrained Policies, UCP)**이라는 새로운 방법을 소개합니다. 단순히 평균을 보는 대신, 이 방법은 위험의 형태를 살펴봅니다. 이 방법은 "최악의 시나리오는 얼마나 나쁜가?"라고 묻습니다.

저자들은 세 가지 영리한 기술을 사용하여 이를 해결했습니다:

1. "배낭" 비유 (스톡 증강 - Stock Augmentation)

로봇이 배낭을 메고 있다고 상상해 보세요. 로봇이 한 걸음을 내디딜 때마다, 사용한 "기름의 양"을 배낭에 조금씩 더합니다.

기존 방식: 로봇은 현재 위치만을 봅니다. 이 특정 여정 동안 지금까지 기름을 얼마나 썼는지는 알지 못합니다.
새로운 방식 (UCP): 로봇은 자신의 배낭을 봅니다. 로봇은 지금까지 기름을 얼마나 썼는지 정확히 알고 있습니다.
저자들은 이를 "스톡 증강"이라고 부릅니다. 로봇에게 과거의 비용(배낭)을 기억할 수 있는 능력을 부여함으로써, 로봇은 더 스마트한 결정을 내릴 수 있습니다. 만약 배낭이 무거워지고 있다면, 로봇은 평균 계산이 자신에게 문제가 있다고 알려줄 때까지 기다리는 대신, 기름이 떨어지기 전에 속도를 줄여야 한다는 것을 알게 됩니다.

2. "유연한 예산" 기술

보통 로봇을 훈련할 때, 당신은 특정 예산(예: "너에게는 25갤런이 있어")을 정하고 몇 주 동안 훈련시켜야 합니다. 만약 나중에 예산을 30갤런으로 바꾸고 싶다면, 로봇 전체를 처음부터 다시 훈련시켜야 합니다.

UCP 방식은 로봇을 카멜레온처럼 훈련시키는 것과 같습니다.

훈련 과정에서 연구자들은 로봇에게 다양한 크기의 배낭(어떤 것은 10갤런, 어떤 것은 30갤런)을 무작위로 주었습니다.
로봇이 자신의 배낭을 보고 그에 따라 운전 스타일을 조정하는 법을 배웠기 때문에, 이제 당신은 재훈련 없이도 로봇에게 "자, 오늘은 25갤런이야" 또는 "오늘은 15갤런이야"라고 말할 수 있습니다.
로봇은 단순히 자신의 배낭을 확인하고 제한 사항을 파악하여 그에 맞춰 운전합니다.

3. "안전망" (위험 민감 제약)

단순히 "평균 25를 넘지 마"라고 말하는 대신, 새 방식은 "25를 넘지 마, 만약 넘게 된다면 벌칙이 훨씬 더 커질 거야"라고 말합니다.

결과: 로봇은 그런 기괴한 "1%의 충돌" 위험을 감수하는 행동을 멈춥니다. 로봇은 약간 더 보수적으로 변하지만, 치명적인 실패를 제거합니다.
놀라운 점: 저자들은 이러한 드문 위험을 더 조심함으로써 로봇이 실제로 더 빠르게 달리고 더 좋은 점수를 얻었다는 것을 발견했습니다. 결국 "충돌" 시나리오를 피하는 것이 로봇이 안전한 구역에서 더 효율적으로 운전할 수 있도록 자유를 준 것입니다.

테스트 내용

저자들은 이 방법을 비디오 게임 같은 운전 및 내비게이션 작업(Safety Gymnasium)에 테스트했습니다.

경주: 그들은 이 새로운 로봇(UCP)을 기존의 가장 뛰어난 로봇들과 비교했습니다.
결과: 새로운 로봇은 거의 모든 작업에서 다른 로봇들과 대등하거나 그들을 능가했습니다.
시각적 증거: 차트를 보면, 기존 로봇들은 높은 비용(가끔 발생하는 충돌)을 나타내는 "긴 꼬리"를 가지고 있는 반면, 새로운 로봇의 비용은 안전 한계 근처에 밀집되어 있음을 볼 수 있습니다.

요약

이 논문은 AI 에이전트가 더 안전하고 똑똑하게 행동하도록 가르치는 방법을 제시합니다.

기억(배낭/스톡)을 부여하여 현재 상태를 알게 합니다.
다양한 제한 조건으로 훈련하여 재훈련 없이 즉각적으로 적응하게 합니다.
드문 재앙에 대해 벌칙을 부여하여 위험한 도박을 하지 못하게 합니다.

그 결과, 서류상의 평균(on average)만 만족하는 것이 아니라, 실제 세상에서 안전하게 행동하며 드물지만 위험한 "충돌"을 피하는 AI가 탄생했습니다.

기술 요약: 효용 제약 정책 최적화 (Utility-Constrained Policy Optimization)

문제 정의

본 논문은 제약된 마르코프 결정 과정(Constrained Markov Decision Processes, CMDPs)의 한계를 다룹니다. CMDP는 안전 제약을 통합하는 표준 프레임워크이지만, 위험 중립적(risk-neutral) 제약을 강제한다는 한계가 있습니다. 즉, 제약 조건이 기대치(expectation) 상으로만 충족되도록 합니다. 이러한 위험 중립성은 가끔 발생하는 치명적인 제약 위반이 드물기만 하다면 최적의 정책이 간혹 위반을 일으키는 것을 허용하므로, 신뢰할 수 없는 동작을 초래할 수 있습니다. 반대로, 과도하게 보수적인 정책이 채택될 수도 있습니다.

위험 민감도(risk sensitivity)를 해결하기 위한 기존의 시도들(예: 찬스 제약(chance constraints) 또는 CVaR 활용)은 종종 이력 의존적(history-dependent)이며 학습하기 까다로운 정책을 생성하거나, 통일된 이론적 프레임워크 없이 조기 종료(early termination) 또는 페널티 스케줄링과 같은 임의적인 수정에 의존합니다. 저자들은 **효용 제약 MDP(Utility-Constrained MDPs, UCMDPs)**를 위험 민감 제약을 위한 자연스러운 프레임워크로 제안하지만, 최적의 이력 의존적 정책을 구하는 것이 계산적으로 까다롭기 때문에 실질적인 해결책이 부족했다는 점을 지적합니다.

방법론: 효용 제약 정책 (Utility-Constrained Policies, UCP)

저자들은 UCMDP를 해결하기 위해 설계된 실용적인 라그랑주 딥 RL 알고리즘인 **효용 제약 정책(UCP)**을 도입합니다. 이 방법론은 세 가지 핵심 구성 요소에 기반합니다.

1. 스톡 증강 정식화 (Stock-Augmented Formulation)

UCMDP를 마르코프 정책으로 해결 가능하게 만들기 위해, 저자들은 Ávila Pires 등[2025]의 연구를 바탕으로 스톡 증강(stock-augmented) 상태 정식화를 채택합니다.

스톡 ( $Z_t$ ): 보상/비용의 이력을 추적하는 누적 변수입니다. 할인된 스톡을 사용했던 이전 방식들과 달리, UCP는 $Z_{t+1} = Z_t + R_{t+1}$ 로 정의되는 **할인되지 않은 스톡(undiscounted stock)**을 사용합니다.
근거: 할인되지 않은 스톡은 에이전트의 내부 상태를 누적 에피소드 비용이라는 표준 평가 지표와 일치시킵니다. 이는 역할인(reverse-discounted) 업데이트에서 나타나는 초기 비용의 기하급수적 팽창을 방지하여 학습 문제를 더 안정적으로 만듭니다.
정책 입력: 제약 한도는 초기 스톡 값( $Z_0$ )으로 인코딩됩니다. 결과적으로 정책 $\pi(a|s, z)$ 는 환경 상태와 함께 초기 스톡(및 그에 따른 제약 예산)을 입력으로 받습니다. 이를 통해 동일한 훈련된 정책이 재학습 없이 다양한 제약 한도 하에서 작동할 수 있습니다.

2. 알고리즘 아키텍처 (Lagrangian Actor-Critic)

UCP는 제약 최적화 문제를 해결하기 위해 프라이멀-듀얼(primal-dual) 액터-크리틱 방식을 사용합니다:
$\inf_{\lambda_z \ge 0} \sup_{\pi} \left( \mathbb{E}[f(Z_0 + G^\pi_0)] - \lambda_z \mathbb{E}[g(Z_0 + G^\pi_0)] \right)$
여기서 $f$ 는 목적 효용(objective utility)이고 $g$ 는 제약 효용(constraint utility)입니다.

크리틱 (Critic): 에이전트는 단순한 기대값이 아닌 수익(returns, cumulants)의 전체 분포를 추정하기 위해 분포적 크리틱(distributional critic)(구체적으로 분위수 회귀(quantile regression) 사용)을 사용합니다. 이는 비선형(위험 민감) 효용 함수를 평가하는 데 필수적입니다.
액터 (Actor): 액터는 표준 Q-값을 극대화하는 대신 **기대 효용(expected utility)**을 극대화하도록 훈련됩니다. 액터의 목적 함수는 표준 Soft Actor-Critic(SAC)에서 다음과 같이 수정됩니다:
$L^{UO}_{actor} = \mathbb{E}[u(z + G_\psi(s, z, A_\theta))] - \alpha \log \pi_\theta(A_\theta|s, z)$
여기서 $u(x) = f(x) - \lambda_z g(x)$ 입니다.
라그랑주 승수 업데이트: 승수 $\lambda_z$ 는 엄격한 실행 가능성(feasibility) 달성이 어려운 경우를 처리하기 위한 허용 오차 $\epsilon$ 을 사용하여, 에피소드 동안 관찰된 제약 위반을 바탕으로 주기적으로 업데이트됩니다.

3. 훈련 전략: 스톡 무작위화 (Stock Randomization)

다양한 제약 예산에 대한 일반화 능력을 부여하기 위해, 훈련 중에 초기 스톡 $Z_0$ 를 특정 범위(예: $[-30, 0]$ )에서 균등 분포로 무작위 샘플링합니다. 이는 정책이 다양한 예산 수준으로부터 최적의 행동으로 가는 매핑을 학습하도록 강제하며, 이를 통해 에이전트가 재학습 없이 테스트 시점에 새로운 예산에 적응할 수 있게 합니다.

주요 기여

실용적인 UCMDP 솔루션: 본 논문은 스톡 증강을 통해 마르코프 정책을 지원하는 UCMDP의 수정안을 도입하여, 문제를 실질적으로 해결 가능하게 만들었습니다.
UCP 알고리즘: 분포적 크리틱, 스톡 증강 상태, 그리고 기대 효용 최적화를 결합한 라그랑주 딥 RL 에이전트인 UCP를 제안했습니다.
유연한 제약 한도: 초기 스톡 입력을 변경함으로써 훈련 후에도 제약 한도를 설정할 수 있는 프레임워크를 제공하며, 이는 제약 예산이 변경될 때 재학습할 필요를 없애줍니다.
경험적 검증: Safety Gymnasium 벤치마크에서의 광범-한 평가를 통해 UCP가 기존 베이스라인 모델들과 대등하거나 더 우수한 성능을 보임을 입증했습니다.

실험 결과

저자들은 Safety Gymnasium 벤치마크, 특히 Safety Velocity 및 Safety Navigation 태스크 세트에서 UCP를 평가했습니다.

베이스라인 대비 성능: UCP는 일관되게 최신 베이스라인(PPO-Lag, SAC-Lag, PID-Lag, Sauté RL, Early Terminated MDP 포함)과 대등하거나 더 나은 성능을 보였습니다.
- Safety Velocity 태스크에서 UCP는 비용 제약을 준수하면서도 대등하거나 더 높은 수익을 달もの합니다.
- Safety Navigation 태스크에서 UCP는 안전을 유지하면서도 모든 베이스라인보다 수익 측면에서 월등히 뛰어난 성능을 보였습니다.
위험 민감도: 위험 중립적 변형 모델과 비교했을 때, 위험 민감형 UCP는 비용 분포의 "꼬리(tail)" 부분을 크게 줄였습니다. UCP는 제약 예산을 초과할 확률을 최소화하고 기대 초과 비용( $\mathbb{E}[\max(X, b)]$ )을 거의 0에 가깝게 줄인 반면, 위험 중립적 방법들은 위반 에피소드에서 예산을 훨씬 초과하는 비용을 발생시키는 경우가 많았습니다.
일반화: 절제 연구(ablation study)는 스톡 무작위화가 매우 중요하다는 것을 확인시켜 줍니다. 무작위 초기 스톡으로 훈련된 정책은 재학습 없이도 보이지 않는 예산 수준(예: 0, 5, 15, 25의 예산)에 일반화할 수 있는 반면, 단일 예산 수준에서 훈련된 정책은 그렇지 못했습니다.
할인되지 않은 스톡: 할인되지 않은 스톡을 사용하는 것이 할인된 스톡보다 우수하며, 더 나은 성능과 안정성을 가져온다는 것이 밝혀졌습니다.

의의 및 주장

본 논문은 UCP가 표준 CMDP의 위험 중립성을 극복할 수 있는 단순하면서도 강력한 방법론을 제공한다고 주장합니다. 효용 함수와 스톡 증강을 통해 위험 민감 제약을 문제 형식에 직접 통합함으로써, 저자들은 다음을 입증했습니다:

안전과 성능의 균형: 더 엄격한 위험 민감 제약이 위험 중립적 평가 하에서도 성능을 향상시킬 수 있는데, 이는 아마도 과도하게 보수적인 행동을 강요하는 파멸적 실패를 방지하기 때문인 것으로 보입니다.
운영의 유연성: 훈련 후 재학습 없이 제약 한도를 조정할 수 있는 능력은 안전 예산이 변할 수 있는 실제 현장 배포 시 상당한 실용적 가치를 제공합니다.
분포적 접근의 필요성: 비선형 효용 제약을 다룰 때는 기대값뿐만 아니라 수익 분포(분포적 크리틱을 통해)를 모델링하는 것이 중요하다는 점을 결과가 강조합니다.

저자들은 경험적 결과가 강력함에도 불구하고, UCMDP에서 라그랑주 동적 계획법(Lagrangian dynamic programming)의 최적성 보장과 할인되지 않은 스톡 사용에 대한 원칙적 근거에 관한 완전한 이론적 분석이 부족함을 인정하며, 이를 향후 이론적 연구 과제로 남겨두었습니다.