A Survey of Safe Reinforcement Learning and Constrained MDPs: A Technical Survey on Single-Agent and Multi-Agent Safety

다음은 단일 에이전트 및 다중 에이전트 안전성에 관한 기술적 조사를 다룬 논문 "안전 강화 학습 및 제약 조건付き MDP 에 대한 조사: 단일 에이전트 및 다중 에이전트 안전성에 대한 기술적 조사"에 대한 상세한 기술적 요약입니다.

1. 문제 정의

본 논문은 자율 주행, 의료, 로봇 공학, 전력망과 같은 안전이 중요한 실세계 응용 분야에서 강화 학습 (RL) 에이전트를 배포하는 데 있어 중요한 과제를 다룹니다. 표준 RL 은 누적 보상을 최적화하지만 안전 제약 조건을 종종 무시하여 학습 또는 배포 중 치명적인 실패를 초래합니다.

핵심 문제는 **안전 강화 학습 (SafeRL)**으로 공식화됩니다. 이는 학습 과정과 최종 배포 모두에서 안전 제약 조건을 엄격히 만족시키면서 성능 (누적 보상) 을 최대화하는 것입니다. 본 논문은 주로 제약 조건付き 마르코프 결정 과정 (CMDP) 프레임워크에 초점을 맞추며, 여기서 안전은 보상 최대화뿐만 아니라 기대 누적 비용 (또는 기타 위험 측정치) 에 대한 제약 조건으로 모델링됩니다. 또한 이를 **다중 에이전트 안전 강화 학습 (SafeMARL)**으로 확장하여, 여러 에이전트가 개별적 또는 전역적 안전 제약 조건을 준수하면서 학습하고 상호작용하는 방식을 다룹니다.

2. 방법론 및 이론적 기반

본 조사는 CMDP 프레임워크 및 그 확장을 중심으로 SafeRL 에 대한 엄밀한 수학적 개요를 제공합니다.

A. 이론적 기반 (CMDP)

• 공식화: CMDP 는 $(S, A, P, r, \{c^{(i)}\}, \gamma)$로 정의된 MDP 튜플이며, 여기서 $c^{(i)}$는 비용 함수입니다. 목적은 $J_c^{(i)}(\pi) \leq d_i$를 만족하도록 $J(\pi)$를 최대화하는 것입니다.
• 제약 조건 유형: 본 논문은 안전 사양을 다음과 같이 분류합니다.
  • 기대 누적 비용: 표준 CMDP 공식화 (가장 일반적).
  • 순간적 제약 조건: 모든 시간 단계에서의 하드 제한 (예: 토크 제한, 충돌 회피).
  • 실패 확률: 실패 상태에 진입할 확률에 대한 제약 (예: $Pr[\text{crash}] \leq \delta$).
  • 위험 측정치: 분산 또는 조건부 위험 가치 (CVaR) 와 같은 고차 통계량에 대한 제약.
  • 시간 논리: 선형 시간 논리 (LTL) 공식을 통해 정의된 안전.
• 최적화 접근법:
  • 라그랑주 쌍대성: 라그랑주 승수 ($\lambda$) 를 사용하여 제약 조건이 있는 문제를 제약 조건이 없는 문제로 변환합니다. 쌍대 함수를 최소화하여 최적의 승수를 찾고, 원문제 (정책) 를 최대화합니다.
  • 선형 계획법 (LP): 유한 상태 공간의 경우, CMDP 는 점유 측정을 통해 LP 를 사용하여 정확하게 해결할 수 있습니다.
  • 이론적 보장: 본 논문은 Altman [1999] 을 인용하여 정규성 조건 하에서 정적 최적 정책의 존재성과 강한 쌍대성을 증명했습니다. 또한 트러스트 영역 방법을 정당화하는 성능 경계 (Achiam et al., 2017) 를 검토합니다.

B. 최신 알고리즘 (단일 에이전트)

본 조사는 현재 방법을 네 가지 주요 범주로 분류합니다.

1. 라그랑주 기반 정책 최적화:
   • 라그랑주 액터 - 크리틱: 정책과 라그랑주 승수를 동시에 업데이트합니다 (예: Tessler et al., 2019). 간단하지만 학습 중 제약 조건을 위반할 수 있습니다.
   • 제약 조건付き 정책 최적화 (CPO): 각 단계에서 제약 조건이 있는 하위 문제를 해결하여 근사적인 제약 조건 만족을 보장하는 획기적인 트러스트 영역 방법입니다 (Achiam et al., 2017).
   • 투영 CPO (PCPO): 정책 업데이트를 실행 가능 집합에 투영하여 안전을 보장합니다.
2. 안전 쉴드 및 행동 수정:
   • RL 에이전트가 제안한 안전하지 않은 행동을 덮어쓰는 외부 레이어 (예: 안전 레이어, QP 기반 필터).
   • 형식적 쉴딩: 모델 체킹 및 시간 논리를 사용하여 사전에 안전한 행동 집합을 계산합니다.
3. 위험 민감 및 분포 기반 방법:
   • 하드 제약 조건을 사용하는 대신 위험 측정치 (예: CVaR) 를 직접 최적화합니다.
   • 전체 반환 분포를 모델링하고 꼬리 위험을 제어하기 위한 분포 RL.
4. 안전 다중 에이전트 RL (SafeMARL):
   • 중앙 집중식: 다중 에이전트 시스템을 단일 결합 에이전트로 취급 (예: MACPO).
   • 분산식: 에이전트가 제한된 통신 (예: $\kappa$-hop 이웃) 을 통해 지역적 목적을 최적화하여 전역적 안전을 근사화합니다.
   • 게임 이론적: 비협력적 일반합 게임에서 제약 조건付き 나시 균형을 추구합니다.

3. 주요 기여

1. 종합적 분류 체계: 본 논문은 단일 에이전트 및 다중 에이전트 접근법 간의 차이를 구분하고, 알고리즘을 기본 메커니즘 (라그랑주, 쉴딩, 위험 민감) 에 따라 분류하는 SafeRL 방법의 구조화된 분류 체계를 제공합니다.
2. 수학적 엄밀성: 라그랑주 쌍대성, 선형 계획법 공식화, 정책 경계 경계 등을 포함한 CMDP 이론에 대한 상세한 유도를 제공하여 연구자들을 위한 기술적 참고 자료 역할을 합니다.
3. SafeMARL 초점: 단일 에이전트 RL 에 중점을 둔 이전 조사들과 달리, 본 논문은 협력, 경쟁, 분산 환경에서의 과제를 분석하며 신흥 분야인 SafeMARL 에 상당한 할애를 합니다.
4. 미해결 문제 식별: 저자들은 향후 연구를 안내하기 위해 5 가지 구체적인 미해결 연구 문제를 제안합니다.
   • P1: 제로 위반 안전 탐색: 점근적이 아닌 전체 학습 과정에서 제약 조건 위반이 없음을 보장합니다.
   • P2: 부분 관측 하의 안전: 실제 상태가 알려지지 않은 POMDP 에서 안전을 처리합니다.
   • P3: 분산 SafeMARL: 중앙 제어기나 완전한 상태 관측 없이 전역적 안전을 달성합니다.
   • P4: 경쟁적 SafeMARL: 비협력적 일반합 게임에서 안전 균형 (예: 제약 조건付き 나시) 을 찾습니다.
   • P5: 비정상 다중 에이전트 안전: 환경이나 에이전트 집단이 시간에 따라 변할 때 안전을 보장합니다.
5. 자원 컴파일: 본 논문은 재현성을 촉진하기 위해 오픈 소스 라이브러리 (예: OmniSafe, SafePO) 및 벤치마크 환경 (예: Safety Gymnasium, SMARTS) 의 선별된 목록을 포함합니다.

4. 결과 및 발견

• 단일 에이전트 성숙도: 단일 에이전트 SafeRL 분야는 상대적으로 성숙하여, CPO 및 라그랑주 방법과 같은 알고리즘이 Safety Gym 과 같은 벤치마크에서 강력한 이론적 보장과 실증적 성공을 제공하고 있습니다.
• 다중 에이전트 과제: SafeMARL 은 신흥 분야로 식별되었습니다. 중앙 집중식 접근법 (MACPO 등) 은 유망한 결과를 보이지만, 확장 가능한 분산 솔루션 및 경쟁 환경에 대한 견고한 방법은 여전히 대부분 해결되지 않았습니다.
• 트레이드오프: 본 조사는 안전 보장과 샘플 효율성 사이의 근본적인 트레이드오프를 강조합니다. 강력한 이론적 보장을 제공하는 방법 (CPO 등) 은 종종 계산 비용이 많이 드는 반면, 단순한 페널티 기반 방법은 효율적이지만 학습 중 제약 조건을 위반할 수 있습니다.
• 제약 조건 유형의 중요성: 제약 조건 공식화 (순간적 vs 누적, 위험 민감 vs 기대) 의 선택은 알고리즘 설계와 특정 도메인 (예: 로봇 공학은 순간적 제약 조건이 필요하고, 금융은 CVaR 을 선호할 수 있음) 에 대한 적용 가능성에 큰 영향을 미칩니다.

5. 의의

본 조사는 다음과 같은 이유로 중요합니다.

• 통합: 이론적 제어 이론 (CMDP) 과 현대 심층 RL 간의 격차를 해소하여 안전에 대한 통일된 언어를 제공합니다.
• 배포를 위한 로드맵: "제로 위반" 학습 및 "분산 안전"과 같은 미해결 문제를 식별함으로써, SafeRL 을 시뮬레이션에서 고위험 도메인의 실세계 배포로 전환하는 데 필요한 경로를 제시합니다.
• 커뮤니티 리소스: 라이브러리 및 벤치마크의 컴파일은 연구자들이 알고리즘을 비교하고 결과를 재현할 수 있는 필수 도구 역할을 하여 분야 내 발전을 가속화합니다.
• 미래 방향: 제안된 연구 문제 (P1–P5) 는 부분 관측, 분산화, 동적 환경에서의 견고성에 중점을 둔 차세대 SafeRL 연구에 대한 명확한 의제를 설정합니다.

결론적으로, 본 논문은 SafeRL 이 특히 단일 에이전트 설정에서 상당한 진전을 이루었지만, 복잡하고 다중 에이전트이며 실세계 시나리오로의 전환은 탐색, 분산화, 균형 계산에 관한 근본적인 과제를 해결해야 함을 확립합니다.