기술 요약: 증명 가능한 안전한 강화학습에서 분석적 기울기 활용

문제 제기

안전-중요 응용 분야에 자율 로봇을 배포하려면 엄격한 안전 보장이 필요합니다. 강화학습 (RL) 은 종종 불확실하고 고차원인 환경에서 고전적 제어보다 우수한 성능을 발휘하지만, 내재적 안전 보장은 부족합니다. 시뮬레이션에서 에이전트를 훈련하여 실제 세계에 배포할 때 발생하는 "시뮬레이션 - 현실 간극 (sim-to-real gap)"이 중요한 도전 과제로 대두됩니다. 만약 안전 장치가 없이 훈련이 이루어진다면, 에이전트는 안전하지 않은 상태나 행동에 의존하는 정책을 수렴시킬 수 있습니다. 이후 배포 단계에서 안전 장치가 적용되면, 에이전트가 대체 안전한 해결책을 학습한 적이 없기 때문에 정책이 비최적 영역으로 제한되거나 비볼록 목적 함수 영역에서 실패를 초래할 수 있습니다.

정책 기울기 정리에 의존하는 샘플 기반 RL(예: PPO, SAC) 을 위한 여러 안전 장치 접근법이 존재하지만, 분석적 기울기 기반 RL을 위한 안전 장치 메커니즘은 부재합니다. 이러한 분석적 방법들 (예: Short-Horizon Actor-Critic, SHAC) 은 미분 가능한 시뮬레이터를 활용하여 역전파를 통해 행동에 대한 보상 정확한 1 차 기울기를 계산합니다. 기존 안전 장치들은 주로 샘플 기반 방법을 위한 후처리 단계로 설계된 경우가 많아, 역전파에 필요한 미분 가능한 계산 그래프를 방해하거나 정책 최적화에 필요한 기울기 신호를 제공하지 못한다는 이유로 분석적 기울기 기반 패러다임에는 단순하게 적용될 수 없습니다.

방법론

저자들은 분석적 기울기를 사용한 증명 가능한 안전한 정책 최적화 프레임워크를 제안합니다. 핵심 접근법은 정책 출력과 환경 동역학 사이에 미분 가능한 안전 장치 계층을 통합하는 것입니다.

1. 프레임워크 및 미분 가능성

이 프레임워크는 안전 장치를 $\mathcal{A}$를 실현 가능한 행동 공간, $\mathcal{A}_s$를 안전한 행동 집합이라 할 때, $g: \mathcal{A} \to \mathcal{A}_s$인 미분 가능한 매핑으로 간주합니다. 정책 $\pi$는 행동 $a_i$를 출력하며, 이는 안전한 행동 $a_{s,i} = g(a_i)$로 변환됩니다. 그 후 환경은 $s_{i+1}$로 전이하고 보상 $r_i$를 생성합니다. 정책을 훈련하기 위해, 안전 장치를 포함한 전체 체인을 통해 역전파하여 정책 파라미터에 대한 보상의 기울기를 계산합니다:
$$\frac{\partial r_i}{\partial a_i} = \left( \frac{\partial r_i}{\partial a_{s,i}} + \frac{\partial r_i}{\partial s_{i+1}}\frac{\partial s_{i+1}}{\partial a_{s,i}} \right) \frac{\partial a_{s,i}}{\partial a_i}$$
이를 위해서는 안전 장치가 부분 미분 가능해야 하며 (이상적으로는 $C^1$), 학습 신호가 감쇠하지 않도록 정칙인 야코비안을 제공해야 합니다.

2. 안전한 행동 집합 및 표현

저자들은 안전 집합을 표현하기 위해 **조노토프 (zonotopes)**를 활용합니다. 이는 컴팩트성과 선형 매핑 하의 폐쇄성 때문입니다. 그들은 다음을 구분합니다:

• 지정된 안전한 행동 집합: 직접 정의된 제약 조건.
• 유도된 안전한 행동 집합: 도달 가능성 분석 (예: 강인 제어 불변 집합) 을 통해 계산되어, 행동을 실행하는 것이 시스템을 안전한 상태 집합 $S_s$ 내에 유지하도록 보장합니다.

3. 안전 장치 메커니즘 및 수정

이 논문은 두 가지 기존 미분 가능한 안전 장치 방법을 분석하고 적응시킵니다:

• 경계 투영 (Boundary Projection, BP): 안전하지 않은 행동을 안전 집합의 경계에서 가장 가까운 점으로 매핑합니다.

  • 문제점: 모든 곳에서 $C^1$이 아니며, 투영 방향에서 야코비안의 랭크가 결여되어 투영 방향과 평행한 행동에 대한 기울기를 실질적으로 제거합니다.
  • 수정: 저자들은 손실 함수에 정규화 항을 도입합니다 ($l(a, s, a_s) = l_r(a_s, s) + c_d \|a_s - a\|_2^2$). 이는 매핑 방향의 기울기를 보강하여 랭크 결여를 보상하고, 정책이 안전한 행동을 선호하도록 장려합니다.

• 레이 마스크 (Ray Mask, RM): 행동을 안전 집합 내의 "안전 중심" $c_{As}$를 향해 방사상으로 매핑합니다.

  • 문제점: 표준 선형 레이 마스크는 안전한 행동을 크게 변경하며 매핑 방향에서 기울기가 감쇠합니다.
  • 수정 사항:
    1. 정규화: BP 와 유사하게 안전을 향해 유도합니다.
    2. 패스스루 (Passthrough): 최적 행동이 안전한 것으로 알려져 있는 경우에만 유효하며, 더 빠른 계산과 방해받지 않는 기울기 전파를 위해 야코비안을 단위 행렬로 대체합니다.
    3. 쌍곡선 레이 마스크 (Hyperbolic Ray Mask, HRM): 안전하지 않은 행동을 경계에 가깝게 매핑하면서 안전한 행동을 최소로 교란시키는 쌍곡선 탄젠트 ($\tanh$) 를 사용하는 새로운 매핑 함수입니다. 이는 완전한 야코비안과 부드러운 매핑을 유지합니다.

4. 안전 중심 근사

명시적으로 정의되지 않은 유도된 안전한 행동 집합의 중심에 대해, 논문은 두 가지 근사 방법을 제안합니다:

• 조노토프 근사: 포함된 조노토프의 부피를 최대화합니다.
• 직교 근사: 경계에 수직으로 안전 집합을 관통하여 중점을 취합니다.
  실험 결과, 연속적인 매핑 특성으로 인해 조노토프 접근법이 더 우수한 수렴성과 최종 정책을 제공함이 시사됩니다.

주요 기여

1. 최초의 증명 가능한 안전한 분석적 기울기 RL: 이 논문은 분석적 기울기 기반 강화학습을 위해 특별히 설계된 최초의 효과적인 안전 장치 접근법을 제시합니다.
2. 이론적 분석: 미분 가능한 안전 장치에 대한 심층 분석을 통해 필요한 속성 (안전성, 부분 미분 가능성, 정칙 야코비안, 최소 개입, 속도) 을 식별하고, 기존 방법들이 수정 없이는 이러한 요구 사항을 충족하지 못함을 입증합니다.
3. 알고리즘적 적응: 효과적인 기울기 전파를 보장하기 위해 경계 투영을 위한 정규화된 손실 함수 및 새로운 쌍곡선 레이 마스크를 포함한 표적 수정 사항을 개발했습니다.
4. 실증적 평가: 안전하지 않은 훈련과 안전 장치 적용 훈련 하에서 분석적 기울기 방법 (SHAC) 과 샘플 기반 베이스라인 (PPO, SAC) 을 비교하는 세 가지 제어 작업 (진자, 쿼드콥터, 에너지 관리) 에 대한 포괄적 평가.

결과

저자들은 SHAC 알고리즘을 PPO 및 SAC 베이스라인과 비교하여 세 가지 환경에서 평가했습니다:

• 샘플 효율성: 균형 잡기 작업 (진자, 쿼드콥터) 에서, 안전 장치가 적용된 분석적 기울기 학습 (SHAC) 은 샘플 기반 방법보다 적은 환경 상호작용으로 더 우수하거나 동등한 최종 보상을 달성했습니다.
• 성능 보존: 안전 장치가 성능을 저하시킨다는 우려와 달리, 수정된 안전 장치 (특히 정규화된 BP 와 HRM) 는 SHAC 이 균형 잡기 작업에서 안전하지 않은 훈련과 동등하거나 더 높은 보상을 달성하도록 허용했습니다.
• 에너지 시스템 작업: 고잡음 특성을 가진 에너지 관리 작업에서, SHAC 은 안전하지 않은 설정에서 초기에 PPO 보다 낮은 성능을 보였습니다. 그러나 안전 장치 적용 훈련에서는 SHAC 이 크게 개선되어 PPO 와의 성능 격차를 좁혔습니다. 저자들은 이를 잡음 환경에서 감쇠된 기울기의 안정화 효과로 귀인했습니다.
• 수렴: 정규화의 도입은 특히 1 차원 진자 작업에서 기울기 손실이 치명적이었던 경계 투영의 경우, 수렴하지 않는 실행 횟수를 크게 줄였습니다.
• 계산 오버헤드: 안전 장치 적용은 계산 비용을 증가시킵니다. 경계 투영은 안전하지 않은 훈련 대비 약 5 배, 레이 마스크는 거의 10 배의 훈련 시간을 증가시켰으며, 이는 주로 안전 집합 제약에 필요한 최적화 솔버 (CVXPY) 때문입니다.

중요성 및 주장

이 논문은 고성능 분석적 기울기 기반 패러다임을 위한 증명 가능한 안전한 훈련을 가능하게 함으로써 안전한 강화학습의 중요한 간극을 해소했다고 주장합니다. 저자들은 다음과 같이 주장합니다:

• 안전 장치가 미분 가능하고 기울기가 보존된다면, 안전 장치는 성능을 훼손하지 않고 분석적 기울기 RL 의 훈련 루프에 직접 통합될 수 있습니다.
• 제안된 수정 사항 (정규화 및 쌍곡선 매핑) 은 기존 안전 장치의 단순 적용에 내재된 랭크 결여 및 기울기 억제 문제를 극복하는 데 필수적입니다.
• 이 접근법은 에이전트가 시뮬레이션 중에 안전한 행동을 학습하도록 보장함으로써 "시뮬레이션 - 현실" 전이를 촉진하여, 안전-중요한 실제 세계 시나리오에 배포될 때 실패 위험을 줄입니다.

이 연구는 계산 오버헤드가 여전히 과제이지만, 형식적 안전 보장을 가진 에이전트를 훈련할 수 있는 능력으로 인해 그 트레이드오프가 정당화되며, 안전-중요 로봇 공학을 위한 분석적 기울기 RL 의 잠재력을 열어준다고 결론지었습니다.