Dyna-Style Safety Augmented Reinforcement Learning: Staying Safe in the Face of Uncertainty

다음은 "Dyna-Style Safety Augmented Reinforcement Learning: Staying Safe in the Face of Uncertainty"(Dyna-SAuR) 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

강화 학습 (RL) 은 훈련 중 안전한 탐색이라는 중대한 과제에 직면해 있습니다. 물리적 하드웨어에서 직접 학습하는 것은 파국적 실패의 위험으로 인해 종종 비현실적입니다. 기존 접근 방식은 일반적으로 다음과 같은 두 가지 범주로 나뉘며, 각각 중요한 한계가 있습니다:

• 소프트 제약 (예: 제약 조건부 MDP): 이러한 방법은 오직 기대값 내에서만 안전을 보장하며, 개별 실패에 대한 강력한 보장을 제공하지 않습니다.
• 제어 이론 기반 안전 필터: 제어 장벽 함수 (CBF) 나 해밀턴 - 자코비 도달성 (Hamilton-Jacobi reachability) 과 같은 방법은 강력한 안전 보장을 제공하지만, 광범위한 도메인 지식 (예: 알려진 동역학, 불변 집합) 을 요구하며 고차원 시스템으로 확장하는 데 어려움을 겪습니다.
• 학습 기반 필터: RL 을 통해 안전 필터를 학습하려는 최근 시도들은 종종 시뮬레이터에 의존하거나, 알려지지 않은 동역학을 가진 복잡하고 고차원적인 환경으로 효과적으로 확장되지 못합니다.

핵심 문제는 최소한의 도메인 지식 (실패 정의와 초기 데이터만 필요) 으로 안전 필터와 제어 정책을 동시에 학습할 수 있는 확장 가능한 데이터 기반 방법을 개발하여, 훈련 과정에서 안전을 보장하는 것입니다.

2. 방법론: Dyna-SAuR

저자들은 Dyna-SAuR(Dyna-style Safety Augmented Reinforcement Learning) 을 제안합니다. 이는 불확실성 인식 동역학 모델을 사용하여 제어 정책과 안전 필터를 반복적으로 학습하는 모델 기반 RL(MBRL) 프레임워크입니다.

핵심 아키텍처

알고리즘은 다음 세 가지 주요 단계로 구성된 반복 루프 (알고리즘 1) 로 작동합니다:

1. 모델 학습: 수집된 데이터를 기반으로 확률적 앙상블 동역학 모델 ($\hat{p}$) 이 훈련됩니다. 이 모델은 앙상블 불일치를 사용하여 인지적 불확실성(데이터 부족으로 인한 불확실성) 을 포착합니다.
2. 안전 필터 학습: 필터 정책 ($\mu$) 은 학습된 모델 전용으로 훈련됩니다. 필터는 제어 정책의 행동을 실패와 높은 모델 불확실성 영역을 피할 수 있는 "생존 가능 (viable)" 집합으로 투영합니다.
3. 제어 정책 학습: 제어 정책 ($\pi$) 은 실제 환경 상호작용과 모델 기반 롤아웃을 모두 사용하여 훈련되며, 현재 안전 필터 $\mu$를 통해 필터링됩니다. 새로운 데이터가 수집되어 동역학 모델을 정제하고, 다음 반복을 위한 "확실한" 안전 영역을 확장합니다.

주요 기술적 혁신

A. 불확실성 인식 모델에서의 생존 가능성 (Viability)
이 논문은 **생존 가능성 이론 (Viability Theory)**의 개념을 MBRL 로 확장합니다. 단순히 실패 상태 ($S_F$) 를 피하는 대신, 시스템은 모델이 불확실한 상태도 피해야 합니다.

• **확실한 안전 집합 ($SS(E)$):** 상태가 안전 *그리고* 모델의 예측 엔트로피가 임계값 ($\lambda_1$) 이하인 상태 - 행동 쌍의 집합.
• 확실한 생존 가능 핵 ($S_V(E)$): 유한 시간 범위 내에서 높은 확률로 시스템을 $SS(E)$ 내부에 유지하는 정책이 존재하는 상태들의 집합.
• 필터는 이 핵 내에 머무는 정책 집합으로 행동을 투영하도록 훈련됩니다.

B. 효율적인 필터 행동 공간 구성
주요 기여 중 하나는 안전 필터의 재매개변수화입니다. 이전 방법들은 초평면 매개변수 ($w, b$) 를 직접 학습하여 무제한이고 과도하게 매개변수화된 탐색 공간을 초래했습니다.

• 단위 초구 행동 공간 ($U$): 필터 정책 $\mu$는 단위 초구 ($0 < \|u\|_2 \leq 1$) 내의 벡터 $u$를 출력합니다.
• 쌍대 변환 ($h$): 결정론적 함수가 $u$를 초평면 매개변수 $(w, b)$로 매핑합니다:
  • $w = u / \|u\|_2$ (법선 벡터 방향)
  • $b = (2\|u\|_2 - 1)\|w\|_1$ (오프셋)
• 의의: 이로 인해 초평면이 항상 유계 행동 공간 $A = [-1, 1]^{n_A}$과 교차하도록 보장됩니다. 노름 $\|u\|_2$는 "제한적 정도" 조절 노브 역할을 합니다: 0 에 가까운 값은 관대하고, 1 에 가까운 값은 제한적입니다. 이는 RL 에이전트를 위한 컴팩트하고 유계인 탐색 공간을 생성합니다.

C. 보상 설계 및 데이터 분포
실제 세계의 실패 없이 필터를 효과적으로 훈련하기 위해:

• 보상 함수: 필터는 다음 상태가 $SS(E)$에 머무르면$+1$의 보상을 받고, 벗어나면 큰 음수 페널티 ($-1/(1-\gamma)$) 를 받습니다. 이는 효과적으로 "실패까지의 시간"을 인코딩합니다.
• 목적: 과도한 보수적 행동을 피하기 위해 필터 행동의 노름 ($\|u\|_2$) 을 최소화하면서 실패까지의 기대 시간을 최대화합니다.
• 데이터 설계: 필터 훈련을 위한 시작 상태 분포는 다음들의 혼합물입니다:
  1. 초기 환경 데이터.
  2. 실패 영역 근처의 상태 (회복/회피 방법 학습).
  3. 높은 제어 수익을 가진 상태 (필터가 최적 성능을 방해하지 않도록 보장).

3. 주요 기여

1. 새로운 알고리즘: Dyna-SAuR 은 최소한의 도메인 지식 (실패 집합과 초기 데이터만 필요) 으로 다양한 고차원 시스템을 위한 생존 가능성 기반 안전 필터를 학습하는 최초의 확장 가능한 접근법입니다.
2. 컴팩트한 RL 공식화: 이전 초평면 학습 방법의 확장성 문제를 해결하는 새로운 쌍대 행동 공간 매개변수화를 통해 안전 필터 학습을 표준 RL 문제로 공식화합니다.
3. 불확실성 인식 생존 가능성: 모델 불확실성을 생존 가능 핵에 직접 통합하여 시스템이 환경을 안전하게 탐색하고 지식을 확장할 수 있도록 합니다.
4. 반복적 개선: 더 나은 모델이 불확실성을 줄여 안전 필터가 덜 보수적으로 변하고 더 나은 제어 정책을 가능하게 하는 양의 피드백 루프를 생성합니다.

4. 실험 결과

이 방법은 두 가지 작업에서 평가되었습니다:

• 목표 도달 카트폴: 위치 및 각도 제약이 있는 저차원 작업.
• MuJoCo 워커: 척추 제약이 있는 고차원 (17 상태, 6 행동) 양보행 걷기 작업.

성능 지표:

• 안전성: Dyna-SAuR 은 최첨단 안전 RL 방법 (PPO-Lagrangian, DH-RL) 에 비해 훈련 중 실패를 2 차수 (100 배) 감소시켰습니다.
• 제어 성능: 기존 안전 RL 방법의 제어 성능 (수익) 을 일치시키거나 초과했습니다.
• 확장성: 이 방법은 고차원 워커 환경으로 성공적으로 확장되었으나, 다른 필터 학습 방법들은 어려움을 겪었습니다.
• 절대 연구: 새로운 행동 공간 구성이나 데이터 설계 휴리스틱을 제거하면 성능이 크게 저하되거나 유효한 필터를 학습하지 못하여 설계 선택의 타당성이 입증되었습니다.

5. 의의

Dyna-SAuR 은 실제 로봇 공학을 위한 실용적이고 안전한 RL을 향한 중요한 걸음을 나타냅니다.

• 격차 해소: 엄격한 제어 이론 (생존 가능성) 과 데이터 기반 학습 사이의 격차를 해소하여, 수동으로 제작된 모델이나 광범위한 도메인 전문 지식의 필요성을 제거합니다.
• 하드웨어 적용 가능성: 훈련 중 실패를 수차수 감소시킴으로써, 물리적 하드웨어에서 직접 RL 에이전트를 훈련하거나 시뮬레이션 - 실제 전이 (sim-to-real transfer) 를 최소화하는 것이 훨씬 더 실현 가능해집니다.
• 확장성: 제안된 행동 공간 매개변수화와 불확실성 인식 접근법은 전통적인 방법이 실패하는 복잡하고 고차원적인 시스템으로 안전한 RL 을 확장하기 위한 청사진을 제공합니다.

요약하자면, Dyna-SAuR은 무엇을 모르는지(불확실성) 와 무엇을 할 수 없는지(실패) 학습함으로써 "안전하게 머무는" 방법을 학습하는 견고한 데이터 기반 프레임워크를 제공하며, 학습함에 따라 안전한 운영 범위를 동적으로 확장합니다.