C-STEP: Continuous Space-Time Empowerment for Physics-informed Safe Reinforcement Learning of Mobile Agents

1. 문제 정의 (Problem Statement)

• 배경: 로봇 공학에서 복잡한 환경 내 안전한 항해 (Safe Navigation) 는 강화 학습 (RL) 의 핵심 과제 중 하나입니다. 기존 연구들은 제어 장벽 함수 (CBF), 강건성 우선순위, 위험 회피 등 다양한 안전 RL 기법을 시도해 왔습니다.
• 한계점:
  • 기존의 안전 RL 방법들은 주로 이산 시간 (discrete-time) 또는 확률적 시스템에 초점을 맞추거나, 안전을 보장하기 위해 강압적인 제약 조건이나 가산적 페널티 (additive penalties) 를 사용합니다.
  • 연속 시간 (continuous-time) 과 결정론적 (deterministic) 동역학을 가진 모바일 에이전트의 경우, 기존 '권한 (Empowerment)' 개념을 적용하기 어렵습니다. 결정론적 시스템에서는 상태 전이가 완벽하게 예측 가능하여 조건부 엔트로피가 무한대가 되거나, 권한이 무한대가 되어 안전성을 측정하는 지표로 사용할 수 없기 때문입니다.
  • 또한, 기존 보상 설계는 에이전트의 내부 상태 (예: 초기 속도) 와 물리 법칙을 충분히 반영하지 못해 위험한 상황을 사전에 예방하는 데 한계가 있었습니다.

2. 방법론 (Methodology)

이 논문은 **C-STEP (Continuous Space-Time Empowerment for Physics-informed)**이라는 새로운 프레임워크를 제안합니다. 이는 에이전트 중심의 안전성을 측정하고 이를 내재적 보상 (intrinsic reward) 으로 활용하는 물리 기반 접근법입니다.

2.1. 결정론적 시스템을 위한 권한 (Empowerment) 재정의

• 기존 정의의 문제: 기존 권한 정의는 이산적/확률적 시스템에 적합하나, 결정론적 연속 시스템에서는 적용 불가.
• 새로운 정의 (Definition 2): 결정론적 에이전트의 권한을 "다음 상태 분포의 미분 엔트로피 (differential entropy) 를 최대화하는 것"으로 재정의합니다.
  • 이는 에이전트가 특정 상태에서 미래에 도달할 수 있는 상태 집합 (Reachable Set) 의 부피 (Volume) 를 로그 (log) 로 변환한 값과 동일합니다.
  • 즉, 도달 가능한 공간이 넓을수록 (안전할수록) 권한이 높음을 의미합니다.

2.2. CST-Empowerment (CST-E)

• 정의: 비자율 연속 시간 동역학 시스템 ($\dot{x} = f(x, u)$) 에서, 주어진 시간 구간 $T$ 동안 충돌 없이 도달 가능한 상태 집합 ($R_{T,free}$) 의 부피를 기반으로 권한을 계산합니다.
• 수식: $E_T(x) = \log(\lambda(R_{T,free}(x)))$
  • 여기서 $\lambda$는 $n$차원 부피 (Lebesgue measure) 입니다.

2.3. 샘플링 기반 근사 알고리즘 (Algorithm 1)

• 정확한 부피 계산은 비현실적이므로, 샘플링 기반 근사를 사용합니다.
  1. 현재 상태 $x$에서 허용 가능한 제어 입력 궤적 $u(\cdot)$을 $N$개 샘플링합니다.
  2. 각 궤적에 대한 해 (trajectory) 를 시뮬레이션하여 최종 위치를 계산합니다.
  3. 충돌 없는 궤적의 최종 위치 집합 ($R$) 과 충돌한 궤적의 최종 위치 집합 ($T$) 을 구분합니다.
  4. $R$과 $T$의 볼록 껍질 (convex hull) 을 계산하여 도달 가능 부피를 추정합니다.
  5. 최종 권한 값은 $\log(\hat{\lambda}(R) - \hat{\lambda}(T))$로 계산됩니다.

2.4. 권한 기반 항해 보상 함수 (Empowered Navigation Reward)

• 기존 작업 수행 보상 ($r_d$) 에 안전 보상을 곱하는 형태로 설계합니다.
  • $r(x) = r_d(x) \cdot \log(c \cdot \lambda(R_{T,free}(x)))$
  • $c$: 안전 계수 (safety coefficient). $c$를 줄이면 더 보수적이고 안전한 정책을 학습하게 됩니다.
• 특징:
  • 물리 기반 (Physics-informed): 시스템의 내부 상태 (속도 등) 와 전방 동역학 (forward dynamics) 을 직접 반영합니다.
  • 내재적 동기 부여: 에이전트가 "미래의 기동성 (maneuverability)"을 최대화하도록 유도하여, 장애물과의 거리를 자연스럽게 유지하게 합니다.
  • 환경 독립성: 전역 지도나 장애물에 대한 사전 정보가 필요 없으며, 시뮬레이터가 궤적의 충돌 유무만 판별하면 됩니다.

3. 주요 기여 (Key Contributions)

1. 새로운 권한 정의: 결정론적 연속 시간 동역학 시스템에 적합한 권한 (Empowerment) 의 새로운 정의를 제시했습니다.
2. C-STEP 프레임워크: 물리 법칙과 에이전트 내부 상태를 통합한 내재적 보상 설계 방법론을 제안했습니다. 이는 기존 보상 함수를 대체하는 것이 아니라 보완하여 안전성을 강화합니다.
3. 해석 가능한 안전 지표: 도달 가능 공간의 부피를 기반으로 안전성을 정량화하여, 에이전트가 왜 특정 행동을 선택하는지 (기동성 확보) 를 해석 가능하게 만듭니다.
4. 실용적 근사 알고리즘: 복잡한 비선형 시스템에서도 적용 가능한 효율적인 샘플링 기반 근사 알고리즘을 개발했습니다.

4. 실험 결과 (Results)

논문은 2D 포인트 미로 (Point Maze) 와 3D 드론 (PyBullet) 환경에서 실험을 수행했습니다.

• 실험 설정: PPO(Proximal Policy Optimization) 알고리즘을 사용하며, 일반 항해 보상 (Unempowered) 과 C-STEP 보상 (Empowered) 을 적용한 에이전트를 비교했습니다.
• 성능 지표:
  • 성공률 (Success Rate):
    • 일반 에이전트: 82%
    • C-STEP (안전 계수 $c=0.5$): 99% (가장 안전한 설정)
  • 장애물 통과 시간: C-STEP 에이전트는 성공률이 크게 향상되었음에도 불구하고, 통과 시간은 일반 에이전트 대비 매우 미미하게만 증가했습니다 (예: $c=1$일 때 6.56초 $\to$ 7.77초).
  • 장애물 근접 시간: C-STEP 에이전트는 장애물 (벽) 과 매우 가까운 거리 (0.1m 이내) 에서 보낸 시간이 일반 에이전트 대비 72% 이상 감소했습니다.
• 행동 변화: 일반 에이전트는 빠른 경로 (좁은 길) 를 선택하여 충돌이 빈번했으나, C-STEP 에이전트는 안전성이 높은 넓은 경로를 선택하는 행동을 학습했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 안전 RL 패러다임의 전환: 기존의 "안전한 상태 집합을 정의하고 이를 강제하는 (Hard Constraints)" 방식이나 "위험 행동에 페널티를 주는 (Additive Penalties)" 방식과 달리, C-STEP 은 에이전트에게 '미래의 선택지 (기동성) 를 확보하는 것' 자체가 보상이 되도록 유도합니다. 이는 에이전트가 스스로 안전을 유지하는 내재적 동기를 부여합니다.
• 모델 프리와 모델 기반의 중간: 완전한 모델 프리 RL 은 아니지만, 미분 가능한 전이 함수를 요구하지 않으며 시뮬레이터만 있으면 작동하므로 실제 로봇 시스템에 적용하기 용이합니다.
• 확장성: 결정론적 시스템에 기반했으나, 확률적 시스템이나 실제 로봇의 불확실성에도 근사적으로 적용 가능함을 시사합니다.
• 향후 연구: CBF(제어 장벽 함수) 등 기존 안전 RL 방법과의 결합 및 정량적 비교, 더 복잡한 환경에서의 검증이 필요하다고 언급했습니다.

요약하자면, C-STEP 은 물리 법칙과 에이전트의 미래 기동성을 기반으로 한 새로운 보상 설계 기법으로, 추가적인 계산 비용 없이 강화 학습 에이전트의 안전성을 획기적으로 향상시키는 효과적인 방법론입니다.