기술 요약: 학습에서 안전으로: 제약 조건이 있는 제어를 위한 직접적 데이터 기반 프레임워크

1. 문제 정의

본 논문은 명시적인 시스템 동역학을 사용할 수 없는 모델 프리(model-free) 환경, 특히 학습 기반 제어 시스템에서 안전성(제약 조건 만족)을 보장하는 데 있어 매우 중요한 과제를 다룹니다. 기존의 안전 필터(예: 제어 장벽 함수 또는 CBF)는 물리 법칙이나 데이터로부터 유도된 예측 모델에 의존하여 제어 입력을 수정함으로써 모델 기반 맥락에서 안전성을 효과적으로 강제하지만, 이는 모델에 대한 의존성을 생성합니다. 이러한 의존성은 시스템 식별(system identification)을 먼저 수행해야 하는 "간접적" 방식의 데이터 기반 안전 필터가 오류를 누적시키고 안전 성능을 저하시키는 문제를 야기합니다. 또한, "직접적" 데이터 기반 방법들은 대개 선형 제약 조건에 국한되거나 공식적인 안전 보장을 결여하고 있습니다.

핵심 문제는 다음과 같은 제어 프레임워크를 설계하는 것입니다:

1. 명시적인 시스템 식별 없이 상태 전이 데이터로부터 직접 작동할 것.
2. 성능 최적화를 위해 임의의 모델 프리 학습 알고리즘(예: 강화 학습, 지도 학습)과 원활하게 통합될 것.
3. 학습 부정확성이 존재하는 상황에서도 안전성 및 재귀적 가용성(recursive feasibility)에 대한 공식적인 보장을 제공할 것.

2. 방법론

제안된 솔루션은 성능 최적화와 안전 강제를 분리하는 최적화 기반 제어 프레임워크입니다. 이 프레임워크는 **상태-행동 제어 장벽 함수(State-Action Control Barrier Function, SACBF)**라는 새로운 안전 인증서에 의존합니다.

A. 핵심 개념: 상태-행동 제어 장벽 함수 (SACBF)

상태 $x$만을 기준으로 안전성을 평가하는 클래식한 CBF와 달리, SACBF $Q_B(x, u)$는 상태와 제어 입력 모두의 함수입니다.

• 정의: 함수 $Q_B$가 SACBF라는 것은, $Q_B$의 영(zero) 하위 레벨 세트가 안전 집합 $S_Q$를 정의하며, $S_Q$ 내의 임의의 상태에 대해 다음 상태를 $S_Q$ 내에 유지시키는 $Q_B(x, u) \leq 0$을 만족하는 입력이 존재함을 의미합니다.
• 장점: 이 정식화는 안전 필터가 동역학을 앞으로 전파하거나 모델 $f(x, u)$를 요구하지 않고도, 현재의 상태-행동 쌍에서 후보 제어 행동의 안전성을 직접 평가할 수 있게 합니다.

B. 제어 프레임워크

제어 정책 $\pi(x)$는 다음과 같은 제약 최적화 문제의 해로 정의됩니다:
$$\pi(x) := \arg \min_{u \in U} Q(x, u) \quad \text{s.t.} \quad Q_B(x, u) \leq 0$$
여기서 $Q(x, u)$는 작업 성능을 나타내는 목적 함수(RL 또는 SL을 통해 학습됨)이며, $Q_B(x, u)$는 안전 제약 역할을 하는 학습된 SACBF입니다.

C. SACBF 학습

본 논문은 $Q_B$를 위한 세 가지 구별된 데이터 기반 합성 방법을 제안합니다:

1. 강화 학습 (RL): SACBF 합성을 도달 가능성(reachability) 문제로 취급합니다. 이는 도달 가능성 문제의 최적 가치 함수를 근사하기 위해 가치 기반 RL(예: Temporal Difference 학습)을 적응시킵니다. 참고: 도달 가능성의 비수축적(non-contractive) 벨만 방정식 특성으로 인해, 안전 인증서 자체에 대한 공식적인 수렴 보장은 부족합니다.
2. 전문가 가이드 학습 (Expert-Guided Learning): 전문가의 안전한 제어기(예: 인공 퍼텐셜 필드)가 존재한다고 가정합니다. 이를 통해 전문가의 안전한 궤적과 일치하는 SACBF를 찾는 강건 최적화 문제로 합성을 정식화합니다.
3. **지도 학습 (SL): 유효한 클래식 CBF $B(x)$가 이미 알려져 있다고 가정합니다. 이를 사용하여 알려진 CBF로부터 유도된 상태-행동 쌍에서 SACBF 값으로의 매핑을 지도 회귀를 통해 학습합니다.

D. 강건성 분석: 오차-상태 안전성 (Error-to-State Safety, ESSf)

학습 오류(학습된 $Q_B^\omega$가 실제 $Q_B$와 편차를 보이는 경우)를 처리하기 위해, 저자들은 오차-상태 안전성 (ESSf) 프레임워크를 도입합니다.

• 메커니즘: 모델 기반 예측에 의존하는 대신, 이 프레임워크는 학습 오류($\epsilon$)가 안전 제약에 미치는 영향을 직접 정량화합니다.
• 전략: 제약 조건 축소(tightening) 및 완화(relaxation) 접근 방식을 채택합니다:
  • 원래의 상태 제약($h(x) \leq 0$)을 $h(x) + \delta(\epsilon) \leq 0$으로 축소합니다.
  • 필터 내의 SACBF 제약을 $Q_B^\omega(x, u) \leq \kappa(\epsilon)$으로 완화합니다.
• 결과: 정리(Theorem) 1과 2는 학습 오류가 유계(bounded)인 경우, 시스템이 축소된 상태 제약 내에서 재귀적 가용성과 안전성을 유지함을 보여주는 폐쇄형(closed-form) 관계를 제공합니다.

E. 정책 정교화 (Policy Refinement)

유효한 SACBF가 학습되면, 프레임워크는 비제약 가치 기반 RL 알고리즘(예: Fitted Q Iteration)을 제약된 설정으로 확장합니다. Constrained FQI 알고리즘은 학습된 SACBF 제약을 준수하면서 성능 목적 함수 $Q_\theta$를 반복적으로 업데이트하여, 결과적인 정책이 안전을 만족하면서도 작업에 대해 최적에 가깝도록 보장합니다.

3. 주요 기여

1. 직접적 데이터 기반 안전 제어 프레임워크: 본 논문은 시스템 식별 없이 데이터로부터 직접 안전한 제어기를 학습하는 프레임워크를 제안하여, 모델 프리 학습과 제약 제어 사이의 간극을 메웁니다.
2. 상태-행동 제어 장벽 함수 (SACBF): 상태-행동 쌍을 평가하는 SACBF를 도입하여, 명시적인 동역학 모델이 필요 없는 안전 필터를 가능하게 합니다.
3. 세 가지 합성 체계: SACBF를 학습하기 위한 세 가지 방법(RL, 전문가 시연, 알려진 CBF로부터의 지도 학습)을 제시합니다.
4. 오차-상태 안전성 (ESSf) 분석: 학습 오류가 안전성에 어떻게 영향을 미치는지 정량화하고, 제약 조건 축소 및 SACBF 제약 완화를 통해 공식적인 보장을 제공하는 새로운 강건성 분석 프레임워크를 제공합니다.
5. 분리된 최적화: 성능 학습($Q$ 최적화)과 안전 강제($Q_B$ 최적화)를 분리하여, 다양한 학습 알고리즘을 통합하면서도 안전성을 유지할 수 있게 합니다.

4. 결과

본 프레임워크는 장애물이 있는 2D 공간에서 이동하는 자율 차량에 대한 시뮬레이션을 통해 검증되었습니다.

• 케이스 스터디 설정: 상태 및 입력 제약이 있는 운동학적 차량 모델이 사용되었으며, SACBF는 전문가 가이드 방식(APF를 전문가로 사용)과 RL 방식을 통해 학습되었습니다.
• 안전 성능:
  • 제안된 3DSF(Direct Data-Driven Safety Filter)는 다양한 초기 조건과 참조 정책(안전하지 않은 APF 및 안전하지 않은 DDPG 모두)에 대해 100% 안전율을 달お했습니다.
  • 반면, 간접적 데이터 기반 안전 필터(학습된 모델에 의존하는 방식)는 모델 식별 오류와 CBF 학습 오류의 누적으로 인해 더 낮은 안전율(예: unsafe APF의 경우 약 79%)을 기록했습니다.
  • MPC(Model Predictive Control)는 100% 안전성을 달성했으나, 비볼록 최적화 문제와 높은 계산 비용으로 인해 낮은 작업 성능(목표 도달 궤적 약 78%)을 보였습니다.
• 작업 성능:
  • Constrained FQI 알고리즘(SACBF 제약 하에 $Q$를 학습)은 총 비용 173.85를 기록하여, 3DSF에 의해 필터링된 unsafe/safe DDPG 정책보다 우수한 성능을 보였습니다. 이는 안전 제약을 RL 학습 과정에 직접 포함하는 것이 사후 필터링이나 보상 형성(reward shaping)보다 작업 성능을 향상시킨다는 것을 입증합니다.
• 계산 효율성: 3DSF는 MPC(약 33 ms)에 비해 현저히 낮은 온라인 CPU 시간(약 2.2 ms)을 보여 실시간 애플리케이션에 적합함을 입증했습니다.

5. 의의 및 주장

본 논문은 겸손하지만 엄격한 안전 학습 기반 제어의 발전을 주장합니다:

• 간극 해소: 명시적인 시스템 모델에 대한 의존성을 제거함으로써 모델 프리 학습과 제약 제어 사이의 간극을 성공적으로 메웠습니다.
• 모델 없는 공식적 보장: 학습 오류가 유계인 경우, 시스템 동역학을 모르는 상태에서도 공식적인 안전 보장(재귀적 가용성 및 제약 만족)을 제공합니다.
• 간접 방식 대비 우월성: 직접적 데이터 기반 접근 방식이 간접적 방식(모델 식별 + 제어기 학습)에서 발생하는 오류 누적을 피한다는 것을 결과로 보여줍니다.
• 유연성: 프레ка임워크는 광범위한 기존 학습 알고리즘(RL, SL)과 호환되며 온라인으로 업데이트될 수 있습니다.

인정된 한계점:

• 이 방법은 상태-행동 공간에서의 샘플링을 요구하므로, 상태 전용 방법보다 샘의 복잡도가 높습니다.
• 데이터 수집 단계에서 안전 제약이 위반될 수 있으며, 이는 안전이 항상 최우선인 실제 시스템에는 부적합할 수 있습니다(시뮬레이터가 이를 완화할 수 있음).
• RL 기반의 SACBF 합성은 도달 가능성 문제의 특성상 안전 인증서 자체에 대한 공식적인 수렴 보장이 부족합니다.
• 현재 연구는 이산 시간 시스템에 초점을 맞추고 있으며, 연속 시간으로의 확장은 향후 과제로 남겨두었습니다.