기술 요약: 샘플링 기반 가중치 공간 투영을 통한 제약 정책 최적화 (SCPO)

1. 문제 정의

본 논문은 **안전-중요 학습 (safety-critical learning)**의 과제를 다루며, 특히 안전 제약 조건을 위반하거나 알려진 안전한 운영 영역을 벗어나지 않으면서 학습 기반 제어기의 성능을 향상시키는 필요성에 초점을 맞춥니다. 저자들은 다음과 같은 설정을 다룹니다:

• 롤아웃 기반 안전 제약: 안전은 시뮬레이션 (롤아웃) 을 통해 평가될 수 있지만 정책 매개변수에 대해 해석적으로 미분 가능하지 않은 궤적 수준 지표 (예: 상태 제약, 안정성 마진) 로 정의됩니다.
• 블랙박스 제약: 제약 함수 $g(\theta)$는 폐쇄형 야코비안 (Jacobian) 이 없어 명시적인 제약 기울기를 요구하는 표준 제약 최적화 방법들을 적용할 수 없습니다.
• 목표: 인증된 안전한 초기화에서 시작하여 재귀적 실현 가능성(각 학습 단계에서 안전 유지) 과 작업 목적 함수의 단조 개선을 보장하는 제약 정책 최적화를 수행하는 것입니다.

2. 방법론: SCPO

저자들은 정책 네트워크의 가중치 공간에서 직접 안전을 강제하는 **SCPO(샘플링 기반 제약 정책 최적화)**를 제안합니다.

2.1 아키텍처 및 초기화

저랭크 적응 (LoRA) 에서 영감을 받아, 정책 $\pi_\theta$는 인증된 기준 제어기($\pi_{safe}$) 와 잔여 신경망($\phi_\theta$) 의 조합으로 구조화됩니다:
$$\pi_\theta(x) = \begin{cases} \pi_{safe}(x) + \phi_\theta(x) & x \notin X_f \\ \pi_{safe}(x) & x \in X_f \end{cases}$$

• $\pi_{safe}$: 영역 $\Omega$ 내에서 안전성과 안정성을 보장하는 비모수적 안정화 제어기 (예: 클리핑이 적용된 LQR) 입니다.
• $\phi_\theta$: 출력을 0 으로 초기화된 신경망 ($\phi_{\theta_0} \equiv 0$) 입니다. 이는 초기 정책이 안전한 기준과 동일하도록 보장합니다.
• 학습 목표: 훈련 과정은 $\pi_{safe}$의 근방에서의 "안전 적응"으로 간주되며, 여기서 $\phi_\theta$는 성능 향상을 학습하고 투영 메커니즘은 결합된 정책이 안정화되도록 보장합니다.

2.2 국소 안전 영역 구성

$g(\theta)$가 미분 불가능하므로, SCPO 는 다음을 사용하여 가중치 공간에 국소 안전 집합을 구성합니다:

1. 점별 평가: 안전 지표는 유한한 수의 후보 가중치 업데이트 (롤아웃) 에 대해 평가됩니다.
2. 부드러움 경계: 이 방법은 안전 제약의 국소 리프시츠 연속성을 가정합니다. 제약 표면을 근사하기 위해 2 차 상한을 사용합니다:
   $$g_i(\theta_t + \Delta\theta) \leq g_i(\theta_t) + \nabla g_i(\theta_t)^\top \Delta\theta + \frac{L_i}{2}\|\Delta\theta\|^2$$
   여기서 $L_i$는 샘플링된 업데이트에서 추정된 곡률 상수입니다.

2.3 샘플링 기반 투영

고차원 제약 최적화 문제를 직접 푸는 대신, SCPO 는 업데이트를 **샘플링된 후보 업데이트의 스패너 ($D$)**로 제한합니다.

• 후보 뱅크: 최근 업데이트와 해당 안전 평가 $G$를 버퍼 $D$에 저장합니다.
• 저차원 투영: 업데이트는 $\Delta\theta = Dc$로 매개변수화되며, 여기서 $c \in \mathbb{R}^m$는 계수 벡터입니다.
• 볼록 최적화: 문제는 저차원 공간 $c$에서 2 차 원뿔 프로그래밍 (SOCP)(또는 2 차 제약 2 차 프로그래밍) 으로 축소됩니다:
  $$\min_c \|c - e_m\|_S^2 \quad \text{s.t.} \quad (1 - \mathbf{1}^\top c)g(\theta_t) + Gc + \frac{1}{2}(c^\top Sc + |c|^\top \text{diag}(S))L \leq 0$$
  이는 원시 기울기 업데이트를 보수적인 국소 안전 집합으로 투영하여 새로운 가중치가 안전 제약 조건을 만족하도록 보장합니다.

2.4 이론적 보장

• 귀납에 의한 안전: 안전한 초기화 ($g(\theta_0) \leq 0$) 에서 시작하면, 투영이 실현 가능하다고 가정할 때 모든 후속 단계에서 $g(\theta_{t+1}) \leq 0$이 보장됩니다.
• 안정성: 선형 동역학 시스템의 경우, 이 방법은 리아푸노프 마진을 유지하여 폐루프 시스템이 국소 점근적으로 안정화되고 안전 영역 $\Omega$가 순방향 불변임을 보장합니다.
• 단조 개선: Armijo 스타일의 백트래킹 라인 서치를 사용하여 알고리즘은 제약 조건을 위반하지 않고 작업 손실 $L(\theta)$의 감소를 보장합니다.

3. 주요 기여

1. 가중치 공간 투영: 제약 함수의 기울기를 요구하지 않고 매개변수 공간에서 직접 안전 투영을 수행하는 새로운 샘플링 기반 방법.
2. 귀납에 의한 안전 메커니즘: 어떤 안전한 초기화에서 시작하더라도 재귀적 실현 가능성과 단조 목적 함수 개선을 보장하는 학습 프레임워크.
3. 제어 이론적 분석: 리아푸노프 마진을 유지함으로써 선형 시스템에 대해 SCPO 가 폐루프 안정성을 유지한다는 공식 증명.
4. 실증적 검증: 제약 회귀 및 모방 학습 작업에서 유해한 감독에 대한 강건성과 안전한 탐색의 입증.

4. 실험 결과

저자들은 SCPO 를 두 가지 작업에서 평가합니다:

4.1 제약 회귀

• 설정: 특정 영역에서 목표 함수가 하드 제약 ($|y| \leq 1.4$) 을 위반하는 1 차원 회귀 문제.
• 결과: SCPO 는 안전한 영역에서 목표 함수에 성공적으로 적합되며 제약 경계에서 부드럽게 포화됩니다. 부드러운 제약 기준선 (미분 가능 제약과 하이퍼파라미터 조정이 필요함) 과 달리, SCPO 는 위반 없이 하드 제약을 엄격하게 강제합니다.

4.2 더블 적분기 모방 학습

• 설정: 신경망이 시스템을 불안정하게 만드는 "악성 전문가"(공격적인 정책) 를 모방하려 시도하지만 안전한 LQR 기준에서 시작하는 제어 작업.
• 결과:
  • 유해한 업데이트 거부: SCPO 는 불안정으로 이어지는 업데이트를 거부하여 정책이 전문가의 불안정화 행동을 모방하는 것을 방지합니다.
  • 안정성 유지: 학습된 정책은 원래 안전 제어기의 안정화 영역을 유지하는 반면, 악성 전문가는 상태 공간의 상당 부분에서 시스템을 안정화하지 못합니다.
  • 성능: 정책은 안전한 운영 영역 내에 머무르면서 모방 목적에서 의미 있는 개선을 달성합니다.

5. 의의 및 한계

의의:
본 논문은 SCPO 가 명시적인 제약 비용이나 미분 가능한 안전 필터에 의존하지 않는 실용적이고 데이터 기반의 안전한 학습 접근법을 제공한다고 주장합니다. 인증된 백업 제어기를 고정된 베이스로 간주하고 가중치 공간에서 업데이트를 투영함으로써, 보수적인 기준을 넘어 안전한 적응을 가능하게 합니다. 이는 형식적 보장을 도출하기 어렵지만 안전이 절대적으로 필요한 자율 주행 및 로봇 공학과 같은 도메인에 특히 관련이 있습니다.

한계:
저자들은 이 방법이 보수적임을 인정합니다. 투영 단계는 새로운 개선 방향을 생성하지 않으며, 기존 샘플링된 후보 중 가장 안전한 방향만 선택합니다. 저자들은 향후 연구가 이러한 보수성을 해결하기 위해 개선된 안전한 탐색을 위해 목적 함수를 수정하는 다른 기법들을 통합하는 것을 목표로 한다고 언급합니다.

결론:
SCPO 는 고성능 학습과 엄격한 안전 요구 사항 사이의 간극을 연결하는 엄격한 제약 정책 최적화 프레임워크를 제공하여, 학습 기반 제어기가 훈련 과정 전반에 걸쳐 안전하고 안정적으로 유지되도록 보장합니다.