기술 요약: TraCeS

문제 정의

강화 학습(RL)에서 안전 제약 조건이 암묵적이거나, 측정 불가능하거나, 훈련 중에 사용할 수 없는 경우 안전한 행동을 보장하는 것은 매우 어렵습니다. 로보틱스나 자율 주행과 같은 많은 안전 필수 도메인에서, 하드코딩된 제약 조건과 수동으로 설계된 비용 함수는 취약하며 문맥 의존적인 시나리오 전반에 걸쳐 일반화되는 데 실패하는 경우가 많습니다. 또한, 조밀한 타임스텝별 감독(per-timestep supervision)은 자주 불가능합니다. 대신, 감독은 전체 궤적(또는 그 접두사)이 알려지지 않은 안전 임계값 내에 머물렀는지 여부를 나타내는 성긴(sparse) 이진 레이블로 제한됩니다.

핵심적인 어려움은 **신용 할당 문제(credit assignment problem)**에 있습니다. 궤적 수준의 레이블(예: "거절됨")은 위반이 발생했음을 나타내지만, 언제 또는 어떤 구체적인 행동이 그것을 유발했는지는 명시하지 않습니다. 표준 제약 마르코프 결정 과정(CMDP) 방법들은 알려진 타임스텝별 비용 함수와 임계값에 접근할 수 있다고 가정하지만, 본 연구의 상황은 그렇지 않습니다. 이 논문은 에이전트가 알려진 비용 함수 $C$나 제약 임계값 $b$에 대한 지식 없이, 성긴 궤적 수준의 승인/거절(accept/reject) 레이블로부터 안전한 정책을 학습해야 하는 상황을 다룹니다.

방법론: TraCeS

저자들은 성긴 궤적 수준의 레이블로부터 타임스텝별 위반 신용(violation credits)을 학습하는 프레임워크인 TraCeS(Trajectory-based Constraint Estimation for Safety)를 제안합니다. 이 방법은 세 가지 주요 구성 요소를 포함하는 반복 루프를 통해 작동합니다.

1. 순차적 위반 추정기 (Sequential Violation Estimator)

TraCeS는 성기게 제공되는 이진 피드백을 조밀한 타임스텝별 위반 신용으로 분해하기 위해 순차적 추정기를 훈련합니다.

• 단조 위반 추상화 (Monotone Violation Abstraction): 이 방법은 단조 위반 구조(가정 3.1)를 가정합니다: 일단 궤적이 제약을 위반하면, 그 이후로는 계속 위반 상태를 유지합니다. 이는 "아직 위반되지 않음"의 확률이 시간이 지남에 따라 비증가(non-increasing)함을 의미합니다.
• 인수 분해 (Factorization): 추정기는 궤적 접두사 $\tau_{0:t}$가 아직 제약을 위반하지 않았을 확률 $\hat{P}(\psi_{0:t}=1 | \tau_{0:t})$을 예측합니다. 이 확률는 타임스텝별 곱셈적 신용(multiplicative credits)으로 인수 분해됩니다:
  $$\hat{P}(\psi_{0:T-1}=1 | \tau_{0:T-1}) = \prod_{t=0}^{T-1} \hat{P}^\Delta_t$$
  여기서 $\hat{P}^\Delta_t$는 접두사를 한 단계 확장했을 때의 비위반 확률의 변화를 나타냅니다. 1보다 현저히 작은 값은 안전 확률의 급격한 하락을 유도하는 단계를 나타내며, 효과적으로 위반 신용을 국소화합니다.
• 아키텍처: 추정기는 접두사의 요약 벡터 $h_t$를 유지하기 위한 공유 인코더 $f_w$와 로그-노멀 분포의 파라미터를 출력하기 위한 디코더 $g_w$를 사용합니다. 샘플링된 로그 신용은 $\log \hat{P}^\Delta_t \le 0$으로 제한되어, 누적 확률이 증가하지 않도록 보장합니다.
• 훈련: 추정기는 궤적 또는 접두사의 성긴 이진 레이블(승인/거절)을 사용하여 이진 교차 엔트로피(Binary Cross-Entropy) 손실로 훈련되며, 이를 미지의 레이블링 규칙 $\Psi(\cdot)$에 대한 최대 가능도 추정 문제로 취급합니다.

2. 제약 정책 최적화 (Constrained Policy Optimization)

추정기가 타임스텝별 신용을 학습하면, TraCeS는 이를 표준 CMDP 솔버에 통합합니다.

• 대리 비용 (Surrogate Cost): 추정된 로그 신용은 대리 비용 $\tilde{C}_t = -\log \hat{P}^\Delta_t \ge 0$으로 변환됩니다.
• 제약 재구성 (Constraint Reformulation): 원래의 찬스 제약(acceptable 궤적의 확률이 최소 $d$ 이상이어야 함)을 근사합니다. 젠센의 부등식(Jensen's inequality)을 사용하여, 저자들은 곱셈적 제약을 가산적(additive) 형태로 변환하는 다루기 쉬운 하한(lower bound)을 도출합니다:
  $$\mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t} \tilde{C}_t \right] \le -\log d$$
  이 재구성을 통해, 실제 비용 함수를 알지 못하더라도 학습된 대리 비용를 사용하여 표준 제약 RL 알고리즘(예: PPO-Lagrangian)을 사용할 수 있습니다.
• 이론적 보장: 논문은 젠센의 부등식에 의해 도입된 근사 오차(approximation gap)에 대한 경계치를 제공하며, 추정기가 더 안정화되고 예측된 비위반 확률의 분산이 감소함에 따라 이 오차가 줄어듦을 보여줍니다.

3. 능동적 궤적 선택 (Active Trajectory Selection)

주석(annotation) 부담을 줄이기 위해, TraCeS는 불확실성 기반 전략을 사용하여 레이블을 붙일 궤적을 선택합니다.

• 변동 계수 (Coefficient of Variation, CV): 이 방법은 추정기의 샘플링 노이즈 하에서 궤적 수준의 대리 비용에 대한 CV를 계산합니다. 추정기의 예측에서 높은 분산이나 불확실성을 나타내는 높은 CV를 가진 궤적이 레이블링 우선순위를 갖습니다. 이는 인간 또는 자동화된 주석 작업을 추정기가 가장 불확실해하는 롤아웃에 집중시켜 데이터 효율성을 높입니다.

주요 기여

1. 문제 정식화: 본 논문은 단조 위반 추상화 하에서 성긴 궤적 수준의 레이블로부터 안전한 정책 학습 문제를 정식화하여, 비용 함수와 임계값을 모두 알 수 없는 간극을 해결했습니다.
2. 방법론 (TraCeS): 궤적 수준의 수용 가능성을 타임스텝별 위반 신용으로 인수 분해하는 새로운 순차적 추정기를 제안합니다. 이를 통해 거친 이진 피드백을 표준 CMDP 솔버와 호환 가능한 조밀한 대리 비용 신호로 변환할 수 있습니다.
3. 이론 및 평가:
   • 젠센의 부등식 하한에 의해 도입된 근사 오차에 대한 이론적 분석.
   • 12개의 연속 제어 작업(Safety Gymnasium, MuJoCo, Bullet Safety Gym)에 대한 경험적 검증.
   • 적은 데이터 환경, 노이즈가 있는 레이블, 그리고 인간 피드백이 포함된 설정에서의 강건성 입증.

실험 결과

저자들은 TraCeS를 다음과 같은 베이스라인들과 비교 평가했습니다:

• 오라클 방법 (Oracle Methods): 비용과 임계값을 알고 있다고 가정하는 PPO-Lagrangian 및 CPPO-PID.
• 부분적 지식 (Partial Knowledge): 비용은 학습하지만 임계값은 알고 있다고 가정하는 RLSF.
• 제로 지식 베이스라인 (Zero-Knowledge Basseines): 처음부터 비용과 임계값을 모두 학습하려고 시도하는 Cost-Threshold (C-T) 베이스라인.

주요 결과:

• 제약 만족: TraCeS는 비용이나 임계값에 대한 지식이 전혀 없음에도 불구하고 대부분의 작업에서 제약 조건(비용 $\le$ 임계값)을 만족하는 정책을 안정적으로 학습합니다.
• 레이블 효율성: TraCeS는 제로 지식 C-T 베이스라인보다 훨씬 더 레이블 효율적이며, 안전한 정책으로 수렴하는 데 훨씬 적은 수의 레이블된 궤적을 필요로 합니다.
• 성능: TraCeS는 부분 지식 방법(RLSF)과 경쟁적인 보상-안전 트레이드오프를 달eric하며, 여러 작업에서 오라클 방법의 성능에 근접합니다.
• 국소화 (Localization): 정성적 분석 결과, 학습된 타임스텝별 신용은 오라클 누적 비용이 임계값을 넘어서는 시점 근처에서 정점을 찍으며, 비용을 균일하게 분산시키지 않고 위반 이벤트를 정확하게 국소화함을 보여줍니다.
• 강건성: 이 방법은 중간 정도의 레이블 노이즈(최대 10-20%)와 적은 데이터 환경(예: 1000개의 레이블된 궤적)에서도 효과적입니다. 또한 HalfCheetah에 대한 소규모 연구에서 인간 피드백과 함께 잘 작동함을 보여주었습니다.

의의 및 주장

본 논문은 Tra cycle-level의 명시적 규격(specification)을 사용할 수 없을 때, 암묵적이고 문맥 의존적인 제약 조건에 RL 에이전트를 정렬하는 실질적인 경로를 제공한다고 주장합니다. 거친 승인/거절 감독을 타임스텝별 위반 신용으로 변환함으로써, TraCeS는 수동으로 설계된 비용 함수나 알려진 임계값 없이도 표준 제약 최적화 메커니즘을 사용할 수 있게 합니다.

저자들은 학습된 신용이 식별 가능한 형태의 숨겨진 실제 비용을 복구하는 것이 아니라, 제어 관련 안전 대리물(control-relevant safety surrogates) 역할을 한다는 점을 강조합니다. 이 방법은 특히 안전이 고정된 비용 함수로 인코딩하기 어려운 복잡하고 동적인 요인(예: 포트홀을 피하기 위해 일시적인 차선 이탈이 필요함)에 의해 정의되는 상황에서 매우 중요합니다.

연구 결과는 순차적 추정기와 능동적 선택을 통해 처리된 성긴 궤적 수준의 피드백이 고수준의 안전 판단과 저수준의 정책 최적화 사이의 간극을 효과적으로 메울 수 있음을 시사합니다.