기술 요약: 강건한 제약 강화 학습을 위한 TCRL

문제 정의

제약 강화 학습(Constrained Reinforcement Learning, CRL)은 자율 주행 및 로보틱스와 같이 에이전트가 안전 제약을 준수하면서 보상을 최대화해야 하는 안전 필수 영역에서 매우 중요합니다. 그러나 기존의 강건한 CRL 방법들은 실세계 환경의 적대적 섭동(adversarial perturbations)에 노출되었을 때 상당한 취약성을 보입니다. 현재의 접근 방식들은 주로 고정된 반경의 $\ell_p$ 노름 볼(norm ball) 내에서 모델링되는 시간-독립적(single-step) 섭동에 초점을 맞추고 있습니다. 이들은 공격자가 에이전트의 이력과 안전 비용 제약에 따라 시간에 따라 진화하는 섭동을 생성하는 시간-결합적(temporal-coupled) 섭동을 다루는 데 실패합니다.

최악의 시나리오에서 공격자는 에이전트의 안전 비용 및 보상 함수를 학습하여 섭동의 강도를 점진적으로 높이는 섭동을 생성할 수 있습니다. 이는 에이전트가 목표에서 벗어나게 하고, 안전 제약을 위반하며, 심각한 보상 저하를 초-래하게 만듭니다. 기존 방법들은 두 가지 구체적인 과제에 직면해 있습니다:

1. 인지(Perception): 공격자를 명시적으로 모델링하지 않고도 최악의 안전 비용을 인지하고 추정할 수 있는 비용 제약 함수 메커니즘이 부족합니다.
2. 방어(Defense): 보상 신호에 대한 시간-결합적 공격을 방어하기 위한 효과적인 훈련 전략이 부족하며, 종종 보상의 예측 불가능성을 유지하거나 공격자의 시간적 패턴을 차단하는 데 실패합니다.

방법론: TCRL 프레임워크

저자들은 최악의 시간-결합적 섭동 하에서 의사 결정 정책을 최적화하도록 설계된 프레임워크인 TCRL(Temporal-Coupled Adversarial Training)을 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 시간-결합적 섭동 모델

본 논문은 섭동 강도가 동적인 새로운 섭동 제약을 정의합니다. 적응형 제약 파라미터 $\bar{\epsilon}_t$는 이전 섭동($p_{t-1}$)의 크기에 따라 다음과 같이 업데이트됩니다:
$$\bar{\epsilon}_t = \bar{\epsilon}_{t-1} + \alpha \cdot \|p_{t-1}\|$$
이를 통해 공격자는 연속적인 섭동 간의 차이 $\|p_t - p_{t-1}\| \leq \bar{\epsilon}_t$라는 제약 조건 하에서 시간이 지남에 따라 더 높은 강도의 전략을 탐색할 수 있습니다.

2. 최악의 사례를 인지하는 비용 제약 함수

명시적인 공격자 모델링 없이 안전 비용을 추정하는 문제를 해결하기 위해, TCRL은 최악의 사례 비용 벨만 연산자(Worst-Case Cost Bellman Operator, $\Gamma$)를 도입합니다.

• 정의: 정책 $\pi$에 대해, 이 연산자는 관측 공격 하에서의 의사 결정 호라이즌 동안의 최대 누적 비용을 추정합니다.
• 구현: 최악의 사례 비용 네트워크($Q^\pi_\varphi$)는 공격자가 상태 섭동을 통해 유도할 수 있는 잠재적 행동 집합 $\Omega(s, \pi)$에 대한 최대 비용을 포함하는 특화된 손실 함수를 사용하여 훈련됩니다.
• 제약 변환: 표준 CRL 제약($V^\pi_c \leq \eta$)은 최악의 사례 제약인 $V^\pi_c \leq C_{threshold}$로 변환됩니다. 여기서 $V^\pi_c$는 추정된 최악의 사례 비용 값입니다. 이는 가장 심각한 시간-결합적 공격 하에서도 안전을 보장합니다.

3. 이중 제약 보상 방어 메커니즘

역사적 보상 데이터를 활용하여 보상 함수를 모델링하는 공격자에 대응하기 위해, TCRL은 훈련 중 보상 신호에 두 가지 제약을 구현합니다.

• 시간적 상관관계 제약(Temporal Correlation Constraint): 시간 윈도우 $w$ 내에서 보상 시퀀스의 자기상관(autocorrelation)을 제한합니다. 약한 상관관계 제약($C_{corr} \leq \epsilon_{corr}$)을 강제함으로써, 시스템 역학의 시간적 의존성을 모델링하려는 공격자의 능력을 차단합니다. 표준 상관 계수의 비미분성을 처리하기 위해 그래디언트 수정 메커니즘이 사용됩니다.
• 보상 엔트로피 안정성 제약(Reward Entropy Stability Constraint): 섭동으로 인한 보상 분포의 급격한 변화를 방지합니다. 이는 연속적인 타임스텝 사이의 보상 엔트로피($H_t$) 변화율을 제약($C_{ent} \leq \epsilon_{ent}$)하여, 보상 분포가 부드럽게 진화하고 공격자에게 예측 불가능하게 유지되도록 합니다.

전체 목적 함수는 라그랑주 완화(Lagrangian relaxation)를 사용하여 정식화되며, 안전 비용, 상관관계 및 엔트로피 제약을 동시에 만족하면서 기대 보상을 최대화하도록 정책을 최적화합니다.

주요 기여

1. TCRL 프레임워크: 최악의 경우의 시간-결합적 시나리오에서 강건한 CRL을 위해 특별히 설계된 새로운 적대적 훈련 프레임워크입니다.
2. 최악의 사례 비용 추정: 명시적인 공격자 모델링 없이도 시간-결합적 섭동 하에서의 최악의 사례 안전 비용을 직접 추정할 수 있는 비용 제약 함수와, 이를 위한 맞춤형 손실 함수를 제공합니다.
3. 이중 제약 방어: 시간적 상관관계 제약(공격 패턴 차단용)과 엔트로피 안정성 제약(보상 예측 불가능성 보존용)으로 구성된 보상 기반 방어 메커니즘입니다.
4. 실험적 검증: 기존 방법론 대비 우수한 강건성을 입증하는 광범한 실험을 수행했습니다.

실험 결과

저자들은 네 가지 연속 제어 작업인 Ball-Circle, Ball-Run, Car-Circle, Car-Run에 대해 TCRL(PPOL 알고리즘과 통합됨)을 평가했습니다. 평가는 다섯 가지 조건(natural (공격 없음), MAD (Maximum Action Difference), MC (Max Cost), Random, 그리고 커스텀 Worst-TC (Worst-Case Temporal-Coupled) 공격자)에 대해 수행되었습니다.

• 안전 성능: TCRL은 Worst-TC 공격 하에서 일관되게 가장 낮은 안전 비용을 달s했습니다. 본 논문은 네 가지 작업 전반에 걸쳐 기존 베이스라인 방법들과 비교하여 안전 비용을 559.38%에서 19,077.78%까지 감소시켰다고 보고합니다. 예를 들어, Car-Run 작업에서 TCRL은 베이스라인 대비 안전 비용을 최대 190.77배까지 줄였습니다.
• 보상 성능: Worst-TC 공격 하에서 상당한 보상 저하를 겪는 베이스라인과 달리, TCRL은 보상 값을 유지하거나 오히려 증가시켰습니다. TCRL은 Worst-TC 공격 하에서 베이스라인 대비 보상 값을 11.09%에서 34.76% 개선했습니다.
• 절제 연구(Ablation Study): 비용 제약 함수를 제거하면(TCRL-Worstcost) 안전 비용이 크게 증가했고, 보상 방어 제약을 제거하면(TCRL-Reward) 보상이 대폭 하락하여, 두 구성 요소 모두의 필요성을 확인했습니다.

의의 및 주장

본 논문은 단일 단계 공격보다 실제 세계의 적대적 시나리오를 더 잘 나타내는 시간-결합적 섭동을 명시적으로 모델링하고 방어함으로써 기존 문헌의 중요한 공백을 메운다고 주장합니다.

저자들은 TCRL이 에이전트로 하여금 다음을 가능하게 한다고 단언합니다:

• 최악의 시간적 공격 하에서도 안전 제약 위반을 엄격히 피하면서 높은 과업 보상을 유지함.
• 특정 공격자 모델과 공동 훈련할 필요 없이 최적의 시간-결합적 적대자를 인지하고 방어함.
• 시간적 상관관계 및 엔트로피 제약을 통해 시스템 역학의 보상 함수를 학습하려는 공격자의 능력을 무력화함.

이 연구는 상태 관측치가 진화하고 상관관계가 있는 적대적 노이즈에 노출되는 안전 필수 물리 환경에 CRL을 배포하기 위한 강건한 솔루션으로서 TCRL을 포지셔닝합니다.