논문 요약: SOLVING PARAMETER-ROBUST AVOID PROBLEMS WITH UNKNOWN FEASIBILITY USING REINFORCEMENT LEARNING (FGE)

이 논문은 강화 학습 (RL) 을 사용하여 시스템이 모든 시간 동안 안전을 유지할 수 있는 초기 상태의 최대 집합을 찾는 **파라미터 강건한 회피 문제 (Parameter-Robust Avoid Problem)**를 해결하는 새로운 방법론인 **Feasibility-Guided Exploration (FGE)**을 제안합니다. 특히, 어떤 파라미터 조합이 실제로 안전을 달성 가능한지 (feasible) 사전에 알 수 없는 상황 (Unknown Feasibility) 에서 효과적으로 작동하는 것을 목표로 합니다.

1. 문제 정의 (Problem)

• 배경: 최근 딥 RL 은 고차원 제어 작업에서 뛰어난 성과를 보였으나, 최적의 안전 제어기 합성 (Optimal Safe Controller Synthesis) 에 적용할 때 근본적인 불일치가 존재합니다. 기존 RL 은 사용자가 지정한 초기 상태 분포에 대한 **기대 보상 (Expected Return)**을 최적화하는 반면, 안전 제어는 관심 있는 전체 상태 집합에서 시스템이 영구적으로 안전하도록 보장하는 것을 목표로 합니다.
• 핵심 문제:
  1. 불일치: RL 이 자주 샘플링되는 상태에는 잘 작동하지만, 분포의 꼬리 (low-probability) 에 있더라도 여전히 안전해야 하는 상태에서는 치명적인 실패를 일으킬 수 있습니다.
  2. 알 수 없는 실현 가능성 (Unknown Feasibility): 안전을 보장하는 파라미터 집합 (feasible set) 을 사전에 알 수 없습니다. 만약 안전하지 않은 파라미터 (infeasible) 를 포함하여 강건 최적화 (Robust Optimization) 를 수행하면, 모든 정책이 동일한 최악의 결과 (실패) 를 보이게 되어 학습이 무의미해집니다.
  3. 기존 방법의 한계: 기존 강건 RL (RARL 등) 은 최악의 경우를 가정하지만, 그 경우 자체가 실현 불가능할 수 있다는 점을 고려하지 않습니다.

2. 제안 방법: Feasibility-Guided Exploration (FGE)

FGE 는 실현 가능한 파라미터 집합을 동시에 식별하고, 해당 집합 내에서 안전 정책을 학습하는 두 가지 작업을 병행합니다.

주요 구성 요소:

1. 실현 가능성 분류기 학습 (Feasibility Classifier Learning):

   • 문제: 안전이 확인된 파라미터 (Positive Label) 만 신뢰할 수 있고, 실패한 파라미터는 단순히 정책이 부족해서일 뿐이므로 Negative Label 로 간주하기 어렵습니다 (Label Asymmetry).
   • 해결: 신뢰할 수 있는 안전 데이터 ($D_f$) 와 현재 정책의 온-폴리시 샘플 (On-policy samples) 을 혼합한 분포 ($p_{mix}$) 를 정의합니다. 이를 통해 거짓 양성 (False Positive, 안전하지 않은 것을 안전하다고 판단) 은 0 이 되도록 보수적으로 분류기를 학습시키고, 거짓 음성 (False Negative) 은 조절 가능한 수준으로 유지합니다.

2. 안장점 찾기 (Saddle-Point Finding) 를 통한 강건 최적화:

   • 문제: 기존 RARL 은 가우시안 정책을 사용하여 파라미터를 제한하기 어렵고 불안정합니다.
   • 해결: 온라인 학습의 Follow-the-Regularized-Leader (FTRL) 알고리즘을 적용합니다.
     • Adversary (파라미터 선택): 현재 추정된 실현 가능한 집합 ($\Theta^*$) 내에서 가장 어려운 파라미터를 선택합니다.
     • Policy (전략 학습): 선택된 파라미터들에 대해 보상을 최대화하는 정책을 업데이트합니다.
     • FTRL 을 사용하여 정책 업데이트를 안정화하고 진동을 방지하며, 이론적으로 수렴성을 보장합니다.

3. 실현 가능한 집합 확장 (Feasible Set Expansion):

   • 문제: 정책이 약하면 새로운 안전 파라미터를 발견하지 못해 학습 데이터가 제한되는 악순환이 발생합니다.
   • 해결: 탐색 (Explore) 분포를 도입합니다. 분류기가 '안전하지 않음'으로 예측한 파라미터를 **거부 샘플링 (Rejection Sampling)**을 통해 적극적으로 샘플링하여, 정책이 아직 해결하지 못한 영역을 탐색하도록 유도합니다.

4. 리허설 버퍼 (Rehearsal Buffer):

   • 과거에 해결되었으나 현재 정책이 성능이 저하된 파라미터들을 저장해 두고, 이를 다시 학습에 포함시켜 정책의 안정성을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 최적화 목표 정립: 최대 실현 가능 파라미터 영역과 안전 정책을 동시에 선택하는 강건한 안전 최적 제어 목표를 공식화했습니다.
2. 실용적 프레임워크 제안:
   • 제약 조건 기반 탐색을 통한 실현 가능 집합 확장.
   • 안장점 찾기 (Saddle-point finding) 및 온라인 학습 기법을 활용한 강건 정책 최적화.
   • 이 두 과정을 교차적으로 수행하는 FGE 알고리즘을 제안했습니다.
3. 성능 입증: MuJoCo 시뮬레이터의 다양한 고차원 회피 문제 (자율 주행, 항공기, 로봇 등) 에서 기존 최선 방법 (State-of-the-art) 대비 **50% 이상 더 넓은 안전 집합 (Safe Set)**을 확보하는 정책을 학습했습니다.

4. 실험 결과 (Results)

• 벤치마크: ToyLevels, Dubins (자율 주행), Hopper, HalfCheetah, FixedWing (항공기), Lunar Lander (RGB 이미지 기반) 등 다양한 환경에서 평가.
• 비교 대상: Domain Randomization (DR), RARL, Curriculum Learning (VDS, PLR), Unsupervised Environment Design (UED) 방법들 (PAIRED, FARR, ACCEL, SFL).
• 성과:
  • 안전율 (Safety Rate): 모든 환경에서 FGE 가 가장 높은 안전율을 기록했습니다.
  • 커버리지 증가 (Coverage Gain): 기존 방법 (특히 DR) 이 해결하지 못했던 '어려운 (Hard)' 파라미터들을 FGE 는 성공적으로 안전하게 만들었습니다.
  • 고차원 확장성: 고차원 관측 (RGB 이미지) 및 고차원 파라미터 공간 (9 차원) 에서도 우수한 성능을 유지했습니다.
  • 분석: FGE 는 희귀하고 어려운 파라미터에 샘플을 집중적으로 할당하여 (Rejection Sampling 기반 탐색) 성공적인 학습을 가능하게 했습니다. 반면, 기존 UED 방법들은 후회 (Regret) 추정 오차로 인해 효율적인 샘플링에 실패했습니다.

5. 의의 및 결론 (Significance)

• 이론적/실용적 기여: 안전 제어 분야에서 '어떤 조건이 안전한지 모르는' 상황을 해결하는 첫 번째 체계적인 접근법 중 하나로, RL 기반 안전 제어의 실용성을 크게 높였습니다.
• 안전성 우선: 기존 안전 RL 이 '작업 수행'과 '안전' 사이의 균형을 맞추는 데 집중했다면, FGE 는 안전 자체를 최대화하는 데 집중하여, 작업 수행과 안전 간의 상충 관계 (Trade-off) 를 제거했습니다.
• 미래 방향: 현재 결정론적 동역학을 가정하고 있으나, 확률적 동역학 (Stochastic Dynamics) 으로 확장하거나 수렴성 증명의 이론적 엄밀성을 높이는 것이 향후 과제로 남았습니다.

요약하자면, FGE 는 강화 학습이 복잡한 시스템에서 '어떤 조건이 안전한지'를 스스로 발견하면서 동시에 그 조건들에서 안전을 보장하는 정책을 학습할 수 있게 해주는 혁신적인 방법론입니다.