기술적 요약: 제약 강화 학습을 위한 확률적 결정 지평

문제 제기

실제 제어 시스템 (예: 로봇공학, 생체역학, 의료 과정) 에 대한 강화 학습 (RL) 은 종종 모든 시간 단계에서 순간적 제약을 충족해야 합니다. 단일한 심각한 위반은 하드웨어 손상, 환자 피해, 또는 제어기의 불안정성을 초래할 수 있습니다. 제약 강화 학습의 표준 프레임워크인 제약 마르코프 결정 과정 (CMDP) 은 누적 비용 예산을 최적화합니다. 전역적 예산 (예: 총 연료 소비량) 에는 효과적이지만, CMDP 는 순간적 실현 가능성에는 어려움을 겪습니다. 단계별 제한을 누적 예산으로 인코딩하면 예산이 극도로 작아져야 하며, 기존 CMDP 알고리즘이 종종 수렴하지 않거나 효과적으로 학습하지 못하는 영역으로 이어집니다.

본 논문은 이론적으로 근거된 대안인 **확률적 결정 지평 (SDH)**을 제안합니다. SDH 는 위반 시 예산을 소모하는 대신, 제약 위반을 확률적으로 유효한 계획 지평을 단축시키는 순간적 (비) 실현 가능성 신호로 간주합니다.

방법론

1. 확률적 결정 지평 (SDH)

SDH 는 제약 문제를 생존 확률 문제로 재구성합니다.

• 메커니즘: 상태 - 행동 지속 확률 $\alpha(s, a) \in [0, 1]$이 도입됩니다. 제약이 위반되면 $\alpha$가 감소하여 궤적이 계속될 확률을 낮춥니다.
• 목적: 에이전트는 궤적이 해당 시점까지 생존했다는 조건 하에, 무작위 기하학적 종료 시간 $T_\gamma$에서의 기대 보상을 최대화합니다.
• 벨만 공식화: 이는 형상화된 보상과 상태 - 행동 의존적 할인율을 가진 수정된 벨만 방정식으로 이어집니다:
  • $\tilde{r}(s, a) = \alpha(s, a) r(s, a)$
  • $\tilde{\gamma}(s, a) = \gamma \alpha(s, a)$
• 이중 변수: 라그랑주 이중 변수 $\eta$는 비용 페널티가 아닌 보상에 추가되는 생존 보너스 ($r + \eta$) 로 작용합니다. 이는 높은 생존 확률을 유지하는 정책을 장려합니다.

2. 추론으로서의 제어 (CaI) 및 정규화

오프 - 정책 정규화 알고리즘을 유도하기 위해 저자들은 추론으로서의 제어를 사용합니다. 그들은 제약 위반 후 발생하는 두 가지 다른 의미적 해석을 식별하여 두 가지 다른 정규화기를 도출합니다:

• 흡수 상태 (AS) 의미: 결정 과정은 위반 시 즉시 종료됩니다. 생존한 결정만 정보 비용 (KL 발산/엔트로피) 에 기여합니다.
  • 알고리즘: AS-SAC(흡수 상태 소프트 액터 - 크리티크).
  • 정규화기: 최대 엔트로피이지만, 생존한 결정 질량에 의해서만 가중치가 부여됩니다. 이는 가변 할인 소프트 벨만 재귀를 산출합니다.
• 가상 종료 (VT) 의미: 결정 과정은 계속되지만, 보상 크레딧은 중단됩니다. 에이전트는 기본 MDP 에서 계속 행동하지만, 미래 보상은 생존에 의해 게이트됩니다.
  • 알고리즘: VT-MPO(가상 종료 최대 사후 확률 정책 최적화).
  • 정규화기: 일반 할인 지평에 대한 KL 정규화 정책 개선과 생존 형상화된 크리티크가 짝을 이룹니다.

3. CMDP 와의 이론적 연결

본 논문은 SDH 와 가산 예산 CMDP 간의 관계를 특징짓기 위해 위반 깊이 프로파일을 도입합니다.

• 단일 스케일 영역: 위반이 단일 특징 스케일에서 발생하면 (예: 빈번한 얕은 위반 또는 특정 분포를 따르는 드문 깊은 위반), SDH 는 매칭하는 가산 예산 CMDP 를 효과적으로 해결합니다.
• 다중 스케일 영역: 위반 프로파일이 스케일을 혼합하는 경우 (예: 빈번한 얕은 위반과 드문 깊은 위반이 공존), SDH 와 CMDP 목적 함수는 갈라집니다. SDH 는 상태를 과거 정보로 확장하지 않고는 정확한 예산 인식 실현 가능성 규칙을 재현할 수 없습니다.

주요 기여

1. SDH 의 형식화: 저자들은 일반적인 지속 모델 $\alpha(s, a)$를 벨만 일관성 생존 점유율로 형식화했습니다. SDH 가 확률적 생존 확률 문제의 고정 - 이중 라그랑주 형태임을 증명했습니다.
2. 정규화된 오프 - 정책 알고리즘: 그들은 순간적 제약을 위한 최초의 오프 - 정책 정규화 알고리즘을 유도했습니다: AS-SAC(최대 엔트로피) 및 VT-MPO(KL 정규화). 둘 다 경험 재생과 호환됩니다.
3. 이론적 범위 분석: 위반 깊이 프로파일을 통해 SDH 가 가산 예산 CMDP 를 해결하는 경우 (단일 스케일 위반) 와 해결하지 않는 경우 (다중 스케일 위반) 를 정확하게 구분했습니다.
4. 최첨단 생체역학 제어: 그들은 VT-MPO 를 고정밀 근골격 모델에 적용하여, 고정 순간 제약 문제로서 오랫동안 해결되지 않았던 노력 - 속도 보행 트레이드오프를 해결했습니다.

실험 결과

1. Hyfydy (근골격 제어)

• 설정: 최대 90 개의 근육을 가진 세 가지 휴머노이드 모델 (H0918, H1622, H2190) 로 훈련.
• 비교: 적응형 보상 재가중을 사용하는 최첨단 도메인 특화 방법인 **노력 가중치 적응 (EWA)**과 비교.
• 결과:
  • 안정성: VT-MPO 는 비정상 보상 신호로 고통받는 EWA 보다 훨씬 적은 진동으로 안정적인 보행에 수렴합니다.
  • 샘플 효율성: VT-MPO 는 4 배 적은 환경 단계로 최첨단 보행 현실성을 달성합니다 (예: EWA 의 90M 단계 대비 H2190 에서 21M 단계로 최고 성능 도달).
  • 현실성: 두 방법 모두 유사한 보행 일치 비율 (약 63-76%) 을 달성하지만, VT-MPO 는 더 빠르게 정점에 도달하며 더 엄격한 제약 충족 (속도, 지면 반력, 관절 토크) 을 보입니다.

2. Safety Gymnasium (범위 테스트)

• 설정: 표준화된 비용 신호를 가진 이동 및 항해 작업에서 평가.
• 발견:
  • 단일 스케일 작업 (예: AntVelocity): SDH(VT-MPO 및 AS-SAC) 는 강력한 보상 - 비용 트레이드오프를 달성하여 제약 없는 기준선보다 우수하고, 더 높은 샘플 효율성으로 제약 기준선과 일치합니다.
  • 다중 스케일 작업 (예: PointGoal, CarButton): 이론은 실패 모드를 정확히 예측합니다. 에이전트가 목표를 달성하기 위해 일부 제약 충족을 희생해야 하는 작업 (다중 스케일 위반 프로파일) 에서 SDH 는 제약을 충족하지 못하거나 치명적인 보상 저하를 겪습니다. 이는 SDH 가 임의의 가산 예산 CMDP 에 대한 범용 솔버가 아니라는 이론적 한계를 확인시켜 줍니다.

중요성 및 주장

본 논문은 확률적 결정 지평이 제약 강화 학습을 위한 보완적 설계 축을 제공한다고 주장합니다: 예산 조정이 아닌 지평을 형성하라.

• 실용적 영향: SDH 는 단일 위반이 치명적인 순간적 제약을 처리하는 원칙적인 방법을 제공하며, 적응형 보상 재가중 (EWA 와 같은) 의 불안정성과 CMDP 에서 극소 예산 설정의 어려움을 피합니다.
• 이론적 통찰: 이 작업은 순간적 제약과 누적 예산이 특정 기하학적 조건 (단일 스케일 위반 프로파일) 하에서만 일치하는 별개의 목적 함수임을 명확히 합니다.
• 알고리즘적 발전: 90 개 근육 휴머노이드와 같은 고차원 복잡 시스템에서 안정적인 훈련을 가능하게 하는 순간적 제약을 위해 특별히 설계된 최초의 정규화 오프 - 정책 알고리즘 (AS-SAC, VT-MPO) 을 제공합니다.

저자들은 SDH 가 CMDP 의 범용 대체제가 아니라고 강조하지만, 이는 생존 확률 문제에 대한 정확한 해법이며, 단계별 실현 가능성이 주요 관심사인 영역에서 우수한 안정성과 샘플 효율성을 제공한다고 주장합니다.