기술 요약: 실질적인 전이 제약 조건 하에서의 강화 학습 알고리즘 적합성 재고

문제 정의

전이 지향적 강화 학습(RL) 애플리케이션, 특히 sim-to-real 또는 sim-to-sim 파이프라인은 표준적인 샘플 효율성을 넘어서는 차원에서 알고리즘을 평가해야 합니다. 전통적인 평가 프로토콜은 특정 성능 수준에 도달하기 위해 필요한 에이전트-환경 상호작용 횟수를 우선시합니다. 그러나 실제적인 전이 워크플로우에서는 병렬 시뮬레이션을 통해 환경 상호작용이 저렴하고 확장 가능하므로, **벽시계 시간(wall-clock time)**이 주요한 운영 제약 사항으로 남습니다.

또한, 전이를 위한 알고리즘의 적합성은 역학 불일치(dynamics mismatch) 하에서의 강건성에 달려 있습니다. 도메인 무작위화(Domain Randomization, DR)는 훈련 중에 물리적 파라미터(예: 질량, 마찰, 감쇠)의 변동성에 정책을 노출시켜 강건성을 향상시키는 표준적인 기법이지만, 서로 다른 RL 패러다임(on-policy, off-policy, model-based)이 훈련 분포의 가변성 증가에 어떻게 다르게 반응하는지는 여전히 불분명합니다. 본 논문은 다음 두 가지 핵심 질문을 다룹니다:

1. 훈련을 상호작용 기반 예산이 아닌 벽시계 시간 예산 하에서 평가할 때, 알고리즘의 적합성에 대한 결론이 바뀌는가?
2. 서로 다른 학습 패러다임은 도메인 무작위화로 유도된 훈련 분포의 가변성 증가에 다르게 반응하는가?

방법론

저자들은 18개의 연속 제어 작업(DeepMind Control Suite, MuJoCo XLA를 통해 구현)에 대해 세 가지 뚜렷한 RL 알고리즘을 체계적이고 통제된 비교를 수행했습니다. 이 알고리즘들은 세 가지 주요 패러다임을 나타냅니다:

• PPO (Proximal Policy Optimization): 온폴리시(on-policy) 방법으로, 현대적인 시뮬레이션 확장성을 활용하기 위해 **대규모 병렬 환경(2,048개)**으로 구성되었습니다.
• SAC (Soft Actor-Critic): 오프폴리시(off-policy), 엔트로피 정규화 액터-크리틱 방법으로, 표준 단일 환경 구성(CleanRL 구현)을 사용하여 훈련되었습니다.
• TD-MPC2: 학습된 역학과 온라인 플래닝을 결래한 모델 기반(model-based) 방법으로, 표준 구성(공식 코드베이스)을 사용하여 훈련되었습니다.

평가 축

본 연구는 두 가지 상호 보완적인 축을 따라 알고리즘을 평가합니다:

1. 실질적 효율성 (벽시계 시간): 성능은 실제 훈련에 소요된 시간 대비 측정되며, 이는 반복 속도와 배포 준비성이 중요한 운영 제약 조건을 반영합니다.
2. 상호작용 기반 효율성: 성능은 환경 상호작용 횟수에 따라 측정되며, 이는 전통적인 샘플 효율성 벤치마크를 반영합니다.

전이 및 도메인 무작위화 설정

전이는 컨텍스트 마르코프 결정 과정(CMDP) 내의 컨텍스트 분포 간의 일반화로 모델링되었습니다. 본 연구는 역학 불일치 하에서의 zero-shot sim-to-sim 전이를 조사합니다.

• 훈련 분포: 저자들은 다섯 단계의 도메인 무작위화 수준을 사용하여 훈련 분포($p_{train}$)의 폭을 조절했습니다: Nominal(무작위화 없음), Narrow, Moderate, Broad, Extensive. 무작위화는 질량, 감쇠, 액추에이터 강도, 마찰, 링크 길이를 포함한 물리적 파라미터에 곱셈적으로 적용되었습니다.
• 평가 레짐(Regimes): 일반화 테스트를 위해 두 가지 고정된 평가 레짐이 사용되었습니다:
  • Nominal-Centered: Nominal 역학에 가까운 컨텍스트 (모든 훈련 레짐에서 in-support 상태).
  • Shifted: Nominal 파라미터로부터 구조적인 편차를 가진 컨텍스트 (훈련 커버리지에 따라 out-of-support에서 in-support까지 다양함).

주요 결과

1. 벽시계 시간 vs 상호작용 기반 효율성

본 연구는 상호작용 기반 순위와 벽시계 시간 순위 사이의 유의미한 괴리를 보여줍니다:

• 상호작용 기반: 전통적인 벤치마크와 일치하게, SAC와 TD-MPC2가 일반적으로 높은 샘플 효율성을 보여주며, PPO보다 적은 환경 상호작용으로 강력한 성능에 도달합니다.
• 벽시계 시간: 시간 기반 평가 하에서, PPO는 종종 SAC 및 TD-MPC2보다 더 빨리 경쟁력 있거나 우수한 성능에 도달합니다. 이는 PPO가 대규모 병렬 시뮬레이션(2,048개 환경)을 활용하여, 상호작용당 샘플 효율성은 낮음에도 불구하고 더 짧은 벽시계 시간 내에 필요한 상호작용을 축적할 수 있기 때문입니다.
• 시사점: 알고리즘의 순위는 평가 지표에 따라 달라집니다. "샘플 비효율적"이라고 간주되는 알고리즘(PPO)이 병렬화된 설정에서는 "시간 효율적"일 수 있습니다.

2. 도메인 무작위화가 강건성에 미치는 영향

도메인 무작위화 효과에 대한 세 알고리즘의 분석은 몇 가지 미묘한 발견을 제공합니다:

• 알고리즘 특유의 이점 없음: 특정 패러다임(on-policy, off-policy, 또는 model-based)이 도메인 무작위화와 체계적으로 더 잘 호환되거나 덜 호환된다는 일관된 증거는 없습니다. PPO, SAC, TD-MPC2 모두 DR의 혜택을 받지만, 그 효과의 크기와 방향은 특정 작업, 커버리지 수준, 그리고 평가 레짐에 따라 달라집니다.
• 비단조적 이득 (Non-Monotonic Gains): 도메인 무작위화의 폭을 넓히는 것이 반드시 개선된 전이 성능을 보장하지는 않습니다.
  • Nominal-Centered 평가 하에서는, Narrow 무작위화가 Extensive 무작위화보다 더 나은 성능을 보이는 경우가 많습니다.
  • Shifted 평가 하에서는, 더 넓은 분포(Broad/Extensive)가 훈련 서포트 내에 있음에도 불구하고 더 좁은 분포보다 일관되게 우수한 성능을 보이지 않습니다.
• 트레이드오프: 더 넓은 무작위화는 다양한 역학에 대한 노출을 증가시키지만, 동시에 학습 문제의 난이도를 높이고 특정 영역에 대한 경험의 집중도를 낮추어, 분포 커버리지와 효과적인 학습 사이의 트레이드오프를 생성합니다.

의의 및 주장

본 논문은 샘플 효율성만으로는 전이 지향적 애플리케이션에서 RL 알고리즘을 평가하기 위한 충분한 기준이 될 수 없다고 주장합니다. 저자들은 실무자를 위해 두 가지 주요 통찰을 제시합니다:

1. 효율성의 재평가: 실질적인 제약 조건, 특히 벽시계 시간은 주요 고려 사항이 되어야 합니다. PPO가 "샘플 비효율적"이라는 일반적인 지식은 대규모 병렬화가 가능한 파이프라인에서 PPO가 가장 실용적인 선택이 될 수 없음을 의미하지 않습니다. "성능 도달 시간(time-to-performance)" 지표는 상호작용 기반 벤치마크에서 도출된 표준 알고리즘 순위를 뒤집을 수 있습니다.
2. 컨텍스트 의존적 강건성: 도메인 무작위화의 효과는 특정 알고리즘 패러래리즘(예: on-policy vs off-policy)의 고유한 속성이 아닙니다. 대신, 강건성은 작업, 알고리즘, 훈련 분포의 특정 커버리지, 그리고 배포 시 발생하는 불일치의 성격 사이의 상호작용에 의해 결정됩니다. 따라서 실무자는 하나의 패러다임이 DR에 대해 보편적으로 우월하다고 가정해서는 안 되며, 자신의 특정 전이 제약 조건에 맞는 알고리즘과 무작위화 커버리지의 조합을 경험적으로 평가해야 합니다.

본 연구는 전이를 위한 알고리즘 적합성은 상호작용 기반 샘플 효율성에만 의존하는 것이 아니라, 실질적 효율성(시간)과 강건성(역학 불일치) 모두를 아우르는 다차원적인 문제라고 결론짓습니다.