기술 요약: 분포 강건 적응형 작업 샘플링 (DRATS)

문제 정의

다중 작업 강화 학습 (MTRL) 은 지식 전이를 활용하여 데이터 효율성을 높이기 위해 단일 에이전트가 여러 작업을 동시에 최적화하도록 훈련하는 것을 목표로 합니다. 그러나 표준 MTRL 접근법은 종종 불균형 학습으로 고통받습니다. 에이전트는 쉬운 작업을 빠르게 해결하는 반면, 어려운 작업에서는 진전이 더딥니다.

이전 연구들은 주로 이 불균형을 **상충하는 작업 기울기 (conflicting task gradients)**의 결과로 간주하여 기울기 조작 (예: 기울기 수술) 이나 특수 네트워크 아키텍처를 포함한 해결책을 제안했습니다. 본 논문은 불균형의 또 다른, 아직 충분히 탐구되지 않은 원인을 규명합니다: 불균형한 데이터 할당입니다. 표준 MTRL 은 모든 작업에 동일한 상호작용 예산을 할당합니다. 어려운 작업은 쉬운 작업보다 해결하는 데 훨씬 더 많은 경험이 필요하기 때문에, 균일한 할당은 데이터가 거의 필요 없는 쉬운 작업에는 데이터를 과다 할당하고, 어려운 작업에는 데이터를 과소 할당하는 결과를 초래합니다. 커리큘럼 학습 (CL) 방법은 샘플링 분포를 적응시키지만, 전이를 용이하게 하기 위해 일반적으로 쉬운 작업을 먼저 우선시합니다. 이는 긍정적 전이가 약하거나 작업이 상충하는 설정에서 데이터 불균형을 악화시킬 수 있습니다.

방법론: 분포 강건 적응형 작업 샘플링 (DRATS)

저자들은 해결에 가장 먼 작업을 샘플링할 때 적응적으로 우선순위를 부여하는 DRATS 알고리즘을 제안합니다. 이 방법은 다음 단계들을 통해 유도됩니다:

1. 실현 가능성 문제 (Feasibility Problem)로서의 형식화

작업 간 평균 보상을 최대화하는 대신, MTRL 을 실현 가능성 문제로 형식화합니다: 모든 작업 $i$에서 보상 $J_i(\theta)$가 참조 목표 $J^{ref}_i$를 만족하는 정책 $\theta$를 찾는 것입니다.
목표는 보상 간격 (return gap) $g_i(\theta) = \max(J^{ref}_i - J_i(\theta), 0)$을 최소화하는 것으로 변환됩니다. 제약 조건이 용량 한계나 상충으로 인해 동시에 만족될 수 없는 경우를 처리하기 위해, 목표는 모든 작업에 걸친 최대 보상 간격을 최소화하는 것 (최소최대 목표) 이 됩니다:
$$\min_{\theta} \max_{i \in [k]} g_i(\theta)$$

2. 최소최대 최적화 및 분포 강건성

내부 최대화 문제는 작업 분포 $q \in \Delta_k$ (확률 심플렉스) 에 대한 최대화로 재구성됩니다. 이를 직접 해결하면 비연속적이고 탐욕적인 해가 도출되어, 단일 최악의 성능을 보이는 작업에 모든 확률을 집중하게 되며, 이로 인해 불안정성과 데이터 비효율성이 발생합니다.

이를 해결하기 위해 DRATS 는 **분포 강건 최적화 (DRO)**를 사용하여 작업 분포 $q$를 기준 분포 $p_0$(균일 분포) 를 중심으로 반지름 $\epsilon$인 Kullback-Leibler (KL) 공 내부에 제한합니다. 이는 다음과 같은 제약 최적화를 산출합니다:
$$\min_{\theta} \max_{q \in \mathcal{Q}} \mathbb{E}_{i \sim q}[g_i(\theta)]$$
여기서 $\mathcal{Q} = \{q \in \Delta_k \mid \text{KL}(q \| p_0) \leq \epsilon\}$입니다.

3. 폐쇄형 해 및 알고리즘

라그랑주 완화 (Lagrangian relaxation) 를 사용하여 최적 작업 분포 $q^*$는 보상 간격의 **소프트맥스 (softmax)**로 폐쇄형 해를 유도합니다:
$$q^*_i = \frac{\exp(\eta g_i(\theta))}{\sum_j \exp(\eta g_j(\theta))}$$
여기서 $\eta$는 우선순위의 날카로움을 조절하는 역온도 매개변수로 작용합니다.

DRATS 알고리즘 (알고리즘 1):

1. 데이터 수집: 현재 분포 $q_t$에서 작업을 샘플링하고 궤적을 수집합니다.
2. 간격 추정: 보상 $\hat{J}_i$에 대한 몬테카를로 추정을 계산하고 참조 보상 $J^{ref}_i$를 업데이트합니다 (온라인으로 관찰된 최대 보상으로 추정).
3. 간격 정규화: 정규화된 보상 간격 $\hat{g}_i$를 계산합니다.
4. 분포 업데이트: 목적 함수 $L(\theta, q) = \mathbb{E}_{i \sim q}[g_i(\theta)] - \frac{1}{\eta}\text{KL}(q \| p_0)$에 대해 미러 상승 (mirror ascent) (지수 기울기) 을 통해 $q_t$를 업데이트합니다.
5. 투사: 모든 작업이 안정적인 간격 추정을 위해 충분히 샘플링되도록 최소 샘플링 확률 $\epsilon$을 강제합니다.
6. 정책 업데이트: 가중 보상을 최대화하기 위해 온-폴리시 알고리즘 (예: PPO) 을 사용하여 정책 $\theta$를 업데이트합니다.

4. 수렴 보장

저자들은 표준 가정 (정책 업데이트에 대한 낮은 후회 보장 포함) 하에서 DRATS 가 $O(1/\sqrt{T})$ 속도로 최적 최악의 경우 보상 간격에 수렴함을 증명합니다. 여기서 $T$는 반복 횟수입니다.

주요 기여

1. DRATS 알고리즘: MTRL 의 최소최대 형식화에서 유도된 보상 간격에 기반하여 작업을 적응적으로 우선순위화하는 다중 작업 RL 알고리즘의 도입.
2. 이론적 수렴: DRATS 가 표준 $O(1/\sqrt{T})$ 속도로 최적 최악 작업 보상 간격의 $\epsilon$ 오차 범위 내에서 수렴함을 증명.
3. 실증적 검증: 기존 커리큘럼 학습 베이스라인 (예: Uniform, Learning Progress, Learning Potential, Hard First) 에 비해 DRATS 가 더 높은 데이터 효율성, 더 높은 집계 보상, 그리고 훨씬 더 높은 최악 작업 보상을 달성함을 입증.
4. 직교성: DRATS 가 기존 다중 작업 네트워크 아키텍처 (예: Soft Modularization, MOORE) 와 호환되며, 작업이 긍정적 전이를 보이거나 상충하는지 여부에 관계없이 성능을 향상시킴을 입증.

실험 결과

저자들은 4 작업 그리드월드, MuJoCo6(6 개 연속 제어 작업), MetaWorld-MT10, MetaWorld-MT50 의 네 가지 벤치마크에서 DRATS 를 평가했습니다.

• 집계 성능: DRATS 는 모든 벤치마크에서 가장 높은 집계 보상을 달성했습니다.
• 최악 작업 성능: 개선은 주로 가장 어려운 작업에서의 우수한 성능에 의해 주도되었습니다. 예를 들어, MuJoCo6 에서 DRATS 는 어려운 Ant와 Humanoid 작업을 성공적으로 해결한 유일한 방법이었으며, 베이스라인들은 Ant에서 진전을 보이지 못했습니다.
• 데이터 효율성: DRATS 는 베이스라인의 성능 수준에 도달하는 데 훨씬 적은 상호작용으로 충분했습니다. MT10 에서 6 백만 타임스텝 만에 어려운 작업 (예: pick-place, push) 에서 Uniform 베이스라인의 최종 보상을 초과했습니다.
• 베이스라인 비교:
  • Uniform: 쉬운 작업에 과다 할당하며 어려운 작업을 해결하지 못함.
  • Learning Progress/Potential: 높은 학습률이나 높은 가치 추정 오차를 가진 작업을 우선시하는 경향이 있으며, 이는 종종 쉬운 작업과 상관관계가 있어 갇힌 어려운 작업을 소홀히 함.
  • Hard First (SMT): 어려운 작업에서 성능 붕괴를 겪음; 임계값에 기반하여 작업이 "해결됨"으로 선언되면 샘플링 확률이 급격히 떨어지고, 에이전트가 작업을 잊어버려 재학습이 필요하게 됨.
• 절대 실험 (Ablations):
  • 적응형 샘플링 vs. 재가중: 적응형 샘플링 (DRATS) 은 균일하게 샘플링된 데이터의 목적 함수를 재가중하는 것보다 데이터 효율성이 훨씬 높음. 재가중은 데이터 수집이 부족하여 어려운 작업에 대해 고분산 기울기 추정을 초래함.
  • 하이퍼파라미터: DRATS 는 온도 $\eta$와 스텝 크기 $\alpha$의 선택에 대해 강건함.

중요성 및 주장

본 논문은 DRATS 가 MTRL 의 근본적인 비효율성인 데이터 자원의 잘못된 할당을 해결한다고 주장합니다. 기울기 상충에서 데이터 할당으로 초점을 이동시킴으로써, DRATS 는 작업 간 성능 균형을 맞추는 데이터 효율적인 메커니즘을 제공합니다.

저자들은 다음과 같은 점을 강조합니다:

• DRATS 는 연속 제어 설정에서 다중 작업 RL 에 분포 강건 최적화를 적용한 첫 번째 사례입니다.
• 쉬운 작업에서 어려운 작업으로의 긍정적 전이를 가정하는 많은 커리큘럼 학습 방법과 달리, DRATS 는 명시적으로 최악의 경우 보상 간격을 목표로 하므로 작업이 상충하거나 전이가 약할 때도 효과적입니다.
• 이 방법은 모듈식입니다. 데이터 수집 과정만 수정하며 특수 아키텍처나 기울기 조작 기술과 결합할 수 있습니다.

본 논문은 DRATS 가 균형 잡힌 다중 작업 학습을 달성하기 위한 원칙적이고 이론적으로 근거 있는 접근법을 제공하며, 학습의 효율성과 모든 작업에 걸친 최종 정책의 강건성을 모두 향상시킨다고 결론지었습니다.