기술 요약: S3 – 계층적 강화 학습에서 거친 역학의 불확실성 제약을 통한 안정적인 하위 목표 선택

1. 문제 정의

계층적 강화 학습(HRL)은 전략적 계획(상위 수준 "매니저")과 원시 실행(하위 수준 "워커")을 분리함으로써 장기적이고 복잡한 과제를 해결합니다. 효과적이긴 하지만, HRL은 다음과 같은 결정적인 문제에 직면합니다: 비정상성(Non-stationarity) 및 희소한 피드백(Sparse feedback).

• 비정상성: 상위 수준 에이전트는 하위 수준 에이전트의 역량이 진화하는 동안 하위 목표를 할당하는 법을 배워야 하며, 그 반대의 경우도 마찬가지입니다. 하위 수준 에이전트는 변화하는 하위 목표 할당에 직면하고, 상위 수준 에이전트는 변화하는 실행 환경에 직면합니다.
• 희소한 피드백: 상위 수준 에이전트는 과제 완료 시에만 지연되고 희소한 외적 보상을 받으므로 탐색이 비효율적입니다.
• 현재의 한 한계: HER(Hindsight Experience Replay)이나 도달 가능성 제약(예: HRAC)과 같은 기존 방법들은 하위 수준 정책을 정적인 것으로 취급하거나, 결과의 예측 가능성을 고려하지 않고 도달 가능성에만 집중합니다. 이들은 비정상성의 증상을 다룰 뿐, 매니저가 단순히 도달 가능한 목표가 아니라 현재 워커의 역량에 비추어 예측 가능한 목표를 선택해야 한다는 근본적인 필요성을 다루지 못합니다.

핵심 문제는 어떻게 하면 상위 수준 에이전트가 하위 수준 실행의 확률성과 불확실성을 고려하여 전략적인 하위 목표 선택을 수행하게 함으로써 학습 과정을 안정화할 것인가 하는 것입니다.

2. 방법론: 안정적인 하위 목표 선택 (S3)

제안된 접근 방식인 S3는 상위 수준 에이전트를 위한 역학 인식 내재 보상 메커니즘을 도입합니다. 핵심 철학은 매니저가 워커가 높은 확실성을 가지고 실행할 수 있는 하위 목표를 선택하도록 동기를 부여하여, 환경의 "거친 역학(coarse dynamics)"을 효과적으로 모델링하는 것입니다.

2.1 거친 역학 및 예측 불확실성

S3는 원시 전이를 모델링하는 대신 거친 역학을 모델링합니다: 즉, 하위 수준 에이전트가 고정된 시간 지평 $c$ 동안 하위 목표 $g_t$를 실행한 후의 상태 $s_t$에서 착륙 상태 $s_{t+c}$로의 전이입니다.

• 목표: 이러한 거친 역학의 예측 불확실성을 최소화하는 것입니다.
• 근거: 만약 하위 수준 에이전트가 특정 하위 목표(예: 좁은 문 사이를 통과하는 것)에 도달하는 데 불확실성을 느낀다면, 상위 수준 에이전트는 이를 할당하는 것을 피해야 합니다. 반대로, 결과가 예측 가능하다면(예: 복도 교차점에 도달하는 것) 해당 하위 목표가 선호됩니다. 이는 "위험 회피형" 하위 목표 선택을 촉진합니다.

2.2 잠재 기반 셰이핑을 통한 내재 보상

최적 정책을 변경하지 않으면서 조밀한 피드백을 제공하기 위해, S3는 **잠재 기반 보상 셰이핑(Potential-Based Reward Shaping, PBRS)**을 채택합니다.

• 잠재 함수 ($\Phi$): 거친 역학 분포의 분산(dispersion)에 대해 정의됩니다.
• 내재 보상 ($r_{int}$): 타임 스텝 간의 차이로 계산됩니다:
  $$r_{int}^{hi} = \gamma \Phi(s_{t+c}, g_{t+c}) - \Phi(s_t, g_t)$$
• 분산 지표: 잠재 함수는 예측된 종단 상태 분포의 총 분산(공분산 행렬의 트레이스)에 대해 페널티를 부여합니다. 낮은 분산(높은 예측 가능성)은 더 높은 내재 보상을 가져옵니다.

2.3 구현: 혼합 밀도 네트워크 (MDN)

환경의 역학을 알 수 없고 하위 수준 정책이 확률적이므로, 거친 전이 분포 $p(s_{t+c} | s_t, g_t)$는 **혼합 밀도 네트워크(Mixture Density Network, MDN)**를 사용하여 근사화됩니다.

• 구조: MDN은 분포를 $K$개의 가우시안 혼합으로 모델링합니다:
  $$\hat{p}_{\theta_{MDN}}(s_{t+c} | s_t, g_t) = \sum_{k=1}^{K} \alpha_k(s_t, g_t) \mathcal{N}(s_{t+c}; \mu_k, \Sigma_k)$$
• 학습: MDN은 리플레이 버퍼에서 수집된 튜플 $(s_t, g_t, s_{t+c})$를 사용하여 HRL 에이전트와 병렬로 학습됩니다.
• 불확실성 추정: 전체 예측 공분산($\Sigma_{mix}$)은 다음과 같이 분해됩니다:
  1. 모드 내 분산(Within-mode variance): 특정 결과 시나리오 내의 변동성.
  2. 모드 간 분산(Between-mode variance): 어떤 결과 시나리오가 발생할지에 대한 모호성.
     내재 보상은 이 전체 공분산 행렬의 트레이스(trace)로부터 유도됩니다.

2.4 알고리즘 흐름

1. 실행: 매니저는 하위 목표 $g_t$를 선택합니다. 워커는 $c$ 단계 동안 $g_t$에 도달하려고 시도합니다.
2. 데이터 수집: 튜플 $(s_t, g_t, s_{t+c})$가 MDN을 위해 리플레이 버퍼에 저장됩니다.
3. 모델 업데이트: MDN은 $s_{t+c}$의 분포를 더 잘 예측하도록 파라미터를 업데이트합니다.
4. 보상 계산: MDN은 현재 $(s_t, g_t)$에 대한 분포를 예측하고, 공분산 트레이스를 계산하며, 내재 셰이핑 항을 산출합니다.
5. 정책 업데이트: 매니저는 외적 보상과 내재 셰이핑 항을 사용하여 업데이트됩니다.

3. 주요 기여

1. 안정적인 하위 목표 선택 (S3): 상위 수준 에이전트가 단순한 도달 가능성이 아닌, 하위 수준 실행의 예측 가능성에 기반하여 하위 목표를 선택하도록 학습하는 새로운 프레임워크입니다.
2. 거친 역학 모델링: 환경의 역학을 $c$-단계 전이에 대한 분포로 모델링하여, 미세한 프리미티브를 추상화하는 시간적 추상화 척도를 도입했습니다.
3. 역학 인식 내재 보상: 거친 역학 분포의 분산을 페널티로 주는 잠재 기반 내재 보상을 제공합니다. 이는 매니저에게 조밀한 피드백을 제공하여 신뢰할 수 있고 반복 가능한 결과를 향하도록 유도합니다.
4. MDN와의 통합: 다중 모드 결과를 명시적으로 모델링하고(모드 내 및 모드 간 불확실성 모두 포함), 보상 셰이핑을 위해 불확실성을 정량화하기 위해 혼합 밀도 네트워크를 사용합니다.
5. 일반화 가능성: S3는 기존 HRL 알고리즘(HRAC에서 입증됨)에 적용할 수 있는 모듈형 내재 보상 레이어로 설계되었습니다.

4. 실험 결과

저자들은 세 가지 MuJoCo 연속 제어 벤치마크인 Ant Maze, Ant Push, Ant Fall에서 S3를 평가했습니다.

• Ant Fall: S3는 HIRO(0.059) 및 HRAC(0.000)에 비해 현저히 높은 0.374의 성공률을 달성하며 베이스라인들을 크게 앞질렀습니다. 이 과제는 가역적이지 않은 전이(구멍으로 떨어짐)를 포함하며, 높은 불확실성을 가진 하위 목표를 피하는 S3의 능력이 결정적이었습니다.
• Ant Push: S3는 성공률 0.186을 달 기록하여 HIRO(0.134)를 능가하고 HRAC(0.180)와 대등한 성능을 보였습니다. 이 과제는 경로를 막지 않기 위해 정밀한 블록 조작이 필요합니다.
• Ant Maze: S3는 0.827을 달성하여 HRAC(0.832) 및 HIRO(0.790)와 유사한 성능을 보였습니다. 저자들은 순수 내비게이션 과제처럼 로코모션이 예측 가능한 경우, 거친 역학 모델링의 한계 이득이 낮다는 점을 언급했습니다.
• 질적 분석:
  • 위험 회피: Ant Push에서 S3는 남쪽에서 블록을 밀면 경로를 영구적으로 막게 되는 "위험 구역"을 피하도록 학습되었습니다. 훈련이 진행됨에 따라 종단 상태 분포가 이 위험 구역에서 멀어지는 방향으로 집중되었습니다.
  • 궤적 안정성: 시각화를 통해 S3의 매니저 궤적이 특히 병목 구간이 있는 과제에서 HRAC의 흩어진 전략에 비해 더 집중되어 있고 작업 방향과 일치함을 보여주었습니다.
  • 시간 지평: 민감도 분석 결과, 매니저 지평 $c=10$이 추상화와 예측 가능성 사이의 최적의 균형을 제공함을 나타냈습니다.

5. 의의 및 주장

본 논문은 S3가 HRL에서 매니저와 워커 사이의 근본적인 관계를 해결한다고 주장합니다. 하위 수준 에이전트의 예측 불확실성을 명시적으로 모델링함으로써, S3는 상위 수준 정책을 안정화합니다.

• 안정성: S3는 현재 "안전"하고 실행 가능한 하위 목표를 선택하도록 매니저에게 보상함으로써, 진화하는 하위 수준 정책에 의한 비정상성을 완화합니다.
• 효율성: 조밀하고 역학을 인식하는 내재 보상은 특히 장기 의존성과 구조적 병목 현상이 있는 희소 보상 환경에서 학습을 가속화합니다.
• 적용 가능성: 이 방법은 물리적 상호작용, 가역적이지 않은 전이, 그리고 작은 실행 오류가 회복 불가능한 상태로 이어질 수 있는 다단계 의존성이 포함된 환경에서 가장 유용합니다.

저자들은 결론적으로 S3가 모델 기반 HRL, 잠재 기반 셰이핑, 그리고 정보 이론적 동기 부여 사이의 간극을 메우며, 복잡하고 비정상적인 환경에서 계층적 학습을 개선하기 위한 일반화 가능한 메커니즘을 제공한다고 밝힙니다.