Learning Generalizable Skill Policy with Data-Efficient Unsupervised RL

기술 요약: 데이터 효율적인 비지도 RL을 통한 일반화 가능한 스킬 정책 학습

문제 정의
비지도 강화 학습(Unsupervised Reinforcement Learning, URL)은 다운스트림 제어 태스크를 위한 기반 역할을 수행할 수 있도록, 외적 보상 없이 확장 가능한 스킬 조건부 정책을 사전 학습하는 것을 목표로 한다. 저자들은 최근의 발전에도 불구하고, 현재의 오프-폴리시(off-policy) URL 방식들이 확장을 저해하는 두 가지 결정적이고 간과된 병목 현상에 직면해 있다고 주장한다:

1. 비정상적 스킬 의미론 (샘플 효율성 문제): 오프-폴리시 설정에서 궤적(trajectories)은 스킬 레이블($z$)과 함께 리플레이 버퍼에 저장된다. 스킬 정책과 잠재 표현 함수($\phi$)가 학습 과정에서 진화함에 따라, 고정된 $z$의 의미론적 의미는 변화한다. 결과적으로, 버퍼에 저장된 동일한 $z$가 시간이 지남에 따라 서로 다른 행동 궤적에 대응하게 된다. 이러한 "오래된(stale)" 레이블을 학습에 사용하는 것은 높은 분산의 노이즈와 의미론적 드리프트(semantic drift)를 유발하여, 학습을 불안정하게 만들고 데이터 효율성을 저하시킨다.
2. 취약한 일반화: 기존 방식들은 종종 전체 상태 관측값(전역적 맥락 정보, 예: 절대 좌표 또는 시각적 배경 포함)에 스킬 정책을 조건화한다. 이는 정책이 특정 전역 맥락에 과적합되게 만든다. 분포가 변화된 환경(예: 시작 위치나 배경이 바뀐 경우)에 배치될 때, 동일한 스킬 $z$가 일관된 행동을 생성하지 못하게 되어 재사용성을 제한한다.

방법론: GenDa
저자들은 두 가지 주요 메커니즘을 통해 이러한 병목 현상을 해결하도록 설계된 통합 프레임워크인 GenDa(Generalizable Data-efficient Agent)를 제안한다.

1. 표현 및 정책 학습을 위한 스킬 재레이블링(Relabeling):

   • 메커니즘: 의미론적 드리프트를 완화하기 위해, GenDa는 리플레이 버퍼 내의 과거 궤적을 동적으로 재레이블링한다. 원래의 롤아웃 레이블($z_{roll}$)을 사용하는 대신, 현재의 잠재 표현 함수 $\phi$를 기반으로 새로운 레이블($z_{relab}$)을 계산한다. 구체적으로, $z_{relab}$은 잠재 공간에서의 최종 상태와 초기 상태의 차이의 단위 벡터로 정의된다: $z_{relab} = \text{unit}(\phi(s_T) - \phi(s_0))$.
   • 최적화: 표현 학습 목적 함수는 타겟 네트워크에 그래디언트 정지(EMA 사용)를 적용한 상태에서 이러한 재레이블링된 타겟을 사용하여 업데이트된다. 이는 감독 신호(supervision signal)를 현재의 잠재 공간 해석과 일치시킨다.
   • 균일성 정규화기(Uniformity Regularizer): 재레이블링된 스킬의 비고정적 분포으로 인해 발생할 수 있는 표현 붕괴(모든 상태가 좁은 영역으로 매핑되는 현상)를 방지하기 위해, 대조 학습 스타일의 균일성 정규화기가 도입된다. 이는 재레이블링된 스킬의 엔트로피($H(z_{relab})$)를 최대화하여 다양한 행동 발견을 보장한다.
   • 정책 재레이블링: 정책 학습을 위해, 내재적 보상은 동일한 궤적 내의 중간 상태 쌍으로부터 유도된 다중 호라이즌 타겟($z_c$)과 재레이블링된 스킬 $z_{relab}$을 혼합함으로써 풍부해지며, 이를 통해 부트스트래핑과 오프-폴리시 데이터 활용도를 높인다.

2. 상보적 정보 병목(Complementary Information Bottleneck, CIB):

   • 메커니즘: 스킬 실행을 전역 맥락으로부터 분리하기 위해, GenDa는 CIB 모듈을 도입한다. 변분 인코더 $q_\psi(\ell|s)$는 메트릭 인식 잠재 표현 $\phi(s)$와 상보적인 임베딩 $\ell$을 학습한다.
   • 목적 함수: 인코더는 변분 정보 병목 목적 함수($J_{CIB} = I(\ell; s) - I(\ell; \phi(s))$)를 통해 학습된다. 디코더가 이미 $\phi(s)$에 포착된 정보를 재구성할 수 있으므로, 인코더는 상태 $s$를 재구성하는 데 필요한 남은 정보만을 보존하도록 강제된다.
   • 적용: 스킬 정책 $\pi(a|s, z)$는 원시 상태 대신 CIB 임베딩 $\ell$에 조건화되는 $\pi(a|\ell, z)$로 대체된다. 이는 구조적으로 정책이 전역 맥락 단서를 이용하는 것을 방지하며, 스킬에 적합한 에고-센트릭(ego-centric) 특징에 의존하도록 강제한다.

주요 기여

• 실패 모드의 공식화: 본 논문은 오프-폴리시 URL에서의 "의미론적 드리프트"와 전역 맥락 과적합으로 인한 "취약한 일반화"를 이론적 및 경험적 근거를 통해 공식적으로 규명하였다.
• 스킬 재레이블링 프레임워크: 진화하는 잠재 공간과 과거의 경험을 동적으로 정렬함으로써 비정상성을 완화하는 새로운 접근 방식을 제시하여 데이터 효율성을 크게 향상시켰다.
• 상보적 정보 병목(CIB): 전역 맥락과 스킬 실행을 분리하는 임베딩을 학습하여, 분포 변화에 대한 강건성을 높이는 드롭인(drop-in) 모듈을 제공한다.
• 통합 프레임워크: GenDa는 최첨단 메트릭 인식 목적 함수를 기반으로 하여, 확장 가능한 비지도 스킬 발견 파이프라인에 이러한 구성 요소들을 통합한다.

실험 결과
저자들은 고차원 환경(예: 226개의 상태 차원을 가진 "Dog")을 포함하여 다양한 상태 기반 및 픽셀 기반 벤치마크(DeepMind Control Suite 및 MuJoCo)에서 GenDa를 평가한다.

• 데이터 효율성: GenDa는 베이스라인(METRA, CSF, DIAYN, CIC)에 비해 훨씬 적은 환경 상호작용만으로도 우수한 상태 및 태스크 커버리지를 달一套한다. 고차원 "Dog" 및 "Fish" 환경에서 GenDa는 베이스라인이 의미 있는 행동을 발견하지 못하는 상황에서도 일관된 스킬을 성공적으로 학습한다.
• 다운스트림 일반화: 변화된 초기 조건(예: Random Start, Random Goal) 및 복잡한 네비게이션(Maze 벤치마크)이 포함된 다운스트림 태스크에서 GenDa는 현저히 높은 성공률을 보인다.
• 강건성: 절제 연구(Ablation studies)를 통해 재레이블링 메커니즘을 제거하면 비효율적인 사전 학습이 발생하고, CIB를 제거하면 분포 변화(예: 다른 시작 좌표 또는 배경 색상) 하에서 정책이 실패함을 확인하였다.
• 확장성: GenDa는 베이스라인의 점근적 한계와 유사한 성능을 5배 적은 환경 상호작용만으로 달성하여, 실세계 로봇 학습을 위한 실용적인 토대로서의 잠재력을 입증하였다.

의의 및 주장
본 논문은 GenDa가 비지도 강화 학습의 확장성 측면에서의 근본적인 한계를 해결한다고 주장한다. 의미론적 드리프트를 해결함으로써, 이 방법은 오프-폴리시 학습을 URL로 활용할 수 있는 가능성을 열어 데이터 효율적인 사전 학습을 가능하게 한다. 또한 CIB를 통해 에고-센트릭 스킬 실행을 강제함으로써, 학습된 스킬이 다양한 다운스트림 태스크와 환경 변화에 대해 강건하고 재사용 가능하도록 보장한다. 저자들은 GenDa를 최소한의 미세 조정으로 다양한 태스크에 적응할 수 있는 범용 제어 기초 정책(foundation policies)을 만들기 위한 단계로 제시한다.

한계 및 향ā 방향
저자들은 현재의 재레이블링 프레임गा 단일 에피소드당 하나의 스킬을 가정하고 있으며, 이는 단일 궤적 내의 이질적인 행동에는 적용되지 않을 수 있음을 인정한다. 향후 연구에서는 재레이블링을 시간 가변적 스킬 레이블로 확장할 수 있을 것이라 제안한다. 또한, CIB의 효과는 메트릭 인식 잠재 함수 $\phi$에 의존하며, 현재의 메트릭 인식 목적 함수가 미세한 조작 스킬 습득을 저해할 수 있어 향후 크기 조건부(magnitude-conditioned) 메커니즘이 필요함을 시사한다.