기술 요약: 점유 커버리지 극대화를 통한 보상 없는 강화학습 사전 훈련

문제 정의

희소 보상(Sparse rewards)은 에이전트가 특정 목표에 도달하기 전까지 유익한 피드백을 받지 못하는 강화학습의 근본적인 과제입니다. 내재적 보상(intrinsic-reward) 방법들(예: 참신성, 예측 오차, 기술 다양성)은 온라인에서 외적 보상을 평가하거나 저장된 전이를 오프라인으로 재라벨링할 수 있는 능력을 통해 감독 신호를 주입하려고 시도하지만, 이러한 가정은 상호작용이 엄격히 보상 없이 이루어지는 멀티 태스크, 메타 학습, 그리고 지속적 강화학습(continual RL) 환경에서는 성립하지 않습니다. 즉, 다운스트림의 보상 함수는 에이전트가 실제로 태스크 의존적 목표에 도달하기 전까지는 사용할 수 없습니다.

기존의 보상 없는 목적 함수들은 비정상성(non-stationarity) 문제를 겪는 경우가 많습니다. 상태 마진 매칭(state marginal matching), 예측 오차, 또는 기술 다양성을 최적화하는 방법들은 사전 훈련 중에 다양한 상태를 발견할 수는 있지만, *할인된 상태 점유(discounted state occupancy)*가 넓게 분포된 정책을 유지하는 데는 실패합니다. 대신, 최종 정책은 작은 영역에 집중되거나 진동하는 "확장-붕괴(expansion-collapse)" 동작을 보이며, 이는 다운스트림의 희소 보상 태스크를 위한 견고한 초기화로서 기능하지 못합니다.

방법론: ROVER

저자들은 ROVER(Reward-free pretraining via Occupancy coVERage maximization)를 제안합니다. 이 알고리즘은 타겟 분포나 오프라인 보상 평가 없이도 상태 공간 커버리지를 극대화하는 전이 가능한 탐사 정책을 사전 훈련하도록 설계되었습니다.

1. 목적 함수: 점유 커버리지 극대화

ROVER는 점유 커버리지를 재생 커널 힐베르트 공간(RKHS) 내에서 할인된 상태 점유 측도 $d^\pi$의 자기 유사성(self-similarity)을 최소화하는 것으로 정식화합니다.

• 정식화: 목적 함수는 $J(\pi) = \|\mu_{d^\pi}\|_H^2$로 정의되며, 여기서 $\mu_{d^\pi}$는 점유 측도의 커널 평균 임베딩입니다.
• 이론적 등가성:
  • 이 노름(norm)을 최소화하는 것은 2차 레니 엔트로피(Rényi entropy)를 최대화하는 것과 같습니다.
  • 디락 커널(Dirac kernel)을 사용하는 테이블형(tabular) 설정에서, 이는 최대 평균 불일치(MMD) 거리를 균등 분포에 대해 최소화하는 것과 같으며, 명시적인 균등 타겟을 정의하지 않고도 균등한 커버리지를 촉진합니다.
  • 학습된 표현 공간(learned representation spaces)에서, 이는 유도된 표현의 기하학적 구조 내에서 다양성을 촉진합니다.

2. 알고리즘 구현

ROVER는 목적 함수를 계산 가능하고 폐쇄형(closed form)으로 미분 가능하게 만들기 위해 연산자 기반의 RL 정식화를 활용합니다. 알고리즘은 데이터 수집과 다음 세 단계의 과정을 교대로 수행합니다.

• 표현 학습(Representation Learning): 특징 맵 $\phi_\theta$는 예측된 다음 상태 표현을 실제 다음 상태와 정렬하기 위해 대비 학습(contrastive InfoNCE loss)을 사용하여 전이 데이터로부터 학습됩니다. 이는 커버리지 목적 함수를 위한 기하학적 구조를 정의합니다.
• 월드 모델 추정(전이 연산자): 알고리즘은 학습된 표현에 대해 커널 리지 회귀(KRR)를 사용하여 리프티드 전이 연산자(lifted transition operator) $\hat{T}_n$을 추정합니다. 이 연산자는 상태-행동 특징을 다음 상태 임베딩으로 폐쇄형으로 매핑합니다.
• 정책 미러 디센트(Policy Mirror Descent, PMD): 정책은 정책 미러 디센트를 사용하여 목적 함수 $J(\pi)$를 최소화하도록 업데이트됩니다. 목적 함수의 그래디언트는 전이 연산자의 역연산자(resolvent)를 사용하여 폐쇄형으로 유도되므로, 샘플링 기반의 그래디언트 추정 없이도 효율적인 업데이트가 가능합니다ola.

3. 싱크 상태 증강(Sink-State Augmentation)

ROVER의 핵심 구성 요소는 현재 데이터에 의해 지원되지 않는 상태 공간 영역을 처리하기 위한 가상 "싱크(sink)" 상태($s_{S_\epsilon}$)의 도입입니다.

• 메커니즘: 상태 공간은 흡수 싱크 상태(absorbing sink state)로 확장됩니다. 전이 연산자는 설명되지 않는 잔차(unseen state-action 쌍에 대한 예측값)를 제로 벡터가 아닌 이 싱크 상태로 라우팅하는 이동된 리지 문제(shifted ridge problem)를 사용하여 추정됩니다.
• 안정화: 이는 정책이 새로운 영역을 발견하는 것과 이전에 커버했던 영역을 잊어버리는 것 사이를 오가는 "확장-붕괴" 동작을 방지합니다. 싱크 상태는 지원되지 않는 영역에 점유를 할당하는 데 비용을 부과함으로써, 탐사와 기존 커버리지 유지 사이의 균형을 맞춥니다.
• 목적 함수 분해: 전체 목적 함수는 원래 공간에서의 점유 노름과 하이퍼파라미터 $\epsilon$에 의해 제어되는 싱크 상태에 할당된 질량에 비례하는 페널티 항의 합으로 분해됩니다.

주요 기여

1. 타겟 프리 정식화: 본 논문은 희소 보상 정책 전이를 위한 타겟 프리 RKHS 목적 함수로서 점유 커버리지를 공식화하며, 이를 MMD 매칭, Rényi-2 다양성, 그리고 포텐셜 이론적 에너지 최소화와 연결합니다.
2. 연산자 기반 정책 업데이트: 저자들은 학습된 역연산자 월드 모델을 사용하여 이 목적 함수를 최소화하기 위한 폐쇄형 연산자 기반 정책 업데이트를 유도하여, 프록시 기반 방법들의 비정상성 문제를 해결했습니다.
3. 싱크 상태 증강: 가상 싱크 상태의 도입은 부분적인 데이터 하에서도 커버리지를 안정화하여, 정책이 이전에 방문했던 영역의 커버리지를 유지하도록 하고 순환적인 확장-붕괴 동작을 방지합니다.

실험 결과

저자들은 위상적 병목 구간(예: Middle-Room, Multi-Rooms, Maze)을 격리하기 위해 설계된 제어된 완전 관측 가능 희소 내비게이션 환경(테이블형 및 픽셀 기반)에서 ROVER를 평가합니다.

• 커버리지 효율성: RO의 스크래치 학습 시, ROVER는 베이스라인(RND, SMM, APT, MAXENT, CIC)보다 훨씬 빠르게 전체 상태 공간 커버리지를 달성합니다.
• 안정성 및 전이: 국소적인 점유로 붕괴될 수 있는 베이스라인들과 달리, ROVER는 넓게 분포된 할인된 점유를 가진 정책을 생성합니다. 이는 결과적으로 다운스트림 모델 프리 RL(DDPG, SAC)을 위한 더 강력한 초기화를 제공하여 목표 도달을 위한 샘플 요구량을 줄여줍니다.
• 오프라인 전이: 오프라인 RL(CQL, DDPG) 설정에서, ROVER가 생성한 리플레이 버퍼는 다운스트림 학습을 효과적으로 지원합니다. 분포 측면에서 다른 방법들(예: CIC는 더 균질한 데이터를 생성하는 반면, ROVER는 시작 지점과 병목 구간 근처에서 더 높은 밀도를 유지함)과 차이가 있지만, ROVER의 데이터 구조는 특히 CQL과 같은 보수적인 알고리즘에 효과적입니다.
• 강건성: 이 방법은 하이퍼파라미터에 대해 강건함을 보여주지만, 싱크 상태 노름 $\epsilon$의 극단적인 값은 탐사를 저해할 수 있습니다.

의의 및 주장

본 논문은 ROVER를 보상 없는 행동 전이를 위한 점유 커버리지를 표준적인 목적 함수로 확립하기 위한 원칙적인 단계로 포지셔닝합니다.

• 제한된 범위: 저자들은 점유 커버지 목적 자체를 직접 분석하고 제어하기 위해, 고차원 도메인으로 즉시 확장하기보다는 단순한 환경과 이산 액션 공간으로 연구 범위를 제한한다고 명시적으로 밝힙니다.
• 핵 핵심 통찰: 주요 기여는 일시적인 참신성이나 기술 다양성에 의해 최적화되는 것보다, 안정적인 폐쇄형 연산자 접근 방식을 통해 점유 커버리지를 최대화하는 것이 본질적으로 더 나은 다운스트림 희소 보상 전이 정책을 생성한다는 것을 입증한 데 있습니다.
• 향 향후 연구 방향: 저자들은 고차원 도메인을 위한 확장 가능한 표현 학습, 역연산자 목적 함수의 근사 구현, 그리고 연속 액션 및 부분 관측 가능성(partial observability)으로의 확장을 향후 연구 과제로 제시합니다.