기술 요약: 대조적 목표 추론을 통한 일관된 제로샷 모방

문제 정의

본 논문은 에이전트가 테스트 시점에 추가적인 환경 상호작용, 그래디언트 업데이트, 또는 보상 함수에 대한 접근 없이 단 하나의 데모만으로 전문가의 행동을 재현해야 하는 제로샷 모방 학습(Zero-Shot Imitation Learning, IL) 설정을 다룹니다. 현재의 접근 방식들은 데모를 직접 모방하거나(행동 복제, Behavioral Cloning), 역강화학습(Inverse Reinforcement Learning, IRL)을 통해 보상 함수를 추론하는 데 의존하는 경우가 많습니다. 그러나 행동 복제는 분포 변화(distributional shift) 문제에 취서하며, 표준 IRL 방식은 서로 다른 상태에 도달하는 상대적 난이도(분할 함수, partition function)를 고려하지 못해 발생하는 보상 추론의 불충분한 명시성 문제로 인해 어려움을 겪는 경우가 많습니다.

저자들은 에이전트가 지식의 토대를 구축할 수 있도록 **자기 지도적 상호작면(self-supervised interaction)**만을 통해 사전 학습(데모, 보상, 인간 데이터 없음)하는 프레임워크를 제안합니다. 핵심 과제는 이러한 에이전트가 단 하나의 궤적으로부터 데모스트레이터의 의도를 추론하고, 추가 학습 없이 그 의도를 달성하기 위한 정책을 실행할 수 있도록 하는 것입니다.

방법론: 대조적 역강화학습 (Contrastive Inverse Reinforcement Learning, CIRL)

제안된 프레임워크인 **대조적 역강화학습(CIRL)**은 다중 작업 IRL 문제를 목표 추론(goal-inference) 문제로 재구성합니다. 이 방법은 많은 작업이 단일 목표 상태(goal state)에 의해 요약될 수 있다는 관찰에 기반합니다. 이 방법은 사전 학습 중에 통합되는 세 가지 주요 구성 요소로 이루어집니다:

1. 최대 엔트로피 대조 강화학습 (Maximum Entropy Contrastive Reinforcement Learning, MaxEnt CRL):

   • 에이전트는 자기 지도적 목적 함수를 사용하여 목표 조건부 정책(goal-conditioned policy)을 학습합니다.
   • 이는 대조 강화학습(CRL)을 최대 엔트로피(Maximum Entropy) 설정으로 확장한 것입니다. 단순히 할인된 미래 보상을 학습하는 대신, 에이전트는 할인된 미래 보상의 합과 엔트로피를 함께 최적화합니다.
   • 비평가 함수(critic function) $f_{\phi,\psi}(s, a, g)$는 노이즈 대조 추정(Noise Contrastive Estimation, NCE)을 사용하여 현재의 상태-행동-목표 튜플과 부정 샘플(negative samples)을 구별함으로써 할인된 상태 점유 측도(discounted state occupancy measure)를 추정합니다.
   • 액터(actor)는 엔트로피 정규화된 목적 함수를 최대화하여 소프트 Q-함수 $\tilde{Q}_g(s, a)$를 학습합니다.

2. 자동 목표 제안 (Automatic Goal Proposal, GoalKDE):

   • 외부 보상 없이 탐사를 유도하기 위해, 에이전트는 GoalKDE라는 자동 목표 샘플링 메커니즘을 사용합니다.
   • 에이전트는 리플레이 버퍼(replay buffer)에서 방문한 상태들에 가우시안 커널 밀도 추정(Gaussian Kernel Density Estimator, KDE)을 적합시킵니다.
   • 에이전트는 KDE 하에서 확률이 가장 낮은(방문 빈도가 낮은) 상태들로부터 목표를 샘플링하여, 에이전트가 자율적으로 상태 공간을 탐사하도록 장려합니다.

3. 변분 목표 추론 (Variational Goal Inference):

   • 테스트 시점에, 데모스트레이션 궤적 $\tau$가 주어지면 에이전트는 전문가의 목표 $\hat{g}$를 추론해야 합니다.
   • 저자들은 목표 조건부 보상이 있는 MaxEnt IRL 하에서, 보상을 추론하는 것이 잠재적 목표(latent goal)를 추론하는 것과 동일함을 증명합니다.
   • 그들은 목표의 사후 분포를 근사하기 위해 평균장 변분 모델(mean-field variational model) $q_\xi(g|\tau) = \prod_{t=0}^T q_\xi(g|s_t, a_t)$를 사용합니다. 이 아모티즈드 추론(amortized inference) 모델은 궤적으로부터 목표의 가능도(likelihood)를 최대화하도록 학습되어, 효과적으로 의도를 "읽는" 법을 배웁니다.

주요 이론적 기여

본 논문은 CIRL 방법의 **일관성(consistency)**에 대한 이론적 증명을 제공합니다:

• 일관된 목표 추론: 저자들은 CIRL이 서로 다른 상태에 도달하는 상대적 난이도(분할 함수 $Z_g$)를 고려함으로써 데모스트레이터의 의도를 일관되게 회복함을 증명합니다.
• 기존 연구의 불일치성: 저자들은 이와 구조적으로 유사한 방식인 순방향-역방향(Forward-Backward, FB) 표현 방식이 **불일치(inconsistent)**함을 보여줍니다. FB 방식은 분할 함수를 고려하지 않고 상태 방문 횟수에 기반하여 보상을 추론합니다. 저자들은 2-상태 MDP를 이용한 반례를 통해, FB가 접근하기 쉬운 상태와 진정한 목표 상태(도달하기 어려운 상태)를 구분하지 못해 데모스트레이터의 정책을 잘못 식별할 수 있음을 보여줍니다.

실험 결과

저자들은 Reacher, Pusher, Ant, PointMaze 작업을 포함한 JaxGCRL 및 비지도 강화학습 벤치마크(Unsupervised Reinforcement Learning Benchmark, URLB) 환경에서 CIRL을 평가합니다.

• 베이스라인 대비 성능: CIRL은 다음과 같은 기존의 제로샷 모방 방법들을 지속적으로 능가합니다:
  • 1-최근접 이웃 (1-Nearest Neighbor, 1-NN): 전문가 궤적의 가장 가까운 상태의 행동을 복사하는 단순한 베이스라인입니다.
  • 순방향-역방향 (Forward-Backward, FB) 표현: 제로샷 RL 및 모방을 위한 최첨단 방법입니다.
  • HILP: 비지도 사전 학습을 위한 잠재 변수 접근 방식입니다.
• 절제 연구 (Ablation Studies):
  • 사전 학습: 자기 지도적 사전 학습을 거친 CIRL은 사전 학습이 없는 방법들보다 현저히 우수한 성능을 보입니다.
  • 목표 추론: 전체 궤적을 입력으로 사용하는 모델보다 평균장 근사(mean-field approximation)를 사용하는 모델이 계산 효율성과 성능 면에서 보편적으로 더 뛰어납니다.
  • 탐사: GoalKDE가 일부 환경(예: Reacher)에서 완벽에 가까운 모방 점수를 달取得하지만, 고차원 공간(예: Ant, PointMaze)에서는 "오라클(oracle)" 목표 샘플러와의 격차가 벌어지며, 이는 복잡한 상태 공간에 대한 탐사 전략의 개선 여지를 시사합니다.
• 일반화: CIRL은 에이전트의 3D 위치 및 속도와 관련된 목표를 추론함으로써, 표준 보상 최대화(비목표 조건부) 작업에 대해 훈련된 정책을 성공적으로 모방합니다. 이는 목표 공간 가설(goal-space hypothesis)이 복잡한 보상 구조를 포착할 수 있음을 입증합니다.

의의 및 주장

본 논문은 목표가 행동의 압축적이고 표현력 있는 요약 역할을 한다고 주장합니다. 행동을 목표 조건부 보상이라는 제한된 공간으로 투영함으로써, 저자들은 다음을 보여줍니다:

1. 효율성: 행동을 목표 조건부 보상 함수 공간으로 투영할 때 모방이 더 효율적이 됩니다.
2. 이론적 타당성: 이 방법은 분할 함수를 무시하여 실패하는 다른 방법들과 달리 의도를 정확하게 추론하는 이론적 일관성을 갖습니다.
3. 자기 지도적 토대: 인간의 데모나 보상 신호 없이도 순수하게 자기 지도적 탐사(목표 제안, 도달 시도, 결과로부터 학습)를 통해 상호작적인 에이전트의 토대를 구축할 수 있습니다.

저자들은 이 "상상하고 실행하는(imagine-and-practice)" 루프가 다양한 작업 분포에 걸쳐 전이 가능한 정책을 학습할 수 있게 하며, 제로샷 모방의 근본적인 메커니즘으로서 목표를 재평가하도록 지원한다고 결론짓습니다.