기술 요약: 피드백 효율적인 오프라인 선호 기반 강화 학습을 위한 비디오 기반 최적 운송 (VOTP)

문제 정의

강화 학습(RL) 에이전트는 의사 결정 과제를 해결하기 위해 적절한 보상 함수를 필요로 합니다. 실제 시나리오에서 조밀하고 정보가 풍부한 보상을 수동으로 설계하는 것은 매우 어려우며, 광범 및 촉각 센서와 같은 광범위한 계측이 필요할 뿐만 아니라 에이전트가 의도하지 않은 지름길을 악용하는 보상 오설정(reward misspecification)의 위험도 있습니다. 선호 기반 강화 학습(PbRL)은 인간이 행동 궤적 쌍에 대해 제공하는 피드백으로부터 보상 함수를 학습함으로써 대안을 제시합니다. 그러나 PbRL의 확장성은 높은 인간 레이블링 비용에 의해 저해되며, 효과적인 보상 함수를 학습하기 위해 수천 번의 쿼리가 필요할 수 있습니다. 기존 연구들이 이를 완화하기 위해 준지도 학습(semi-supervised learning)과 메타 학습(meta-learning)을 탐구해 왔으나, 인간의 시각적 인지(특히 비디오 파운데이션 모델(ViFM)의 구조화된 표현 공간)를 활용하여 레이블이 없는 데이터에 대한 선호를 추론할 수 있는 잠재력은 아직 충분히 탐구되지 않았습니다.

방법론: 비디오 기반 최적 운송 선호 (VOTP)

저자들은 오프라인 데이터셋의 레이블이 없는 데이터를 활용하여 최소한의 인간 선호 레이블(예: 10개의 쿼리)로부터 효과적인 보상 함수를 학습하도록 설계된 준지도 학습 프레임워크인 VOTP를 제안합니다. 이 방법은 두 가지 주요 단계로 작동합니다.

1. ViFM을 통한 궤적 표현

VOTP는 가공되지 않은 상태-행동 쌍에 의존하는 대신, 궤적 세그먼트를 짧은 비디오 클립으로 모델링합니다. 이 클립들은 HowTo100M으로 사전 학습된 오프더쉘프 비디오 파운데이션 모델(ViFM)인 S3D를 사용하여 잠재 공간(latent space)으로 임베딩됩니다. 이러한 선택은 ViFM이 공간적 세부 사항과 시간적 역학을 모두 포착할 수 있는 능력, 즉 행위자 불가지론적(actor-agnostic)이고 의미적으로 풍부하며, 노이즈 변수(조명, 관점)에 강건하고 미학습 로봇 환경에도 일반화될 수 있는 임베딩을 제공한다는 점에 기인합니다.

2. 최적 운송을 통한 의사 선호 레이블 생성

VOTP의 핵심 혁신은 레이블이 있는 세그먼트 쌍과 레이블이 없는 세그먼트 쌍을 ViFM 잠재 공간 내에서 정렬하여 의사 레이블(pseudo-labels)을 생성하기 위해 최적 운송(Optimal Transport, OT)을 사용하는 것입니다.

• 설정: $L$을 선호 관계가 편대칭 행렬 $R$로 인코딩된 레이블된 세그먼트의 집합이라 하고, $U$를 레이블이 없는 세그매트의 집합이라고 합시다.
• 최적 운송 계획: VOTP는 $L$과 $U$의 경험적 측도(empirical measures) 사이의 운송 비용(잠재 공간에서의 유클리드 또는 코사인 거리)을 최소화하는 OT 계획 $\mu^*$를 계산합니다. 이 계획 $\mu_{ii'}$는 레이블 없는 세그먼트 $\bar{\sigma}_{i'}$가 레이블된 세그먼트 $\sigma_i$에 대응할 확률을 나타냅니다.
• 추론: 레이블 없는 쌍 $(\bar{\sigma}_{i'}, \bar{\sigma}_{j'})$에 대한 선호 점수는 OT 계획으로부터 도출된 상대적 정렬 강도에 의해 가중치 처리된 모든 레이블된 쌍으로부터의 선호를 집계하여 추론됩니다:
  $$S(\bar{\sigma}_{i'}, \bar{\sigma}_{j'}) = \sum_{i,j} R_{ij}(\mu_{ii'}\mu_{jj'} - \mu_{ij'}\mu_{ji'})$$
  이 점수는 정규화 및 임계값 처리를 거쳐 의사 레이블($\tilde{y} \in \{0, 1, 0.5\}$)을 할당합니다.
• 보상 학습: 보상 함수는 원래의 레이블된 데이터와 새로 생성된 의사 레이블 데이터를 모두 사용하여 학습됩니다. 오프라인 RL 단계 동안, 학습된 보상 함수는 데이터셋의 원래 보상을 대체하여 정책을 최적화합니다.

주요 기여

1. VOTP 프레임워크: 최적 운송을 사용하여 레이블이 없는 궤적 쌍에 선호 레이블을 자동으로 할당하기 위해 비디오 파운데이션 모델의 잠재 공간 상에서 최적 운송을 활용하는 준지도 학습 프레임워크를 도입했습니다.
2. 피드백 효율성: VOTP가 단 몇 개의 인간 선호 쿼리(예: 10개)만으로도 효과적인 보상 함수와 정책을 학습할 수 있음을 입증하여, 기존의 최첨단 오프라인 PbRL 방법들과 비교했을 때 어노테이션 부담을 크게 줄였습니다.
3. 시각적 변이에 대한 강건성: ViFM을 활용함으로써 VOTP가 조명 변화, 질감 변화, 동적 배경과 같은 시각적 방해 요소가 존재하는 상황에서도 성능을 유지할 수 있음을 검증했습니다.
4. 실제 적용 가능성: 7-DoF Sawyer 암을 사용하여 실제 로봇 조작 작업(Lift Banana, Drawer Open)에 프레임워크를 성공적으로 적용하였으며, 최소한의 인간 입력으로 베이스라인보다 높은 성공률을 달al 성했습니다.

실험 결과

저자들은 D4RL(이동), MetaWorld(조작), 그리고 실제 로봇 작업을 대상으로 VOTP를 평가했습니다.

• 벤치마크 성능: D4RL 및 MetaWorld에서 VOTP는 제한된 피드백 예산 하에서 최첨단 오프라인 PbRL 베이스라인(P-IQL, SURF, LiRE, FTB 포함)을 일관되게 능가했습니다. 특히, VOTP는 D4RL 작업에서 "Oracle" 베이스라인(레이블 없는 데이터에 대한 정답 보상에 접근 가능한 모델)과 대등한 성능을 달성했습니다.
• 저데이터 환경: 레이블 수를 변화시키는 실험에서, VOTP는 베이스라인들에 비해 태스크 보상에 도달하기 위해 현저히 적은 수의 레이블을 요구했습니다. door-open 작업에서 단 10개의 레이블만 사용한 VOTP는 정답 보상으로 학습된 정책보다 우수한 성능을 보였습니다.
• 절제 연구(Ablation Studies):
  • ViFMs vs. IFMs: 비디오 파운데이션 모델(S3D, VideoCLIP, InternVideo)이 이미지 파운데শন 모델(R3M, CLIP)보다 우수한 성능을 보였으며, 이는 선호 학습을 위해 시간적 역학을 포착하는 것의 중요성을 강조합니다.
  • OT vs. 유사도: OT 기반의 의사 레이블링 전략은 단순 유사도 메트릭(SIM-individual, SIM-mean, SIM-weighted)에 의존하는 베이스라인들을 크게 앞질렀으며, 이는 선호 정보를 집계하는 데 있어 운송 계획의 효능을 입증합니다.
  • 보상 상관관계: VOTP에 의해 학습된 보상 함수는 P-IQL보다 정답 보상과 훨씬 높은 피어슨 상관계수를 보였으며, 이는 더 나은 상태 및 행동 공간 커버리지를 나타냅니다.
• 실제 로봇 평가: 물리적인 Sawyer 로봇에서 VOTP는 "Lift Banana"에서 80%, "Drawer Open"에서 70%의 성공률을 달성하여, 행동 복제(Behavior Cloning, 20-40%) 및 P-IQL(50%)을 능가했습니다. 결정적으로, VOTP는 실패한 궤적에 대해서는 낮은 보상을, 성공한 궤적에 대해서는 높은 보상을 정확하게 구분해 낸 반면, P-IQL은 실패한 행동에도 높은 보상을 할당했습니다.

의의 및 주장

본 논문은 VOTP가 오프라인 선호 기반 RL을 위한 확장 가능하고 실용적인 솔루션임을 주장합니다. 사전 학습된 비디오 파운데이션 모델의 표현 공간과 최적 운송의 수학적 엄밀함을 결합함으로써, 이 방법은 제한된 인간 감독과 광범위한 보상 커버리지 사이의 간극을 효과적으로 메웁니다. 저자들은 이 접근 방식이 인간의 감독 필요성을 실질적으로 줄이는 동시에 시각적 방해 요소에 대한 강건성을 유지함으로써, 보상 엔지니어링이 불가능한 복잡한 실제 환경에 RL 에이전트를 배치하는 데 있어 실행 가능한 경로을 제공한다고 단언합니다.

저자들은 사전 학습된 ViFM으로부터 물려받을 수 있는 잠재적 편향과 매우 큰 데이터셋에 대해 OT 계획을 계산하는 데 드는 계산 비용에 대한 한계를 인정하며, 향후 근사 운송 방법(approximate transport methods)에 대한 연구를 제안합니다. 그러나 실험 범위 내에서 이 방법은 매우 효과적임을 입증했습니다.