기술 요약: 모방 학습을 위한 차이 인식 검색 정책 (DARP)

문제 정의

매개변수적 모방 학습인 행동 복제(Behavior Cloning, BC)는 분포 외(out-of-distribution, OOD) 상태에 대한 일반화 성능이 저하되는 경우가 많습니다. BC는 전문가 상태에 대한 지도 학습 위험(supervised risk)을 최소화하지만, 폐쇄 루프 롤아웃(closed-loop rollouts) 중에 발생하는 저밀도 영역에서의 분산을 제어하는 데는 실패합니다. 작은 오류들이 축적되면서(공변량 변화, covariate shift), 학습된 정책이 고분산 및 불안정한 동작을 생성하는 상태로 에이전트를 몰아넣으며, 이는 빈번한 작업 실패로 이어집니다. 이러한 누적 오류를 완화하기 위한 기존 솔루션들은 시뮬레이터, 상호작적인 전문가 피드백, 또는 대량의 하위 최적(sub-optimal) 데이터와 같은 추가적인 가정을 필요로 하며, 이는 전문가의 상태-행동 쌍으로부터만 학습하는 표준 BC 범위를 벗어납니다.

방법론

본 논문은 추가적인 데이터 수집이나 감독 없이 이러한 한계를 해결하는 준매개변수적(semi-parametric) 검색 기반 접근 방식인 **차이 인식 검색 정책(Difference-Aware Retrieval Policies for Imitation Learning, DARP)**을 소개합니다.

이론적 토대

저자들은 먼저 정책 학습에서 국소적 일관성(local consistency)을 강제하는 것이 매니폴드 정규화(Laplacian smoothing)에 해당함을 입증합니다. 이들은 표준 BC 손실에 인접한 전문가 상태 간의 고주파 변동을 억제하는 평활화 페널티를 더하는 매니폴드 정규화 모방 학습(Manifold Regularized Imitation Learning, MRIL) 목적 함수를 정의합니다. 이론적 분석(정리 1)은 MRIL이 추정기 분산을 줄이고, 국소 리프시츠 연속성(local Lipschitz continuity)을 보장하며, 일반적인 BC에 비해 정책 안정성을 개선함을 보여줍니다.

아키텍처를 통한 암시적 정규화

정규화된 목적 함수를 명시적으로 최적화하는 대신(이는 $\lambda$라는 하이퍼파라미터 튜닝을 요구함), 본 논문은 **암시적 매니폴드 정규화 모방 학습(iMRIL)**을 제안합니다. 이 접근 방식은 손실 함수를 수정하는 대신 정책 아키텍처를 수정함으로써 Laplacian smoothing의 이점을 달성합니다.

• 메커니즘: 직접적인 매핑 $f(s)$를 학습하는 대신, 정책은 훈련 데이터셋에서 검색된 $k$-최근접 이웃(k-NN)의 이웃 집합을 기반으로 행동을 예측합니다.
• 동등성: 저자들은 iMRIL이 유효한 smoothing 강도 $\lambda \approx 1$을 갖는 파라미터 프리(parameter-free) Laplacian 정규화와 동등함을 증명합니다(정리 2). 이웃 집합(aggregation) 단계는 k-NN 그래프에 대한 고정된 저역 통과 스펙트럼 필터(low-pass spectral filter) 역할을 하여, 저주파 모드는 보존하면서 고주파 분산을 억제합니다.

DARP 알고리즘

DARP는 국소 기하 구조를 포착하도록 설계된 특정 매개변수화를 사용하여 iMRIL을 구현합니다.

1. 검색(Retrieval): 쿼리 상태 $s_q$에 대해, 알고리즘은 거리 메트릭을 기반으로 전문가 데이터셋 $D^*$에서 $k$-최근접 이웃 $(s^*_i, a^*_i)$를 검색합니다.
2. 차이 인식 매개변수화(Difference-Aware Parameterization): 핵심 혁신은 신경망 $f_\theta$를 위한 입력 표현입니다. 단순히 이웃 상태를 처리하는 대신, $f_\theta$는 다음으로 구성된 튜플을 입력으로 받습니다:
   • 이웃 상태 $s^*_i$
   • 이웃의 전문가 행동 $a^*_i$
   • 차이 벡터 $\Delta s_i = s^*_i - s_q$
     이를 통해 모델은 쿼리 상태에 대한 국소적 섭동(perturbation)에 따라 전문가 행동이 어떻게 변화하는지를 학습할 수 있습니다.
3. 집계(Aggregation): 네트워크는 후보 행동 $a'_i = f_\theta(s^*_i, a^*_i, \Delta s_i)$를 생성합니다. 이 후보들은 순열 불변 함수(permutation-invariant function) $g_\psi$(예: 단순 평균, Set Transformer 또는 생성 모델 헤드)를 통해 최종 행동 예측 $\hat{a}_q$를 생성하기 위해 집계됩니다.
4. 학습(Training): 모델은 표준 모방 학습 목적 함수(집계된 예측과 전문가 행동 사이의 차이를 최소화)를 사용하여 학습되며, 표준 BC 외에 추가적인 손실 항이나 하이퍼파라미터를 요구하지 않습니다.

주요 기여

1. 새로운 알고리즘: 쿼리 상태와 검색된 이웃 사이의 상대적 차이를 기준으로 모방 학습을 재매개변수화하는 DARP를 도입했습니다.
2. 이론적 통찰: 제안된 아키텍처가 명시적인 정규화 항 없이도 암시적으로 Laplacian smoothing을 수행하여 분산 감소와 안정성 보장을 제공한다는 것을 공식적으로 증명했습니다.
3. 준매개변수적 설계: 비매개변수적 국소 방법(검색)의 견고함과 매개변수적 전역 학습(global learning)의 안정성을 결합하여, 추가적인 데이터나 피드백 없이 표준 BC 범위 내에서 작동하는 방법을 제시했습니다.
4. 아키텍처 분석: 포괄적인 절제 연구(ablation studies)를 통해 차이 벡터의 필요성과 순열 불변 집계의 중요성 등 핵심 구성 요소를 식별했습니다.

실험 결과

저자들은 MuJoCo(연속 제어), Robosuite, RoboCasa(로봇 조작) 및 고차원 시각적 작업에 걸쳐 DARP를 평가했습니다.

• 성능 향상: DARP는 표준 행동 복제 및 기타 베이스라인(Locally Weighted Regression 및 명시적 정규화 방법 포함)을 일관되게 능가합니다. 성능 향상 폭은 다양한 도메인에서 **15%에서 46%**에 달합니다.
  • MuJoCo 보행(locomotion) 작업에서, DARP는 BC보다 현저히 높은 점수를 기록했습니다 (예: Hopper에서 ~2313 대비 ~3545).
  • Robosuite 및 RoboCasa 조작 작업에서, DARP는 실제 가구 조립 시나리오에서 BC의 성공률을 두 배로 높였습니다 (44% 대비 92%).
• 일반화: DARP는 고차원 시각적 특징(R3M 임베딩) 및 다중 모드 행동 분포(예: Gaussian Mixture Models, Diffusion Models)를 사용하는 경우에도 성능 향상을 유지합니다.
• 절제 연구 결과:
  • 차이 벡터: 차이 벡터($\Delta s_i$)를 제거하면 성능이 크게 저하되어, 상대적 변화를 학습하는 것이 매우 중요하다는 점을 확인했습니다.
  • 순열 불변성: 순열 의존적 집계기를 사용하면 성공률이 급격히 떨어집니다.
  • 이웃 선택: 무작위 이웃 선택은 성능이 낮았으며, 이는 의미 있는 거리 메트릭의 중요성을 입증합니다.
• 발산 분석: BC는 실패하고 DARP는 성공하는 롤아웃에서, 발산 지점은 쿼리 상태가 OOD(낮은 상태 가능도)이지만 이웃에 대한 차이 벡터는 분포 내(높은 델타 가능도)에 있을 때 발생합니다. 이는 DARP의 재매개변수화가 OOD 영역에서 예측 안정성을 개선한다는 가설을 뒷받침합니다.

의의 및 주장

본 논문은 DARP가 복잡한 표현 및 행동 분포로 자연스럽게 확장 가능한 일반적이고 확장 가능한 모방 학습 아키텍처를 제공한다고 주장합니다. 문제를 국소적 이웃 구조와 상대적 차이에 집중하도록 재매개변수화함으로써, DARP는 기존의 고급 방법들이 가진 계산적 또는 데이터적 오버헤드 없이 국소 방법의 견고함과 정규화된 전역 정책의 안정성을 동시에 달성합니다. 저자들은 이 접근 방식이 데이터셋의 국소 밀도와 기하 구조에 적응하는 파라미터 프리 형태의 smoothing을 제공하며, 이를 통해 표준 행동 복제 가정에 엄격히 부합하면서도 BC 정책의 분산을 크게 줄이고 분포 변화에 대한 견고성을 높인다고 단언합니다.