기술 요약: 다중 작업 궤적으로부터 해석 가능한 기술의 오프라인 발견 (LOKI)

문제 정의

계층적 모방 학습(Hierarchical Imitation Learning, HIL)은 긴 호흡의 과업을 관리 가능한 하위 과업으로 분해함으로써 복잡한 로봇 행동을 습득하는 유망한 패러다임을 제공한다. 그러나 명시적인 보상이나 하위 과업 주석이 없는 오프라인, 다중 작업 궤적 데이터로부터 재사용 가능하고 의미론적으로 유의미한 기술을 발견하는 데에는 여전히 결정적인 병목 현상이 존재한다. 기존 방법론들은 다음과 같은 세 가지 주요 과제에 직면해 있다:

1. 기술 경계의 모호성: 명시적인 감독 없이 연속적인 궤적을 이산적인 기술로 정확하게 분할하는 것은 어렵다.
2. 재사용성 및 해석 가능성의 결여: 학습된 기술이 인간의 개념화와 일치하지 않거나 다른 과업으로 전이되지 않는 경우가 많다.
3. 확장성: 많은 접근 방식이 단일 작업 설정에 맞춰져 있거나 광범적이고 과업 특화적인 엔지니어링을 요구하여, 다양한 다중 작업 환경에서의 활용도를 제한한다.

본 논문은 가공되지 않은, 주석이 없는 오프라인 시연으로부터 강건하고 해석 가능한 기술을 직접 발견하도록 설계된 프레임워크인 LOKI(Learning Offline Key-skills via Imitation)를 제안한다.

방법론: LOKI 프레임워크

LOKI는 가공되지 않은 다중 작업 궤적을 실행 가능한 계층적 정책으로 변환하는 3단계 엔드 투 엔드 학습 프레임워크이다.

1단계: 강제 VQ-VAE (EVQ-VAE)를 통한 매크로 분할 (Macro-Segmentation)

첫 번째 단계는 **일반 기술(General Skills, GS)**을 구분하기 위해 거친 수준의 과업 인지적 분할을 수행한다.

• 아키텍처: 저자들은 **강제 벡터 양자화 변이형 오토인코더(Enforced Vector Quantized Variational Autoencoder, EVQ-VAE)**를 도입한다. 표준 VQ-VAE와 달리, 이 아키텍처는 약한 과업 레이블($c$)을 활용하여 과업 조건부 양자화를 강제한다.
• 손실 함수: 모델은 과업 조건부 재구성, 코드북, 그리고 커밋먼트(commitment) 손실을 포함하는 복합 손실을 최소화한다. 결정적으로, 코드북 벡터 간의 유클리드 거리를 최대화하여 붕괴를 방지하고 구별된 표현을 장려하는 발산 손실($L_{divergence}$)을 도입한다.
• 경계 탐지: 기술 경계는 **잠재 공간 엔트로피(latent space entropy)**를 사용하여 식별된다.
  • 외적 기술(extrinsic skills, 과업 특화적)은 임베딩이 단일 과업 특화 코드북 벡터와 밀접하게 정렬되므로 낮은 엔트로피를 나타낸다.
  • 내적 기술(intrinsic skills, 과업 불가지론적)은 임베딩이 여러 벡터와 등거리에 있으므로 높은 엔트로피를 나타낸다.
  • 변화점(change points)은 엔트로피 신호에 대한 Pelt 알고리즘을 사용하여 탐지되며, 이를 통해 내적 행동과 외적 행동을 분리한다.

2단계: 약지도 미크로 분할 (Weakly-Supervised Micro-Segmentation)

이 단계는 매크로 세그먼트를 더 세밀하고 문맥 독립적인 **독립 기술(Independent Skills, IS)**로 정제한다.

• 순차적 모델링: 순차적 VAE가 매크로 세그먼트의 고정 길이 슬라이딩 윈도우를 처리한다. 모델은 행동과 상태를 재구성하도록 훈련되는 동시에, 초기 상태와 과업 레이블에만 조건화된 사전 확률(prior)에 대해 잠재 공간을 정규화한다(이는 기술 코드가 미래 상태를 관찰함으로써 '속임수'를 쓰는 것을 방지하기 위함이다).
• 경계 정제:
  1. 오차 스파이크 탐지: 현재 기술의 역학(dynamics)으로부터의 이탈을 나타내는 재구성 오차의 급격한 스파이크를 탐지하여 잠재적 경계를 식별한다.
  2. 반복적 클러스터링: 임베딩을 분할하기 위해 K-Means 클러스터링 알고리즘을 적용한다. 동일한 클러스터에 할당된 연속된 세그먼트들을 병합하여 중복된 경계를 제거한다.
• 과업 기술 정렬: 프레임워크는 재사용 가능한(내적) 기술과 고유한(외적) 기술을 구분한다. 내적 세그먼트는 공유된 프리미티브 집합으로 클러스터링되는 반면, 외적 기술은 고유한 ID를 부여받는다. 마지막으로, 특정 과업에 대한 모든 궤적은 빈도와 유사성을 기반으로 **정준 기술 시퀀스(canonical skill sequence)**에 강제로 정렬되어 구조적 일관성을 보장한다.

3단계: 계층적 정책 구축

정제된 기술 경계를 사용하여 실행 가능한 정책을 구축한다:

1. 종료 함수 ($\beta$): 고정된 시간 지평 대신 상태 기반 전환을 구현하기 위해, 현재 상태를 기반으로 기술 종료를 예측하는 이진 분류기로서 다층 퍼셉트론(MLP)을 훈련시킨다.
2. 저수준 정책 (Low-Level Policy): 특정 원자적 기술을 실행하기 위해 조건부 행동 복제(conditional behavior cloning)를 통해 기술 조건부 컨트롤러($\pi(a_t|s_t, k)$)를 훈련시킨다.
3. 고수준 정책 (High-Level Policy): 동적인 메타 컨트롤러를 학습하는 대신, 2단계에서 도출된 정준 기술 시퀀스를 결정론적 과업 프로그램으로 활용한다.

주요 기여

1. LOKI 프레임워크: 긴 호흡의 다중 작업 데이터로부터 오프라인 기술 발견 및 계층적 모방을 수행하는 새로운 3단계 약지도 학습 프레임워크를 제안한다.
2. EVQ-VAE: 내적 기술과 외적 기술의 분리를 가능하게 하기 위해 과업 조건부 양자화를 강제하는 약한 과업 레이블 활용 아키텍처를 도입한다.
3. 미크로 분할 방법: 보수적이고 세밀한 기술을 구별하기 위해 재구성 오차 분석과 반복적 클러스터링을 결합한 약지도 접근 방식을 제시한다.
4. 실증적 검증: 발견된 기술이 의미론적으로 유의미하고, 일관되며, 조합 가능하다는 것을 입증하여 새로운 과업 해결 능력을 보여준다.

실험 결과

실험은 7개의 하위 과업(예: 전자레인지, 주전자, 전등 스위치)이 복잡한 다단계 과업으로 결합된 kitchen-mixed-v0 데이터셋을 포함하는 D4RL Kitchen 벤치마크에서 수행되었다.

• 매크로 분할: EVQ-VAE는 잠재 공간에서의 뚜렷한 저엔트로피(외적) 및 고엔트로피(내적) 상태를 통해 내적 기술과 외적 기술 사이의 경계를 성공적으로 식별하였다.
• 미크로 분할: 반복적 정제 과정은 노이즈가 있는 경계를 효과적으로 제거하고 동일한 과업의 궤적 전반에 걸쳐 일관된 분할 구조를 강제하였다.
• 해석 가능성: 잠재 공간의 PCA 시각화 결과, 유사한 로봇 동작을 가진 기술들(예: "Microwave"와 "Hinge Cabinet")이 인접하게 클러스터링되어 인간의 직관과 의미론적으로 일치함을 확인하였다.
• 종료 정확도: 학습된 종료 함수는 실제 경계의 $\pm4$ 타임스텝 윈도우 내에서 93.7%의 정확도를 달acia.
• 성능 비교:
  • LOKI 변형 모델들(one-hot ID를 사용하는 LOKI-O와 연속 임베딩을 사용하는 LOKI-E)은 저수준 정책의 평균 제곱 오차(MSE) 측면에서 계층적 베이스라인인 DADS와 OPAL을 크게 상회하였다.
  • LOKI-E는 제안된 방법 중 가장 우수한 성능(평균 MSE: 7.76)을 보였으며, 이는 이산 ID에 비해 연속 임베딩이 더 풍부한 정보를 제공하기 때문인 것으로 분석된다.
  • "Expert"(flat BC) 베이스라인이 더 낮은 MSE를 달성하였으나, LOKI는 계층적 제어에 필수적인 우수한 모듈성과 해석 가능성을 입증하였다.

의의 및 주장

본 논문은 LOKI가 조밀한 보상이나 수동적인 하위 과업 주석 없이도 가공되지 않은 오프라인 데이터로부터 구조화되고 해석 가능한 기술을 추출하는 실용적이고 강건한 방법을 제공한다고 주장한다. 발견된 기술을 인간의 직관과 정렬시키고 이를 조합하여 새로운 과업을 해결할 수 있게 함으로써, 본 연구는 복잡한 다중 작업 로봇 환경으로 모방 학습을 확장하는 데 있어 근본적인 장애물을 해결한다. 저자들은 이를 광범한 온라인 상호작작용이나 대규모 주석 데이터에 의존하는 기존 방식에 대한 유효한 대안으로서, 로봇 학습의 확장성과 일반화 가능성을 높이는 중요한 단계로 포지셔닝한다.