기술 요약: 잠재 토폴로지 매핑을 통한 제로샷 모방 학습 (ZALT)

문제 정의

본 논문은 장기 목표 조건부 모방 학습에서 발생하는 제로샷 행동 조합의 과제를 다룹니다. 이 설정에서 에이전트는 가능한 시작 - 목표 작업의 일부만을 다루는 고정된 오프라인 전문가 시연 데이터셋을 제공합니다. 목표는 에이전트가 추가적인 환경 상호작용이나 정책 최적화 없이 보이지 않는 시작 - 목표 조합을 해결하는 것입니다.

핵심적인 어려움은 긴 궤적에 걸친 오차의 누적에 있습니다. 행동 복제 (behavioral cloning) 나 모델 기반 모방과 같은 기존 방법들은 에이전트가 시연된 시작 - 목표 분포 밖에서 행동을 조합하려 할 때, 수백 개의 기본 행동 단계에 걸쳐 작은 정책, 모델, 또는 분포 이동 오차가 증폭되기 때문에 이러한 영역에서 종종 실패합니다. 본 논문은 고정된 데이터셋이 새로운 작업에 대한 완전한 궤적을 제공하지는 않더라도, 필요한 국소적 행동 세그먼트를 포함하고 있을 가능성이 높다고 주장합니다. 과제는 이러한 세그먼트를 신뢰할 수 있게 재조합하는 법을 배우는 것입니다.

방법론: ZALT

저자들은 고정된 시연 데이터셋을 계획에 활용 가능한 고수준 구조로 변환하는 잠재 토폴로지 기반 제로샷 에이전트 (ZALT) 를 제안합니다. 이 접근법은 네 가지 주요 단계로 구성됩니다:

1. 잠재 허브 발견

ZALT 는 시연 데이터 내에서 "허브 상태"를 식별하여 행동 토폴로지를 구축합니다. 이러한 허브는 궤적이 수렴하거나 발산하는 재사용 가능한 연결 지점 역할을 합니다.

• 잠재 공간: 고차원 관측치를 처리하기 위해 ZALT 는 저수준 인코더 - 동역학 - 디코더 모델을 사용하여 상태를 동역학 정렬 잠재 공간에 매핑합니다. 이 공간은 행동에 기반한 미래 상태를 예측하도록 훈련되어, 시각적으로 유사한 상태가 아닌 행동적으로 유사한 상태들이 함께 군집화되도록 합니다.
• 허브 식별: 허브는 다음과 같은 잠재 군집으로 정의됩니다:
  • 수렴: 여러 개의 서로 다른 이전 궤적이 동일한 군집으로 진입합니다.
  • 발산: 단일 군집이 여러 개의 서로 다른 미래 궤적으로 이어집니다.
  • 시작/종료: 초기 상태와 종료 상태도 허브로 간주됩니다.
• 의의: 이러한 허브를 식별함으로써 ZALT 는 긴 기본 행동 범위를 짧은 추상 전이 시퀀스로 압축하여, 전체 궤적이 아닌 허브 간의 연결부에만 오차를 국한시킵니다.

2. 고수준 허브 동역학 모델 학습

토폴로지 (허브와 간선의 그래프) 가 확립되면, ZALT 는 지금까지 방문한 허브 시퀀스 ($h_{0:m}$) 를 기반으로 다음 허브를 예측하는 고수준 동역학 모델 ($M^{high}$) 을 학습합니다.

• 맥락 인식: 단순한 그래프 탐색과 달리, 이 모델은 경로 의존적 정보를 포착하기 위해 GRU 를 사용합니다. 예를 들어, 복도 허브에 도달하는 것이 특정 열쇠를 이전에 수집했는지 여부에 따라 다른 결과로 이어질 수 있습니다.
• 마스크 처리: 모델은 토폴로지 마스크 처리로 훈련되며, 시연 간선에서 지원되지 않는 전이는 확률 0 을 할당받아 계획자가 지원되지 않는 행동을 시도하지 않도록 합니다.

3. 허브 간 정책 학습

토폴로지의 각 간선 (허브 $h_i$ 에서 $h_j$ 로의 전이) 에 대해, ZALT 는 목표 허브 임베딩을 조건으로 하는 특정 저수준 정책 ($\pi_{h_i}$) 을 훈련합니다.

• 행동 복제: 이러한 정책들은 특정 소스 허브와 목표 허브를 연결하는 시연의 기본 행동 세그먼트에 대한 행동 복제를 통해 훈련됩니다.
• 강건성: 타이밍 변이와 경계 감지 오류를 처리하기 위해 훈련에는 확률적 경계 교란 (세그먼트 잘라내기 또는 확장) 과 관측 노이즈가 포함됩니다.

4. 제로샷 추론

테스트 시, 새로운 시작 - 목표 쌍이 주어지면:

1. 매핑: 시작 관측치가 인코딩되어 시작 허브 ($h_s$) 와 매칭되고, 목표는 일련의 성공 종료 허브 ($H_g$) 와 매칭됩니다.
2. 탐색: 병목 전이 비용을 사용하는 탐색 알고리즘이 $h_s$ 에서 $H_g$ 내의 임의의 $h_g$ 로 가는 가장 그럴듯한 경로를 찾기 위해 행동 토폴로지를 탐색합니다. 이 탐색은 경로 역사에 기반한 경로 그럴듯성을 점수화하기 위해 고수준 동역학 모델에 의존합니다.
3. 실행: 생성된 추상 계획 (허브 시퀀스) 은 해당 학습된 허브 간 정책을 연결하여 실행됩니다.

주요 기여

• 잠재 토폴로지 매핑: 행동 조합을 위한 재사용 가능한 연결 지점으로서 잠재 허브 상태 (수렴/발산) 를 명시적으로 식별하고 활용하는 방법의 도입.
• 범위 압축: 수백 개의 기본 결정에서 짧은 추상 허브 전이 시퀀스로 장기 계획을 줄이는 메커니즘으로, 오차 누적의 기회를 현저히 감소시킵니다.
• 경로 의존적 동역학: 현재 상태뿐만 아니라 방문한 허브의 시퀀스에 미래 예측을 조건화하는 고수준 모델로, 에이전트가 경로 역사에 암묵적으로 인코딩된 맥락 (예: 재고 상태) 에 대해 추론할 수 있게 합니다.
• 제로샷 조합: 훈련에서 본 적 없는 시작 - 목표 쌍을 가진 작업을 해결할 수 있는 프레임워크로, 필요한 국소 행동 세그먼트가 시연 데이터셋에 존재하는 경우 가능합니다.

실험 결과

저자들은 순차적 객체 조작 (열쇠, 잠긴 문, 다이아몬드, 배럴) 이 필요한 복잡한 3D 미로 환경 (MiniWorld/CARL 스타일) 에서 ZALT 를 평가했습니다. 이 작업은 특정 열쇠로 이동하고, 문을 잠금 해제하며, 물건을 수집하고, 특정 순서로 이를 반납하는 것을 포함합니다.

• 데이터셋: 36 개의 가능한 시작 - 목표 쌍 중 18 개만을 다루는 18 개의 성공 시연과 120 개의 실패 시연.
• 제로샷 성능: ZALT 는 18 개의 보이지 않는 시작 - 목표 쌍에서 55% 의 성공률을 달성했습니다.
• 베이스라인 비교:
  • DQN+BC: 6% 성공 (가장 강력한 베이스라인).
  • CQL, IQL, Option-Critic: 0% 성공.
  • 보이는 작업: ZALT 는 보이는 작업에서 72.2% 의 성공률을 보인 반면, 가장 강력한 베이스라인은 11% 로, 환경이 표준 모방 학습에도 어렵다는 것을 나타냅니다.
• 효율성: 성공적인 ZALT 계획은 약 244~281 개의 기본 타임스텝을 약 33 개의 허브 수준 전이 (평균 간선 길이 약 7.9 개 행동) 로 압축합니다.
• 절대 연구 (Ablation Studies):
  • 고수준 동역학 모델을 제거하고 BFS 로 대체하면 0% 성공으로 이어져, 경로 의존적 예측 없이 원시 토폴로지 연결성만으로는 부족함을 증명합니다.
  • 저수준 인코더에서 GRU 메모리를 제거하면 0% 성공으로 이어져, 허브 발견이 즉시 시각적 관측을 넘어 행동적 맥락 (예: 수집된 열쇠) 을 필요로 함을 증명합니다.
• 온라인 적응: 500 회 에피소드의 온라인 상호작용 후 베이스라인은 성능 회복에 실패하여, 어려움이 연습 부족이 아닌 긴 범위와 희소 보상에서 비롯됨을 시사합니다.

의의 및 주장

본 논문은 ZALT 가 명시적 행동 토폴로지가 장기 모방 학습에서 제로샷 일반화를 위한 핵심 요소임을 보여준다고 주장합니다. 저자들은 전체 시작 - 목표 경로가 분포 밖일 때 표준 방법들이 어려움을 겪는 반면, ZALT 는 데이터에 존재하는 "국소적 행동 조각"을 활용함으로써 성공한다고 논합니다.

의의는 모든 가능한 작업 변이에 대한 완전한 시연 세트를 요구하지 않고도 복잡하고 조합적인 작업을 해결할 수 있는 능력에 있습니다. 계획 범위를 압축하고 재사용 가능한 행동 세그먼트의 연결성을 명시적으로 모델링함으로써 ZALT 는 장기 정책에 plaguing 하는 오차 누적 문제를 극복합니다. 저자들은 이 접근법이 모든 가능한 작업 조합에 대한 전문가 궤적을 수집하는 것이 불가능한 상호작용 환경에서 에이전트를 훈련시키기 위한 유망한 방향을 제시한다고 결론지었습니다.

논리는 방법의 범위에 대해 겸손하게, 이 방법이 시연에서 재사용 가능한 행동 연결성의 존재를 가정하며 허브의 품질은 학습된 잠재 표현에 의존한다고 명시합니다. 향후 연구는 허브 형성을 이끄는 힘을 탐구하고 프레임워크를 온라인 또는 하이브리드 학습 설정에 적응시키는 것으로 제안됩니다.