BPP: Long-Context Robot Imitation Learning by Focusing on Key History Frames

1. 문제 정의 (Problem)

로봇 모방 학습 (Imitation Learning) 에서 많은 작업 (예: 물체 찾기, 정확한 재료 추가, 다단계 절차 수행) 은 과거 관찰의 기록 (History) 을 기억하고 추론해야만 성공할 수 있습니다. 그러나 현재 가장 성능이 좋은 로봇 정책들은 주로 현재 관찰 (Current Observation) 만을 기반으로 하거나 짧은 시간 창 (Short Temporal Window) 만을 사용합니다.

과거 관찰을 단순히 입력에 포함시키는 (Naïve History Conditioning) 방식은 다음과 같은 이유로 실패하는 경우가 많습니다.

• 허위 상관관계 (Spurious Correlations): 정책이 훈련 데이터의 우연한 특징 (예: 특정 배경, 센서 노이즈, 무의미한 과거 행동 패턴) 에 과도하게 의존하게 되어, 배포 시 새로운 경로 (Out-of-Distribution, OOD) 에서 일반화가 실패합니다.
• 커버리지 부족 (Lack of Coverage): 가능한 관찰 시퀀스의 공간은 시간 지평 (Horizon) 에 따라 기하급수적으로 증가합니다. 인간 텔레오퍼레이터가 수집한 제한된 데이터만으로는 모든 가능한 과거 역사를 커버할 수 없습니다.
• 기존 해결책의 한계: 정규화 (Regularization) 나 보조 목적 함수 (Auxiliary Objectives) 를 추가하는 기존 방법들은 근본적인 '커버리지 부족' 문제를 해결하지 못해 일관된 성능 향상을 보이지 못합니다.

2. 제안 방법: Big Picture Policies (BPP)

저자들은 과거의 전체 시퀀스 대신 작업과 관련된 의미 있는 '키프레임 (Keyframes)' 만을 선택하여 정책의 입력으로 사용하는 Big Picture Policies (BPP) 를 제안합니다.

• 핵심 아이디어: 로봇이 수행해야 하는 작업의 본질 (Semantic Events) 을 파악할 수 있는 중요한 순간들 (예: 물체 잡기 성공, 서브타스크 완료, 실패 감지 등) 만을 추출하여 정책이 학습하도록 합니다.
• 비전 - 언어 모델 (VLM) 활용: 오프 - 더 - 쉘 (Off-the-shelf) VLM 을 사용하여 과거 관찰 시퀀스에서 작업 관련 키프레임을 자동으로 식별합니다.
  • VLM 에게 간단한 질문 (예: "이 프레임에서 그리퍼가 물체를 잡았는가?") 을 통해 이진 분류기로 작동하게 합니다.
  • 연속된 검출을 방지하기 위해 '상승 에지 (Rising Edge)' 조건을 적용하여 중복을 제거합니다.
• 지연 시간 처리 (Latency Masking): VLM 추론에는 지연 시간 (약 3~5 초) 이 발생합니다. 훈련 시에는 이 지연 시간을 고려하여 키프레임을 마스킹 (Latency-masked) 하여 실제 배포 환경과 유사하게 학습시킵니다.
• 입력 표현: 정책은 현재 관찰과 과거의 키프레임들만 입력으로 받습니다. 이를 통해 입력 공간의 크기를 축소하고, 훈련 데이터와 테스트 시 입력 분포 간의 겹침 (Overlap) 을 극대화하여 분포 이동 (Distribution Shift) 을 줄입니다.

3. 주요 기여 (Key Contributions)

1. 역사 기반 모방 학습의 근본적 병목 현상 규명: 과거 관찰 기반 학습의 실패 원인이 아키텍처의 한계가 아니라, 과거 역사 공간의 커버리지 부족임을 증명했습니다. 또한, 기존 정규화 기법들이 OOD 환경에서 오히려 성능을 저하시킬 수 있음을 보였습니다.
2. BPP 방법론 제안: VLM 을 활용하여 의미론적으로 중요한 키프레임을 추출하고, 이를 기반으로 정책을 학습시키는 간단하면서도 효과적인 방법을 제시했습니다.
3. 실제 환경에서의 SOTA 성능 달성: 복잡한 실세계 작업에서 기존 최첨단 방법들보다 월등히 높은 성공률을 기록했습니다.

4. 실험 결과 (Results)

저자들은 4 가지 실세계 양손 조작 작업 (Aloha 2 플랫폼) 과 3 가지 시뮬레이션 작업에서 BPP 를 평가했습니다.

• 성능 향상:
  • 실세계 작업: BPP 는 기존 최상위 방법 (PTP, Past-Token Prediction) 보다 평균 약 70% 높은 성공률을 달성했습니다.
  • 시뮬레이션 작업: 모든 작업에서 Naïve History, PTP, 현재 관찰만 사용하는 Baseline 을 압도적으로 우세하게 이겼으며, 일부 작업에서는 오라클 (Ground Truth 상태 정보 제공) 보다 더 높은 성능을 보이기도 했습니다.
• 행동 분석:
  • Naïve History: 훈련 데이터의 우연한 패턴에 과적합되어, 서랍을 반복적으로 여닫거나 이미 완료된 작업을 다시 시도하는 등의 실패를 보였습니다.
  • BPP: 키프레임을 통해 작업 진행 상황을 명확히 파악하여, 실패 후 재시도나 서랍 검색 시 중복 방문을 피하는 등 강건한 진행 추적 (Robust Progress Tracking) 이 가능했습니다.
• 데이터 효율성: BPP 는 적은 양의 데이터로도 높은 성능을 발휘했으며, Naïve History 방식은 데이터 양이 매우 커져야만 BPP 와 유사한 성능에 도달할 수 있었습니다.
• VLM 오차 내성: 키프레임 검출에 약간의 오류가 있더라도 (예: VLM 의 오탐지) BPP 는 여전히 강력한 성능을 유지했습니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇 모방 학습에서 과거 정보의 양 (Length) 이 아닌 질 (Semantic Relevance) 이 중요함을 강조합니다.

• 데이터 수집 프로토콜 변경 없이 해결: 더 많은 데이터를 수집하거나 복잡한 아키텍처를 변경하지 않고, 기존 데이터를 '키프레임'으로 압축하는 것만으로도 분포 이동 문제를 해결할 수 있음을 보였습니다.
• 이벤트 기반 학습의 가능성: 연속적인 제어 작업을 의미 있는 '마일스톤 (Semantic Milestones)'으로 추상화함으로써, 장기 작업 (Long-horizon tasks) 과 비전문가 데이터 (Non-expert data) 를 활용한 일반화 로봇 정책 학습의 새로운 방향성을 제시합니다.
• 실용성: VLM 의 지연 시간을 고려한 훈련 기법과 함께, 실제 로봇 시스템에 적용 가능한 실용적인 솔루션을 제공합니다.

결론적으로, BPP 는 로봇이 "무엇을 보았는지"보다는 "무엇이 중요한 사건이 발생했는지" 에 초점을 맞추도록 함으로써, 장기 기억이 필요한 복잡한 로봇 작업에서 혁신적인 성능 개선을 이끌어냈습니다.