기술 요약: 로봇 조작을 위한 모방 학습의 데이터 스케일링 법칙

문제 정의

데이터 스케일링이 자연어 처리(NLP)와 컴퓨터 비전(CV)을 혁신하며 모델의 놀라운 일반화 능력을 이끌어낸 반면, 로봇 공학—특히 로봇 조작(robotic manipulation)—에는 확립된 스케일링 법칙이 부족합니다. 현재의 로봇 정책은 대개 본 적 없는 물체나 환경에 대해 제로샷 일반화(zero-shot generalization)를 수행하는 데 어려움을 겪으며, 일반적으로 미세 조정(fine-tuning)이나 광범위한 작업별 데이터를 필요로 합니다. 본 논문은 로봇 모방 학습에서도 이와 유사한 데이터 스케일링 법칙이 존재하는지 조사합니다. 핵심 질문은 다음과 같습니다: 적절한 데이터 스케일링이 동일한 범주 내의 거의 모든 물체에 대해, 어떤 환경에서도 제로샷 배포가 가능한 단일 작업 로봇 정책을 만들어낼 수 있는가?

방법론

실험 설정

저자들은 모방 학습(Imitation Learning, IL) 중 행동 복제(Behavior Cloning, BC)를 사용하여 포괄적인 경험적 연구를 수행했습니다.

• 작업: 연구는 물 붓기(Pour Water), 마우스 배치(Mouse Arrangement), 수건 접기(Fold Towels), *충전기 뽑기(Unplug Charger)*의 네 가지 조작 작업에 집중했습니다.
• 데이터 수집: **유니버설 매니퓰레이션 인터페이스(Universal Manipulation Interface, UMI)**인 핸드헬드 그리퍼를 사용하여 40,000개 이상의 인간 시연 데이터를 수집했습니다. 데이터는 수많은 "실제 환경(in-the-wild)"과 동일 범주 내의 다양한 물체를 대상으로 수집되었습니다.
• 정책 아키텍처: 저자들은 CNN 기반의 U-Net을 사용하는 **디퓨전 정책(Diffusion Policy)**을 채택했습니다. 주요 아키텍처 선택 사항은 다음과 같습니다:
  • 시각 인코더(Visual Encoder): DINOv2 ViT-Large/14를 사용하였으며, 이를 완전히 미세 조정(fine-tuning)하여 ImageNet ResNet 및 CLIP ViT보다 우수한 성능을 냈습니다.
  • 시간적 앙상블(Temporal Ensemble): 동작의 불연속성을 줄이고 움직임을 부드럽게 하기 위해 지수 가중치 방식(exponential weighting scheme)을 사용했습니다.
• 평가 프로토콜: 보지 못한(unseen) 환경과 물체를 대상으로 엄격한 평가를 수행했습니다. 성능은 희소한 이진 성공률(sparse binary success rates) 대신, 테스터가 단계별 기준에 따라 부여한 **정규화된 점수(normalized score, 0~1)**를 기준으로 측정되었습니다. 연구에는 **15,000회 이상의 실제 로봇 롤아웃(rollouts)**이 포함되었습니다.

스케일링 차원

연구는 일반화에 미치는 영향을 분석하기 위해 세 가지 차원을 체계적으로 변화시켰습니다:

1. 훈련 환경의 수 ($M$): 장면의 다양성(조명, 방해 요소, 배경)을 변화시킴.
2. 훈련 물체의 수 ($N$): 동일 범주 내 물체의 다양성(색상, 크기, 기하학적 형태)을 변화시킴.
3. 시연(Demonstrations)의 수 ($K$): 환경-물체 쌍당 데이터의 양을 변화시킴.

주요 결과 및 발견

1. 다양성을 위한 멱법칙(Power-Law) 스케일링

정책의 일반화 성능은 훈련 환경, 물체, 그리고 환경-물체 쌍의 수와 대략적인 멱법칙 관계를 따릅니다.

• 물체 일반화: 보지 못한 물체에 대한 성능은 훈련 물체의 수가 늘어남에 따라 급격히 향상됩니다. 훈련 물체가 8개일 때는 정규화 점수가 0.8을 넘었고, 32개일 때는 0.9를 돌파했습니다.
• 환경 일반화: 보지 못한 환경에 대한 성능 역시 멱법칙을 따르지만, 초기 기울기는 물체에 비해 약간 덜 가파릅니다.
• 결합된 일반화: 환경과 물체를 동시에 변화시킬 때, 정책은 새로운 조합에 효과적으로 일반화됩니다.

2. 양보다 중요한 다양성

핵적인 발견은 다양성이 절대적인 시연 횟수보다 훨씬 더 중요하다는 점입니다.

• 수익 체감: 특정 환경이나 물체당 시연 횟수가 일정 임계값에 도달하면, 추가 데이터는 성능 향상에 거의 기여하지 못합니다.
• 포화 지점(Saturation Points):
  • 8개의 환경-물체 쌍의 경우, 총 400개의 시연에서 성능이 포화됩니다.
  • 16개의 쌍의 경우, 약 800개의 시연에서 포화됩니다.
  • 32개의 쌍의 경우, 약 1,600개의 시연에서 포화됩니다.
• 효율성: 특정 환경-물체 쌍의 시연 횟수를 늘리는 것보다 환경과 물체의 수를 늘리는 것이 훨씬 더 효과적입니다.

3. 효율적인 데이터 수집 전략

스케일링 법칙을 바탕으로 저자들은 구체적인 데이터 수집 전략을 제안합니다:

• 전략: 가능한 한 다양한 환경에서 데이터를 수집하되, 각 환경마다 하나의 고유한 물체를 배치합니다.
• 임계값: 일반적으로 32개의 환경-물체 쌍이면 잘 일반화되는 정책을 훈련하기에 충분합니다.
• 쌍당 시연 횟수: 유사한 난이도의 작업에 대해서는 환경-물체 쌍당 50개의 시연을 수집할 것을 권장합니다.
• 검증: 이 전략(32개 쌍, 각 50개 시연)을 두 가지 새로운 작업(수건 접기, 충전기 뽑기)에 적용했을 때, 단 4명의 데이터 수집자가 오후 한나절 동안 수집한 데이터만으로도 새로운 환경과 보지 못한 물체에서 약 90%의 성공률을 달성했습니다.

4. 모델 스케일링 통찰

데이터 외에도 모델 스케일링을 탐구했습니다:

• 시각 인코더: 시각 인코더를 확장(ViT-Small에서 ViT-Large로)하고, 사전 학습된 DINOv2 특징을 완전히 미세 조정하는 것이 필수적입니다. 처음부터 학습하거나 고정된(frozen) 특징을 사용하는 경우 성능이 거의 제로에 가까웠습니다.
• 액션 디퓨전 모델: 놀랍게도, U-Net 액션 디퓨전 모델의 크기를 키우는 것(Small에서 Large로)은 성능을 개선하지 못했으며, 가장 큰 구성에서는 오히려 성능을 저하시켰습니다. 이는 작은 모델 용량이 이미 액션 분포를 표현하기에 충분했음을 시사합니다.

의의 및 주장

본 논문은 로봇 조작을 위한 최초의 포괄적인 데이터 스케일링 법칙을 확립했다고 주장하며, 초점을 "더 많은 데이터"에서 "더 나은 데이터 다양성"으로 전환합니다.

• 일반화 가능성: 저자들은 "실제 환경(in-the-wild)"에서의 일반화가 생각보다 가깝다는 것을 입증했습니다. 단일 작업 정책은 훈련 데이터가 충분한 환경 및 물체 다양성을 커버한다면, 미세 조정 없이도 어떤 환경의 어떤 물체에서도 작동하도록 훈련될 수 있습니다.
• 비용 효율성: 제안된 전략은 견고한 로봇 정책을 구축하는 데 필요한 시간과 노동력을 크게 줄여줍니다. 약 90%의 성공률을 달하는 데 단 4명이서 오후 한나절의 데이터 수집만으로 충분했다는 점은, 로봇의 일반화가 방대한 양의, 수년에 걸친 데이터 수집을 필요로 한다는 통념에 도전합니다.
• 향후 연구를 위한 토대: 다양성이 양보다 일반화를 주도한다는 점을 밝힘으로써, 본 논문은 단순한 궤적(trajectory)의 개수보다 환경 및 물체의 다양성을 우선시하는 대규모 로봇 데이터셋 구축을 위한 청사진을 제공합니다.

저자들은 본 연구가 단일 작업 정책(task-level 일반화가 아님), 모방 학습(강화 학습이 아님), 그리고 네 가지 특정 작업에 국한되어 있다는 한계점을 인정합니다. 또한 더 넓은 범위의 작업과 알고리즘에 걸쳐 이 법칙들을 검증하기 위한 후속 연구를 촉구합니다.