기술 요약: Masquerade

문제 제기

로봇 조작 연구는 데이터 부족이라는 치명적인 병목 현상에 직면해 있습니다. 자연어 처리 (NLP) 와 컴퓨터 비전 (CV) 이 방대하고 다양한 데이터를 활용하여 혁신을 이루는 것과 달리, 로봇학 데이터셋은 수백 배 더 작고 다양성이 부족합니다. 실제 세계의 로봇 시연 데이터를 수집하는 것은 느리고 비용이 많이 듭니다. '야외 (in-the-wild)' 인간 비디오는 방대하고 즉시 활용 가능한 조작 데이터 소스를 제공하지만, 두 가지 주요 요인으로 인해 이를 로봇 정책 학습에 활용하는 것은 어렵습니다:

1. 시각적 구현체 간극 (Visual Embodiment Gap): 인간과 로봇은 외형과 움직임이 다릅니다. 인간의 손은 로봇 그리퍼와 직접적으로 대응하지 않습니다.
2. 행동 레이블 부재: 원시 인간 비디오에는 지도식 정책 학습에 필요한 정확한 행동 레이블이 없습니다.

이전 연구들은 인간 비디오로 시각 인코더를 사전 학습하거나 보상 함수를 학습함으로써 이 간극을 해소하려 시도했으나, 명시적으로 시각적 구현체 간극을 다루지 않고 대신 모델이 암시적으로 대응 관계를 학습하도록 의존하는 경우가 많았습니다. 본 논문은 이 간극을 불완전하더라도 명시적으로 해소함으로써 인간 비디오에서 훨씬 더 많은 신호를 얻을 수 있다고 주장합니다.

방법론: Masquerade

Masquerade 는 야외 인간 비디오를 편집하여 '로봇화'된 시연 데이터를 생성한 후, 이를 로봇 정책의 사전 학습 및 공동 학습에 활용하는 파이프라인입니다. 이 과정은 세 가지 주요 단계로 구성됩니다:

1. 데이터 편집 및 '로봇화'

파이프라인은 Epic Kitchens 데이터셋의 원시 인간 비디오를 다음과 같은 과정을 통해 합성 로봇 시연 데이터로 변환합니다:

• 자세 추정: 단안 비디오 프레임에서 HaMeR 을 사용하여 손당 21 개의 해부학적 키포인트를 추정합니다.
• 리타게팅: 이러한 2D 손 자세를 3D 로봇 엔드 이펙터 자세 (위치, 방향, 그리퍼 너비) 로 매핑합니다.
• 인페인팅: Detectron2 와 SAM2 를 사용하여 비디오 프레임에서 인간 팔을 분할 및 제거한 후, E2FGVI 를 사용하여 배경을 인페인팅합니다.
• 오버레이: 추정된 엔드 이펙터 궤적과 동일한 자세로 양손 로봇을 렌더링하여 원본 프레임에 합성합니다.
• 필터링: 고정 베이스 로봇의 안정성을 보장하기 위해 과도한 카메라 운동이나 잘못된 키포인트 추출이 포함된 프레임을 폐기합니다.

이 과정을 통해 비디오가 로봇이 작업을 수행하는 것처럼 보이는 675,000 개의 편집된 프레임으로 구성된 데이터셋이 생성됩니다.

2. 비전 인코더 사전 학습

비전 트랜스포머 (ViT-Base) 가 편집된 인간 비디오로 사전 학습됩니다.

• 목적: 인코더는 $H$ 시간 범위 내에서 미래의 2D 로봇 키포인트 (엔드 이펙터 위치) 를 예측하도록 학습됩니다.
• 조건부 학습: 인코더는 FiLM 레이어를 사용하여 비디오 클립에 대한 자연어 설명에 조건부로 학습됩니다.
• 손실 함수: 2D 키포인트 회귀 손실 ($L_{2D}$) 이 최소화됩니다. 중요한 점은 2D 키포인트가 homography 를 통해 시차 카메라 운동을 보정된 부드러운 3D 엔드 이펙터 위치를 이미지 평면에 투영하여 유도된다는 것입니다.

3. 실제 로봇 데이터와의 공동 학습

사전 학습된 비전 인코더는 소량의 실제 로봇 시연 데이터 (작업당 50 개) 를 사용하여 확산 기반 정책 헤드와 함께 미세 조정됩니다.

• 전략: 모델은 편집된 인간 비디오 (보조 2D 손실 $L_{2D}$ 사용) 와 실제 로봇 데이터 (모방 손실 $L_{policy}$ 사용) 의 혼합 데이터로 공동 학습됩니다.
• 근거: 미세 조정 중 사전 학습 목적을 유지하는 것이 중요합니다. 이는 인코더가 방대한 인간 비디오 데이터셋에서 학습한 풍부한 표현을 '잊어버리는' 것을 방지하여 분포 외 (OOD) 장면 변화에 대한 견고성을 유지하게 합니다.
• 합성 일관성: 학습 도메인 간의 시각적 간극을 최소화하기 위해 실제 로봇 시연 데이터에서도 실제 로봇 팔을 인페인팅하고 동일한 가상 로봇 모델을 오버레이하여 모델이 항상 '로봇화'된 외관을 보도록 합니다.

주요 기여

1. 명시적 구현체 간극 해소: 본 논문은 단순한 2D 인페인팅과 로봇 오버레이를 통해 시각적 구현체 간극을 명시적으로 해소함으로써 인간 비디오의 표현을 로봇으로 전이하는 능력을 크게 향상시킨다고 입증합니다.
2. 공동 학습 파이프라인: 저자들은 비전 인코더를 실제 로봇 데이터와 함께 공동 학습하는 것 (단순 미세 조정이 아닌) 이 인간 비디오에서 얻은 지식을 보존하고 OOD 견고성을 달성하는 데 필수적임을 보여줍니다.
3. 확장성: 이 방법은 편집된 인간 비디오 데이터 양에 대해 로그적으로 확장되므로, 더 큰 데이터셋이 추가적인 성능 향상을 가져올 것임을 시사합니다.
4. Zero-Shot 일반화: 이 접근법은 특정 장면에 대한 추가 로봇 데이터 수집 없이도 보이지 않는 환경에서 Zero-Shot 배포를 가능하게 합니다.

실험 결과

이 방법은 세 가지 장거리 양손 주방 작업 (Stack Pots, Scrape Potato, Sweep Chilis) 에서 각 작업당 세 가지의 서로 다른 분포 외 (OOD) 장면을 대상으로 평가되었습니다.

• 성능: Masquerade 는 성공률에서 모든 베이스라인 (ImageNet, DINOv2, HRP) 보다 평균 5~6 배 더 우수한 성능을 보였습니다. 구체적으로, 12% 에서 20% 사이였던 베이스라인과 비교하여 74% 의 성공률을 달성했습니다.
• Ablation 연구:
  • 오버레이 제거: 로봇 오버레이를 제거하고 원시 인간 비디오로 학습하면 성능이 급격히 하락하여 시각적 정렬의 필요성을 확인시켜 주었습니다.
  • 공동 학습 부재: 사전 학습 후 인간 데이터에 대한 공동 학습 없이 순수 미세 조정만 수행하면 성능이 극적으로 하락하여, 사전 학습된 표현을 유지하기 위해 공동 학습이 필수적임을 나타냈습니다.
• 데이터 확장: 성공률은 사용된 편집된 인간 비디오 데이터의 비율에 따라 단조롭게 증가했습니다 (데이터 0% 에서 2% 에서 데이터 100% 에서 68% 로).
• OOD 견고성: 분포 내 (in-distribution) 에서 분포 외 (OOD) 장면으로 이동할 때 베이스라인이 큰 성능 하락을 겪은 것과 달리, Masquerade 는 유사한 성능 수준을 유지하여 장면 변화에 대한 우수한 견고성을 입증했습니다.

중요성과 주장

본 논문은 Masquerade가 불완전한 2D 오버레이를 통하더라도 시각적 구현체 간극을 명시적으로 해소함으로써 야외 인간 비디오에서 방대하고 미활용된 데이터 소스를 열어준다고 주장합니다. 데이터 편집과 공동 학습 전략을 결합함으로써, 이 방법은 로봇이 소량의 실제 로봇 시연 데이터만으로도 방대한 인간 비디오 데이터셋에서 견고한 조작 정책을 학습할 수 있게 합니다.

저자들은 이 접근법이 복잡한 3D 재구성이나 깊이 데이터를 필요로 하지 않으므로 로봇 정책 개선을 위한 실용적이고 확장 가능한 해결책이라고 강조합니다. 결론적으로 이 파이프라인은 로봇 데이터 수집의 한계를 인간 비디오 데이터의 풍부함을 활용하여 극복하는 '웹 규모 (web-scale)' 로봇 학습으로 가는 유망한 길을 제시합니다.

인정된 한계:
본 논문은 이 방법이 빠른 운동이나 심각한 가려짐에 어려움을 겪는 손 자세 추정기에 의존하므로 데이터 필터링이 필요하다고 지적합니다. 깊이 데이터의 부재는 오버레이에서 가려짐 처리의 현실성을 제한합니다. 또한, 다재다능한 인간 손에서 평행 턱 그리퍼로 리타게팅하는 것은 불완전합니다. 향후 연구는 더 나은 자세 추정기, 깊이 추론, 다재다능 그리퍼를 위한 더 표현력 있는 리타게팅을 포함할 수 있습니다.