기술 요약: 일상적인 인간 비디오로 로봇 조작 정책을 공동 학습(Cotraining)할 때 중요한 요소는 무엇인가?

문제 정의

범용 로봇 기초 모델을 구축하는 것은 현재 데이터 부족으로 인해 어려움을 겪고 있습니다. 텔레오퍼레이션(원격 조종) 시연은 비용이 많이 들고 수집 속도가 느린 반면, 강화 학습은 보상 설계와 시뮬레이션-실제 간 전이(sim-to-real transfer) 문제에 직면해 있습니다. 이때 인터넷의 일상적인 인간 활동 비디오는 물리적 지능을 위한 잠재적으로 확장 가능한 소스가 될 수 있습니다. 그러나 이러한 비디오를 로봇 조작에 활용하는 것은 쉽지 않습니다. 기존 연구들은 정책을 중간 구성 요소(예: 3D 포즈, 어포던스)로 분해하는 모듈형 파이프라인에 의존하거나, 인간의 움직임이 로봇의 운동학에 맞게 조율되고, 카메라가 동일하며, 특수 하드웨어가 정확한 3D 손 포즈를 캡처해야 하는 고도로 정제되고 정렬된 데이터를 필요로 하는 엔드 투 엔드(end-to-end) 공동 학습 방식을 채택합니다.

본 연구가 다루는 열린 질문은 다음과 같습니다: 제약이 없는 일상적인 인터넷 비디오로부터 로봇으로 조작 정책을 전이시키는 것을 가능하게 하는 요인은 무엇인가? 구체적으로, 저자들은 두 가지 주요 난이도 원인을 조사합니다: (1) 3D 손 포즈 레이블의 품질, 그리고 (2) 자연스러운 인간의 움직임과 작업 불일치로 인해 발생하는 "액션 갭(action gap)".

방법론

1. TriHands 데이터셋

단안 추정(monocular estimation)에 내재된 노이즈 없이 손 레이블 품질의 영향을 엄밀히 연구하기 위해, 저자들은 새로운 데이터셋인 TriHands를 구축했습니다.

• 출처: EgoExo4D 데이터셋에서 추출한 532개의 요리 비디오.
• 주석(Annotation): 단안 추정기에 의존하는 대신, 저자들은 다중 뷰 파이프라인을 사용하여 3D 손 포즈를 삼각 측량했습니다. 이들은 에고센트릭 뷰와 함께 외적 카메라(extrinsic cameras)를 활용하여 고품질의 3D 레이블을 생성했습니다.
• 정교화(Refinement): 파이프라인은 EgoExo4D에서 제공하는 부분적인 2D 레이블을 사용하여 재투영 손실(reprojection loss)로 3D 손 포즈 추정기(WiLoR)를 미세 조정하는 과정을 포함합니다. 저자들은 카메라 개수를 최대화하면서 재투영 오차 임계값을 충족하는 카메라 서브셋을 선택하기 위해 비선형 정교화를 동반한 직접 선형 변환(DLT)을 사용했습니다.
• 규모: 결과적으로 이 데이터셋은 30fps로 3,042,406개의 오른손 프레임을 포함하여, 고품질의 자연스러운 움직임 데이터를 28시간 이상 담고 있습니다.

2. 프레임워크 및 아키텍처

저자들은 관찰/동작을 체형(embodiment) 간에 정렬하는 동시에, 네트워크가 인간과 로봇 사이의 특정 운동학 및 센서 차이에 특화될 수 있도록 하는 공동 학습 프레임워크를 제안합니다.

• 이미지 공간 스케일 정렬: 이전에 간과되었던 중요한 단계는 객체의 이미지 공간 스케일을 정렬하는 것입니다. 인간과 로봇의 카메라는 종종 서로 다른 초점 거리와 시야각(FOV)을 가지므로, 저자들은 인간의 어안(fisheye) 이미지를 왜곡 보정하고 로봇 카메라의 외적 파라미터(회전 및 깊이 변위)를 조정하여 인간 장면의 수직 3D 범위를 맞춥니다. 이를 통해 네트워크 입력 시 객체가 유사한 스케일로 보이도록 합니다.
• 액션 공간 정렬: 인간의 3D 손 포즈는 로봇의 액션 공간(TCP 포즈 및 그립 명령)으로 매핑됩니다. 헤드 카메라 움직임으로 인한 다중 모달리티를 처리하기 위해, 매 타임스텝의 카메라 프레임 포즈는 현재 헤드 프레임으로 변환되어 안정화됩니다. 액션 청크(action chunks)는 분포 편향을 해결하기 위해 평균 중심화(mean-centered) 및 $\pm 1$로 스케일링됩니다.
• 아키텍처 (Transfusion 기반): 모델은 조건부 플로우 매칭(conditional flow-matching) 아키텍처를 사용합니다.
  • 토큰 레벨 퓨전(Token-Level Fusion): 이미지 병목(image bottleneck, CLS 토큰)을 사용하는 이전 연구들과 달리, 이 아키텍처는 전체 ViT 이미지 토큰을 유지하고 공유된 어텐션을 통해 노이즈가 섞인 액션 토큰과 결합합니다.
  • 체형 특화(Embodiment Specialization): 네트워크는 시각 및 액션 토큰을 위한 별도의 FFN 전문가를 사용합니다. 결정적으로, 모델은 가중치를 공유하는 대신 체형별 액션 인코더 및 디코더(인간과 로봇을 위한 별도의 MLP)를 사용하여 시각적 표현은 불변하게 학습하면서 각 체형의 독특한 운동 역학을 수용합니다.
• 공동 학습 알고리즘: 대량의 인간 데이터가 더 작은 로봇 데이터셋을 압도하는 것을 방지하기 위해, 저자들은 매 단계마다 각 체형으로부터 동일한 수의 배치를 샘те플링합니다. 이는 수학적으로 로봇 손실에 가중치를 높이는 것과 같으며, 정책이 로봇의 운동학에 기반하도록 보장합니다.

주요 기여

1. TriHands 데이터셋: 정확하게 삼각 측량된 3D 손 레이블을 가진 대규모 일상 인간 비디오 데이터셋입니다. 저자들은 이 데이터셋이 규모 면에서 5배 적은 시간임에도 불구하고 대규모 실험실 데이터셋(예: EgoDex)보다 더 나은 로봇 전이 성능을 보임을 입증하여, 순수한 규모보다 장면의 다양성이 중요함을 강조했습니다.
2. 손 품질의 영향: 높은 품질의 3D 손 레이블이 전이를 유의미하게 향상시킨다는 것을 보여줍니다. 최첨단 단안 추정기(HaWoR)가 로봇 전용 학습보다 여전히 일부 이점을 제공하지만, 단안 추정치와 삼각 측량된 손 사이에는 특히 복잡한 작업에서 상당한 성능 격차가 존재합니다.
3. 이미지 공간 스케일 정렬: 서로 다른 카메라를 사용하는 데이터셋 간에 공동 학습할 때 이미지 공간 스케일을 정렬하는 것의 필요성을 식별하고 입증했습니다. 로봇 카메라의 가상 위치를 단순 기하학적으로 조정하는 것만으로도 성능이 크게 향상되었으며, 이는 현재 주요 시각-언어-액션(VLA) 모델에서 고려되지 않는 요소입니다.
4. 자연스러운 움직임을 위한 아키텍처: 실험실 데이터를 위해 설계된 표준 공동 학습 레시피(예: 공유 액션 인코더, 이미지 병목)는 자연스러운 움직임 데이터로 효과적으로 전이되지 못한다는 것을 입증했습니다. 대신, 체형별 특화(토큰 레벨 퓨전 및 별도의 인코더/디코더)가 unconstrained 인간 비디오에 내재된 큰 움직임 격차를 메우는 데 필수적입니다.

결과

저자들은 6-DOF AgileX Piper 암을 사용하여 여섯 가지 실제 세계 조작 작업(Pick, Stack, Reorient, Pull, Book, Pour)에 대해 접근 방식을 평가했습니다. 이들은 532개의 인간 비디오와 다양한 양의 로봇 데이터(3, 5, 또는 10개 환경)를 사용하여 학습했습니다.

• 성능 향상: 제안된 공동 학습 레시피는 모든 로봇 데이터 체제에서 일관된 개선을 보였습니다. 로봇 데이터가 적은 환경(3개 환경)에서, 이 방법은 여섯 가지 작업에 대해 절대 성공률 29.7%의 이득(로봇 전용 12.0% 대비 41.7%)을 달しまいました.
• 스케일링 동작: 인간 데이터의 상대적 이점은 작업별 로봇 데이터가 증가함에 따라 감소하지만(교차 작업 공동 학습에서 알려진 현상), 절대적인 이득은 저데이터 체제에서 여전히 유의미합니다.
• 절제 연구(Ablation Studies):
  • 아키텍처: 토큰 레벨 퓨전(CLS 토큰 사용)을 제거하거나 액션 인코더/디코더를 공유하면 성능이 크게 떨어졌으며, 이는 특화의 필요성을 확인시켜 줍니다.
  • 스케일 정렬: 스케일 교정이 없는 "심하게 정렬되지 않은" 핀홀 카메라 모델을 사용했을 때 성능은 로봇 전용 학습과 비슷했으나, 범위 매칭 정렬을 사용했을 때는 성능이 두 배로 뛰었습니다.
  • 손 품질: 단안 추정 오류를 시뮬레이션하기 위해 삼각 측량된 손에 가우시안 노이즈를 추가하면 성능이 단조 감소하였으며, 이는 손 포즈 정확도가 제한 요소임을 확인해 줍니다.

의의 및 주장

본 논문은 일반적인 실험실 시연과 구별되는 특정 병목 현상을 식별하고 해결함으로써, 인터넷 비디오를 통한 로봇 공동 학습의 경로를 제시한다고 주장합니다. 저자들은 다음과 같이 단언합니다:

• 자연스러운 움직임은 양날의 검이다: 규모 확장이 가능하지만, 내재된 움직임 격차는 단순한 정렬이 아닌 아키텍처적 특화(체형별 인코더/디코더)를 요구합니다.
• 데이터 품질이 규모보다 중요하다: 자연스러운 비디오의 장면 다양성(TriHands)이 더 크고 제약된 실험실 데이터셋(EgoDex)보다 우수한 성능을 보였습니다.
• 미래 방향: 본 연구는 더 높은 품질의 손 포즈 추정(삼각 측량된 레이블 수준에 근접하는 것)이 더 큰 전이 능력을 잠금 해제할 것임을 시사합니다. 저자들은 현재의 운동학적 리타겟팅(kinematic retargeting) 의존도가 가장 복잡한 작업(예: "Pour")의 효과를 제한할 수 있으며, 이에 대한 추가적인 표현 정렬 및 액션 리타겟팅 연구가 필요하다고 언급했습니다.

결론적으로, 본 연구는 고품질의 손 레이블, 세심한 이미지 공간 정렬, 그리고 체형 특화 아키텍처의 조합이 특히 데이터가 부족한 시나리오에서 일상적인 인간 비디오를 통한 공동 학습을 로봇 조작을 개선하기 위한 실행 가능하고 효과적인 전략으로 만든다는 것을 보여줍니다.