기술 요약: 가교 동작으로서의 번역 (Translation as a Bridging Action)

문제 정의

본 논문은 새로운 조작 기술을 인간 데이터로부터 평행 그리퍼(parallel grippers)를 장착한 양팔 로봇으로 전이하는 과제를 다룹니다. 인간의 행동 데이터는 풍부하고 다양하며 규모를 키우기에 비용 효율적이지만, 직접적인 전이는 두 가지 주요 문제로 인해 방해를 받습니다:

1. 노이즈가 섞인 추정 (Noisy Estimation): 인간의 행동은 일반적으로 핸드 포즈 추정기(hand-pose estimators)로부터 도출되는데, 이는 특히 회전 추정에서 상당한 노이즈를 유발합니다.
2. 형태적 불일치 (Embodiment Mismatch): 인간 손가락의 접촉 패턴은 평행 로봇 그리퍼와 근본적으로 다릅니다. 따라서 인간 데이터에서 추출된 손목 회전(6DoF)은 로봇 그리퍼의 물리적 제약 조건과 의미론적으로 일치하지 않는 경우가 많으며, 이를 직접 재생할 경우 왜곡된 동작을 초래합니다.

기존 방식들은 종종 인간을 단순히 또 다른 양팔 6DoF 형태(embodiment)로 취급하여 회전이 포함된 행동 신호를 학습합니다. 저자들은 이것이 평행 그리퍼 로봇에게는 최적이 아니라고 주장합니다.

방법론

1. 가교 행동 표현 (Bridging Action Representation)

저자들은 전체 6DoF 손목 포즈를 학습하는 대신, 오직 상대적 손목 이동(relative wrist translations) ($a_{3D-wrist}$)에 기반한 가교 행동 표현을 제안합니다.

• 정의: 행동은 헤드 카메라 프레임 내에서의 상대적 이동으로 정의됩니다. 이 프레임은 인간(헤드 마운트 카메라 착용)과 로봇(헤드 카메라 장착)이 공유하는 프레임입니다.
• 근거: 인간과 로봇 모두 자신이 인지하는 바에 따라 행동하므로, 관측 프레임 내의 상대적 이동은 물리적으로 의미가 있으며, 노이즈가 섞인 회전 추정에 강건하고, 형태(embodiment)에 구애받지 않습니다.
• 수식화: 타임 스텝 $t$와 미래 윈도우 $k$에 대해, 행동은 다음과 같이 계산됩니다:
  $$a_{3D-wrist}^{t+i} = \Delta W^{3D} = \text{trans}((T_{w \leftarrow c}^t)^{-1} W_w^{t+i}) - \text{trans}((T_{w \leftarrow c}^t)^{-1} W_w^t)$$
  여기서 $W$는 손목 포즈를, $T$는 카메라 포즈를 나타냅니다.

2. 통합 모델 아키텍처

저자들은 플로우 매칭(flow matching)을 사용하는 $\pi_0$ 스타일의 시각-언어-행동(VLA) 모델을 구축했습니다. 서로 다른 가용 행동 성분을 가진 이질적인 데이터 소스(인간 vs 로봇)를 처리하기 위해, 이들은 **인터리브된 행동 시퀀스(interleaved action sequence)**를 도입했습니다:

• 시퀀스 순서: $a_{3D-wrist} \rightarrow a_{6D-eef} \rightarrow a_{gripper}$.
• 누락된 데이터 처리: 모델은 가변 길이 입력을 처리하기 위해 어텐션 마스킹(attention masking)을 사용합니다. 인간 데이터의 경우 6DoF 말단 효과기($a_{6D-eef}$) 및 그리퍼 신호가 누락되거나 마스킹될 수 있으며, 로봇 데이터의 경우 모든 성분이 존재합니다.
• 학습 목표:
  • 플로우 매칭 (Flow Matching): 행동 청크(action chunks)를 생성하는 데 사용됩니다. 손실(loss)은 주어진 데이터 소스에 대해 사용 가능한 행동 성분에 대해서만 계산됩니다.
  • 인터리브된 감독 (Interleaved Supervision): 결정적으로, 인간-로봇 공동 학습 과정에서 모델은 실제 값이 $a_{6D-eef}$일 때도 $a_{3D-wrist}$를 예측하도록 학습됩니다. 이 "결합(binding)" 전략은 가교 표현을 실행 가능한 로봇 행동과 명시적으로 연결합니다.

3. 3단계 학습 전략

1. 1단계 (사전 학습): 모델은 대규모 인간 행동 데이터(EgoDex + 외부 데이터 + 실험실 데이터)로 사전 학습됩니다. 이 규모에서는 회전 및 접촉 패턴이 신뢰할 수 없으므로, 오직 가교 신호($a_{3D-wrist}$)에 대해서만 감독(supervision)이 이루어집니다.
2. 2단계 (공동 학습): 모델은 일반적인 로봇 집기 및 놓기(pick-and-place) 데이터(72시간)와 특정 작업용 실험실 인간 데이터(작업당 3시간)로 공동 학습됩니다. 모든 행동 성분($a_{3D-wrist}$, $a_{6D-eef}$, $a_{gripper}$)이 활성화되며, 가교 연결을 강제하기 위해 $a_{6D-eef}$를 $a_{3D-wrist}$로 무작위 대체합니다.
3. 3단계 (퓨샷 사후 학습): 데이터 효율성과 최종 성능을 높이기 위해 소수의 실제 로봇 시연(작업당 10개 궤적)을 통해 모델을 미세 조정(fine-tuning)합니다.

주요 결과

본 방법은 ByteMini 로봇을 사용하여 15가지 새로운 양팔 조작 작업(예: 전자레인지 열기, 표면 닦기, 컵 쌓기)에 대해 평가되었습니다.

• 기술 전이: 로봇의 집기 및 놓기 데이터만으로 학습했을 때는 복잡한 작업으로 일반화하는 데 실패했습니다. 그러나 가교 행동을 사용하여 인간 데이터와 공동 학습했을 때 작업 진행도와 성공률이 모두 크게 향상되었습니다.
• 이동(Translation) vs 6DoF: 6DoF 인간 행동과 함께 공동 학습했을 때는 노이즈가 많고 왜곡된 동작이 나타났습니다. 반면, 이동 전용 가교 행동은 작업 요구 사항(예: 전자레인지 손잡이와 정렬)에 부합하는 안정적이고 자연스러운 포즈를 생성했습니다.
• 확장성: 대규모 인간 전용 사전 학습(1단계)은 다운스트림 성능을 실질적으로 개선하여, 가교 표현의 확장성을 확인시켜 주었습니다.
• 데이터 효율성: 인간 데이터로 사전 학습된 모델은 처음부터 학습된 모델에 비해 높은 성능을 달는 데 더 적은 로봇 시연(few-shot)이 필요했습니다.
• 정렬 (Alignment): 공동 학습 중 가교 행동($a_{3D-wrist}$)에 대한 학습 손실은 실행 가능한 6DoF 행동($a_{6D-eef}$)에 대한 손실과 밀접하게 일치하였으며, 이는 공유된 목적 함수 지형(objective landscape)을 시사합니다.
• 상한선 (Upper Bound): 형태적 차이를 제거했을 때(로봇 데이터를 이동 전용 감독을 사용하는 인간 데이터로 취급), 성능이 더욱 향상되었습니다. 이는 가교 표현 자체가 매우 효과적이며, 남은 격차는 주로 시각적/형태적 차이와 노이즈에 기인함을 나타냅니다.

한계 및 실패 사례

저자들은 이동 전용 접근 방식이 접촉이 빈번한 조작(예: 빨대를 컵에 넣거나 서랍을 여는 것) 중 정밀한 회전 조정이 필요한 작업에서의 전이를 제한한다고 언급했습니다. 이러한 경우, 로봇은 올바른 의도를 보여주지만 회전 감독의 부재로 인해 최종 접촉 단계에서 실패하곤 합니다. 또한, 얇은 물체를 집는 작업은 관측 공백과 인간 행동의 노이즈로 인해 여전히 어려운 과제로 남아 있습니다.

의의 및 주장

본 논문은 다음과 같은 점을 입증한다고 주장합니다:

1. 강건한 전이: 이동 기반의 가교 행동은 노이즈가 섞인 6DoF 포즈 추정보다 인간으로부터 평행 그리퍼 로봇으로 조작 지식을 전이하는 데 우수한 매개체입니다.
2. 확장성: 이 표현 방식은 대규모의 다양한 인간 데이터를 활용하여 정책을 사전 학습함으로써, 비용이 많이 드는 로봇 데이터 수집에 대한 의존도를 효과적으로 줄여줍니다.
3. 통합 학습: 어텐션 마스킹을 사용하는 인터리브된 행동 시퀀스는 단일 모델이 결함이 있는 행동 성분을 가진 이질적인 데이터 소스로부터 학습할 수 있게 하여, 효율적인 인간-로봇 공동 학습을 용이하게 합니다.

이 연구는 특정 형태의 세부 사항(손가락 관절이나 전체 6DoF 포즈)보다는 공유된 지각-운동 신호(상대적 이동)에 집중함으로써, 풍부한 인간 데이터를 사용하여 로봇 학습을 더욱 효과적으로 확장할 수 있음을 시사합니다.