🤖 machine learning

Cross-Embodiment Transfer via Behavior-Aligned Representations

이 논문은 다양한 교차 체형(cross-embodiment) 데이터를 통합하고 로봇 전이 성능을 크게 향상시키기 위해, 행동 정렬 표현(behavior-aligned representations), 특히 말단 장치 궤적(end-effector traces)을 시각-언어-행동 모델 내에서 사용하는 방안을 제안하며, 이를 통해 시뮬레이션 사전 학습 후 실세계 작업 완료율을 28% 증가시켰습니다.

원저자: Ajay Sridhar, Jensen Gao, Jonathan Yang, Jean Mercat, Suneel Belkhale, Dorsa Sadigh

게시일 2026-07-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ajay Sridhar, Jensen Gao, Jonathan Yang, Jean Mercat, Suneel Belkhale, Dorsa Sadigh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 집안일을 가르치려고 노력하고 있다고 상상해 보십시오. 머신러차닝의 세계에는, 모델에게 사방에 널려 있는 방대한 양의 데이터를 입력하면 단 하나의 특정 소스에서만 데이터를 얻는 것보다 더 똑똑해질 수 있다는 유명한 아이디어가 있습니다. 이는 여러 언어를 배우며 세계를 여행한 사람이 오직 한 작은 마을에서만 살아온 사람보다 새로운 상황에 더 잘 적응할 수 있는 것과 같은 이유입니다. 로봇의 경우, 이는 우리가 다양한 유형의 로봇으로부터 수집된 데이터로 그들을 훈련시키기를 원한다는 것을 의미합니다. 어떤 로봇은 긴 팔을 가지고 있고, 어떤 로봇은 짧은 팔을 가지고 있으며, 어떤 로로봇은 집게가 발톱처럼 생겼고, 다른 로봇은 핀셋처럼 생겼습니다. 이것을 "교차 체형(cross-embodiment)" 학습이라고 부릅니다. 목표는 다양한 기계들의 경험 라이브러리로부터 지식을 학습하고, 이를 본 적 없는 새로운 로봇에 적용할 수 있는 "보편적인" 로봇 두뇌를 만드는 것입니다. 하지만 큰 문제가 하나 있습니다. 키가 큰 로봇에 달린 카메라는 높은 각도에서 세상을 보는 반면, 낮은 로봇은 바닥에서 세상을 봅니다. 그들의 "손"은 다르게 움직이며, 행동 명령(action commands) 또한 서로 다른 "언어"로 작성되어 있습니다. 이렇게 서로 맞지 않고 뒤섞인 데이터셋을 섞으려고 시도하는 것은, 마치 자동차, 트럭, 자전거의 차이점을 설명해주지 않은 채 이 모든 것의 영상을 보여주며 학생에게 운전을 가르치려는 것과 같습니다. 이는 혼란을 야기하며, 종종 로봇을 멈춰 서게 만듭니다.

"행동 정렬 표현(Behavior-Aligned Representations)"을 통해 교차 체형 전이를 다루는 이 논문은 이 혼란을 해결하기 위해 영리한 질문을 던집니다. 로봇들이 똑같이 보이거나 똑같이 움직이도록 강요하는 대신, 우리가 공통된 "행동 언어"를 말하도록 가르칠 수는 없을까요? 저자들(스탠퍼드 대학교와 토요타 리서치 인스티튜트의 팀)은 로봇들이 서로 다른 모습을 보이는 것에 집중하는 대신, 동작의 "이야기"에 집중함으로써 서로 다른 로봇 사이의 간극을 메울 수 있다고 제안합니다. 그들은 "행동 정렬 표현"을 사용하는 것을 제안하는데, 이는 "왼쪽 아래로 이동"과 같은 움직임의 텍text 설명, 집어 올릴 물체 주위에 그려진 상자, 또는 로봇의 손이 공중에서 지나가는 경로를 추적하는 선과 같이 단순화된 요약본을 의미합니다.

연구진은 자신들이 구축한 새로운 시뮬레이션 벤치마크인 RoboCasa-X를 사용하여 이 아이디어를 테스트했습니다. 그들은 세 가지 서로 다른 소스 로봇으로부터 얻은 거대한 데이터셋으로 그들의 로봇 두뇌(구체적으로는 비전-언어-행동 모델이라 불리는 유형)를 훈련시켰습니다. 그런 다음, 훈련 데이터에 포함되지 않았던 네 가지 서로 다른 타겟 로봇들에게 그 지식을 전이시키려 했습니다. 그들은 순수 데이터만 사용했을 때와 이러한 "행동 요약"을 추가하여 훈련했을 때를 비교했습니다.

결과는 매우 흥직스러웠습니다. 연구는 이러한 행동 요약을 추가하는 것이 로봇이 새로운 몸체로 기술을 전이하는 데 상당히 도움이 된다는 것을 발견했습니다. 테스트한 다양한 유형의 요약 중에서, "말단 장치 궤적(end-effector traces)"—즉, 카메라 시야에서 로봇의 손이 그리는 2D 경로—이 가장 강력한 도구였습니다. 로봇이 이 궤적과 함께 훈련되었을 때, 그들은 새로운 하드웨어에 훨씬 더 잘 적응하게 되었습니다. 실제로, 시뮬레이션 데이터로 사전 훈련된 정책(policy)을 가져와 실제 로봇에서 테스트했을 때, 이 표현의 사용은 과업 완수 진척도를 28% 향상시켰습니다.

흥미롭게도, 이 논문은 로봇이 실제로 작업을 수행하는 동안 반드시 이 궤적에 대해 "생각"할 필요는 없다는 점을 발견했습니다. 모델은 행동과 함께 이 궤적을 예측하도록 훈련될 때 가장 잘 학습되었지만, 실제 작업을 할 때는 단순히 행동을 직접 예측하는 것만으로도 충분히 잘 작동했습니다. 이는 궤적이 훈련 중에 작업의 근본적인 논리를 배우는 데 도움을 주는, 나중에 제거할 수 있는 보조 바퀴 역할을 했음을 시사합니다. 나아가, 연구팀은 이러한 표현들이 행동 명령이 전혀 포함되지 않은 데이터(action-free data)로부터 로봇이 학습하는 데에도 도움을 줄 수 있음을 보여주었습니다. 단, 행동 요약이 존재한다는 전제하에 말입니다.

저자들은 자신들의 방법이 특정 시뮬레이션과 실제 환경 테스트에서는 잘 작동하지만, 로봇들이 어느 정도의 작업 유사성과 카메라 설정의 유사성을 갖추고 있어야 한다는 점을 주의 깊게 명시했습니다. 그들은 이 방법이 모든 가능한 로봇 불일치 상황에서도 작동한다는 것을 증명한 것은 아니지만, 로봇들에게 공유된 "행동적 어휘"를 제공하는 것이 더 적응력 있는 기계를 만드는 유망한 방법임을 실험을 통해 강력하게 시사했습니다. 특정 "누구"(로봇 모델)가 아닌 움직임의 "무엇"과 "어떻게"에 집중함으로써, 그들은 방대하고 무질서한 로봇 데이터 라이브러리를 더 똑똑하고 유연한 기계를 만드는 데 실제로 유용하게 만드는 방법을 찾아냈습니다.

기술 요약: 행동 정렬 표현을 통한 교차 체형 전이 (Cross-Embodiment Transfer via Behavior-Aligned Representations)

문제 정의

최근 로봇 조작 분야의 발전은 다양한 로봇 체형(embodiment)에 걸친 대규모 모방 학습에 의해 주도되어 왔습니다. 그러나 한 세트의 로봇 데이터로 학습된 정책이 보지 못한 새로운 로봇 플랫폼으로 일반화되는 **교차 체형 전이(cross-embodiment transfer)**를 달성하는 것은 여전히 지속적인 과제로 남아 있습니다.

주요 장애물은 서로 다른 체형 간의 상당한 관측 공간(observation spaces)(예: 카메라 포즈, 시각적 입력) 및 행동 공간(action spaces)(예: 관절 구성, 말단 장치 운동학)의 차이입니다. 기존 연구들은 관측(예: 카메라 포즈 정규화 또는 인페인팅을 통한 관측 정렬)이나 행동 공간을 명시적으로 정렬하려고 시도했으나, 이러한 방식들은 상당한 수작업을 요구하거나, 훈련 시 배포 시점의 로봇에 대한 특정 지식이 필요하며, 확장하기 어렵다는 단점이 있습니다. 결과적으로, 타겟 체형에 특화된 데이터만으로 훈련했을 때보다 성능이 유의미하게 높지 않은 경우가 많습니다.

방법론

저자들은 **행동 정렬 표현(behavior-aligned representations)**을 사용하여 이질적인 데이터셋을 암시적으로 정렬하는 프레임워크를 제 제안합니다. 핵심 가설은 로봇마다 원시 관측값과 행동은 다르더라도, 작업의 *행동(behavior)*을 설명하는 중간 표현(예: "왼쪽으로 이동", "[x,y]에서 물체 잡기")은 체형 간에 불변할 수 있다는 것입니다. VLA(Vision-Language-Action) 모델이 행동과 함께 이러한 표현을 예측하도록 훈련함으로써, 정책은 통일된 추론 공간을 활용할 수 있습니다.

프레임워크 및 정식화

이 접근 방식은 언어 조건부 모방 학습 설정 내에서 정식화됩니다. 정책 $\pi_\theta$ 는 관측 $o$ 와 언어 지시 $l$ 을 행동 $a$ 로 매핑하도록 훈련됩니다.

행동 정렬 표현 ( $z$ ): 저자들은 데이터셋으로부터 계산 가능하며, 최적의 행동을 예측하는 데 유용하고, 체형 간에 불변하는 표현 집합 $z = (z^{(1)}, \dots, z^{(K)})$ 를 정의합니다.
훈련 목적 함수: 모델은 선택된 표현의 하위 집합 $\tilde{z}$ 와 그 뒤에 이어지는 행동을 자기회귀적으로 예측하도록 훈련됩니다. 전체 손실 함수는 행동 복제 손실(행동 예측)과 표현 예측을 위한 보조 손실을 결합합니다:
$\mathcal{L}_{total} = \mathbb{E}[\ell(\pi_\theta(\cdot | o, l, \tilde{z}), a) + \sum \lambda_k \ell_{rep}^{(k)}(\pi_\theta(\cdot | o, l), z^{(k)})]$
추론 시, 모델은 행동을 직접 예측하거나 예측된 표현을 조건으로 사용하도록 구성될 수 있습니다.

연구된 특정 표현들

본 논문은 세 가지 유형의 행동 정렬 표현을 평가합니다:

바운딩 박스 (Bounding Boxes): 조작 가능한 물체에 대한 2D 객체 바운딩 박스 (Grounding DINO를 통해 추출).
언어적 움직임 (Language Motions): 고유 수용 감각 상태 변화로부터 유도된 즉각적인 움직임에 대한 텍스트 설명 (예: "왼쪽 아래로 이동").
말단 장치(EE) 궤적 (End-Effector Traces): 이미지 프레임 내 로봇 말단 장치의 미래 2D 위치 시퀀스.

벤치마크: RoboCasa-X

이 가설들을 엄격하게 평가하기 위해, 저자들은 RoboCasa를 확장한 시뮬레이션 기반 벤치마크인 RoboCasa-X를 도입합니다.

소스 데이터: 다양한 그리퍼를 가진 세 가지 소스 로봇(IIWA, Kinova3, UR5e)의 다양한 데이터로 사전 훈련.
타겟 데이터: 제한된 타겟 데모(태스크당 50개)를 가진 세 가지 타겟 로봇(Panda, Jaco, Panda-OG)에 대한 전이 평가.
태스크: 레이아웃, 질감, 물체 포즈의 변동이 큰 네 가지 조작 태스크 (예: "싱크대 반대편에서 물건 집기 및 놓기", "싱크대 수도꼭지 틀기").

주요 기여

표현을 통한 암시적 정렬: 본 논문은 행동 정렬 표현이 관측 또는 행동 공간을 명시적으로 정렬할 필요 없이, 이질적인 데이터를 통합하는 확장 가능한 암시적 방법을 제공함을 입증합니다.
표현에 대한 경험적 분석: 광범적인 절제 연구(ablation studies)를 통해, 저자들은 말단 장치 궤적이 교차 체형 전이에 가장 영향력 있는 표현이며, 언어적 움직임과 바운딩 박스가 그 뒤를 잇는다는 것을 확인했습니다.
스케일링 법칙: 본 연구는 이러한 표현의 효용성이 사전 교차 체형 데이터셋의 크기에 따라 스케일링된다는 점을 밝혀냈습니다. 즉, 더 큰 데이터셋(예: 3,000개의 데모)이 작은 데이터셋보다 표현 정렬로부터 더 큰 이득을 얻습니다.
행동-프리 전이 (Action-Free Transfer): 이 프레임워크는 행동 정보가 없는 데이터셋으로부터의 전이를 가능하게 합니다. 저자들은 행동 라벨 없이 표현만을 예측하는 데이터로 사전 훈련하는 것이 행동 데이터로 미세 조정할 때 다운스트림 성능을 향상시킨다는 것을 보여주었으며, 이는 표현이 유용한 내부 상태를 유도함을 시사합니다.
Sim-to-Real 검증: 이 접근 방식은 실제 로봇에서 검증되었으며, 표현이 교차 체형 전이를 처리하는 동시에 sim-to-real 격차를 메울 수 있음을 보여주었습니다.

실험 결과

시뮬레이션 결과 (RoboCasa-X)

성능 향상: 행동 정렬 표현을 사용하는 것은 표현을 사용하지 않는 베이스라인보다 일관되게 성공률을 높였습니다.
- 말단 장치 궤적: 가장 큰 개별적인 상승폭을 제공했습니다.
- 결합된 표현: "Joint Reps"(단일 모델이 어떤 표현의 하위 집합이든 예측하도록 훈련)를 사용하는 것이 대부분의 태스크와 타겟 로봇(Panda, Jaco)에서 일반적으로 가장 높은 전체 성공률을 달了습니다.
- 예외: 사전 훈련에서 보지 못한 독특한 그리퍼를 가진 Panda-OG 타겟의 경우, 말단 장치 궤적 단독 사용이 결합된 표현보다 우수한 성능을 보였는데, 이는 최적의 표현 선택이 특정 체형 간 격차에 따라 달라질 수 있음을 시사합니다.
스케일링: 표현은 900개에서 3,000개의 사전 데모로 확장할 때 +19%의 개선을 제공한 반면, 단일 체형 데이터에서는 그 이득이 더 작았습니다.
추론: 추론 중에 표현을 예측하는 것은 직접적인 행동 예측에 비해 미미한 이득만을 제공했으며, 이는 주요 이득이 훈련 중에 학습된다(암시적 정렬)는 가설을 뒷받침합니다.
행동-프리 데이터: 행동-프리 데이터로 사전 훈련(표현만 예측)하는 것은 처음부터 훈련하는 것보다 14%, 표현 없이 전체 행동 데이터만 사용하는 것보다 11% 높은 성능을 보였습니다.

실제 환경 결과

Sim-to-Real 전이: 저자들은 RoboCasa-X(XP-3K)에서 사전 훈련된 모델을 두 대의 실제 로봇인 Franka Research 3 (FR3)와 ViperX 300 S에 적용했습니다.
상당한 개선: 시각적 관측과 행동 공간(예: 서로 다른 제어 빈도 및 차단 동작)의 상당한 도메인 격차에도 불구하고, "Joint Reps" 방식은 표현이 없는 베이스라인에 비해 태스크 완료 진척도를 28% 향상시켰습니다.
비교: 표현은 시뮬레이션보다 실제 환경에서 더 유익했는데, 이는 더 큰 도메인 격차로 인해 암시적 정렬이 더 중요해졌기 때문인 것으로 보입니다.

의의 및 주장

본 논문은 행동 정렬 표현이 확장 가능한 교차 체형 학습을 가능하게 하는 핵심 메커니즘이라고 주장합니다. 체형의 특정 하드웨어에 무관한 행동의 공통 "언어"(궤적, 박스, 언어)를 제공함으로써, 이 표현들은 정책이 체형 불일치로 인해 사용할 수 없게 될 수 있는 거대하고 이질적인 데이터셋을 활용할 수 있게 합니다.

저자들은 이 연구를 교차 체형 학습에서 "긍정적 전이(positive transfer)"를 이해하기 위한 단계로 규정합니다. 저자들은 현재의 설정이 상당한 정렬(예: 시뮬레이션에서의 일관된 카메라 분포)을 포함하고 있지만, 이 프레임워크가 더 구조화되지 않고 더 많이 어긋난 환경에서의 전이를 탐구하기 위한 출발점을 제공한다고 강조합니다. 이 연구는 향-후 연구가 서로 다른 수준의 불일치가 특정 표현의 효용성에 어떤 영향을 미치는지 조사하고, 객체 중심 조작을 넘어 더 넓은 범위의 행동 정렬 신호를 탐구해야 함을 시사합니다.