💻 computer science

SEED-UMI: Sharing the Exoskeleton between human and robot for onE-to-one Dexterous demonstration

SEED-UMI는 인간과 로봇이 동일한 외골격(exoskeleton)을 착용하게 함으로써 공유된 관절 측정값과 손목 카메라 뷰를 생성하여, 오류가 발생하기 쉬운 리타겟팅(retargeting)의 필요성을 제거하고 정책이 가공되지 않은 접촉 중심의 시연으로부터 직접 학습할 수 있도록 하여 효율적인 데스크터러스 로봇 훈련을 가능하게 하는 새로운 모방 학습 프레임워크입니다.

원저자: Tengbo Yu, Jiahao Wu, Daohan Li, Bingxu Chen, Hao Liu, Xiaojian Ma, Hangxin Liu

게시일 2026-09-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tengbo Yu, Jiahao Wu, Daohan Li, Bingxu Chen, Hao Liu, Xiaojian Ma, Hangxin Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 인간처럼 손을 사용하는 법을 가르치는 것은 현대 로보틱스에서 가장 어려운 난제 중 하나입니다. 기계가 걷거나 팔을 움직이는 데는 숙달되었지만, 손가락을 이용한 섬세하고 접촉이 많은 작업은 여전히 해결되지 않은 과제로 남아 있습니다. 핵심적인 어려움은 단순히 손 자체의 복잡성 때문이 아니라, 이를 가르치는 방식에 있습니다. 학습을 위해 로봇은 인간이 과업을 수행하는 것을 관찰하고 그 동작을 모방하려고 시도해야 합니다. 그러나 인간의 손과 로봇의 손은 다르게 설계되었습니다. 관절의 개수, 크기, 움직임의 방식이 서로 다릅니다. 인간이 물체를 만질 때 피부는 압축되고 관절은 특정한 방식으로 굽혀지지만, 딱딱한 금속 손은 이를 완벽하게 흉내 낼 수 없습니다. 현재의 방식들은 카메라로 인간을 관찰하거나 장갑을 통해 움직임을 기록하여 이 간극을 메우려 노력하지만, 이러한 접근법은 손이 실제로 무언가에 닿을 때 종종 실패합니다. 데이터는 지저분해지고, 인간에서 로봇으로의 변환 과정이 무너지며, 로봇은 나사를 조이거나 공을 던지는 작업에 필요한 미세한 압력과 타이밍을 재현하는 데 어려움을 겪습니다.

한 연구팀은 복잡한 변환 과정을 완전히 우회하는 다른 해결책을 제 제안했습니다. 인간의 움직임을 로봇 명령어로 수학적으로 변환하려 하는 대신, 그들은 인간과 로봇이 정확히 동일한 기계적 장치를 착용하도록 만들었습니다. 이 장치는 손과 손가락 위에 씌우는 경량 프레임인 특수 엑소스켈레톤(외골격)입니다. 연구진은 이 프레임이 로봇 손의 크기와 관절 배치에 완벽하게 일치하도록 설계했습니다. 인간이 이것을 착용하면 프레임은 손가락과 함께 움직입니다. 로봇이 이것을 착용하면 프레임은 로봇의 모터와 함께 움직입니다. 물리적 구조가 동일하기 때문에, 장치 내부의 센서는 인간이 착용하든 로봇이 착용하든 정확히 동일한 데이터를 기록합니다. 이 단순한 변화는 까다로운 변환 문제를 직접적인 관찰 문제로 바꾸어 놓았습니다.

텐보 유(Tengbo Yu)와 동료들이 이끄는 연구진은 이 아이디어를 실행에 옮기기 위해 SEED-UMI라고 불리는 프레임워크를 개발했습니다. 이 시스템은 공유된 물리적 측정을 기반으로 합니다. 엑소스켈레톤에는 각 손가락이 얼마나 굽혀지는지를 측정하는 센서가 모든 관절에 장착되어 있습니다. 또한 손목에는 손과 만지는 물체를 향하는 카메라가 장착되어 있습니다. 인간 운영자가 장치를 착용하고 과업을 수행할 때, 센서는 관절 각도를 기록하고 카메라는 시야를 기록합니다. 로봇이 동일한 장치를 착용하기 때문에, 로봇은 동일한 동작을 수행할 때 동일한 시야를 보고 동일한 관절 각도를 측정하게 됩니다. 즉, 로봇은 인간의 제스처를 어떻게 변환할지 추측할 필요 없이, 관찰된 센서 값에 맞춰 자신의 관절을 움직이는 법을 단순히 학습하게 됩니다.

이 작업을 수행하기 위해 연구팀은 두 단계의 학습 과정을 사용했습니다. 첫째, 로봇에게 엑스소켈레톤을 착용시킨 뒤 관절을 무작위로 움직이게 하는 '모터 바블링(motor babbling)' 과정을 거쳤습니다. 이는 로봇이 자신의 모터 명령과 그로 인해 발생하는 센서 값 사이의 기본적인 관계를 이해하도록 돕습니다. 다음으로, 쌍을 이룬 데이터를 도입했습니다. 인간이 장치를 착용하고 에어팟 케이스를 집거나 나사를 돌리는 등의 과업을 수행합니다. 그러면 로봇은 초기 매핑을 사용하여 그 동작을 재생합니다. 결정적으로, 시스템은 인간의 시도에서 얻은 센서 값과 로봇의 시도에서 얻은 센서 값을 비교합니다. 만약 로봇의 손가락이 인간과 다르게 움직였다면, 시스템은 그 차이를 이용하여 매핑을 조정합니다. 이를 통해 로봇은 실제 물체를 누를 때 발생하는 추가적인 마찰과 저항을 처리하는 법을 배울 수 있었으며, 이는 기존 방식들이 자주 실패했던 지점이었습니다.

연구팀은 정밀한 접촉과 타이밍이 요구되는 다섯 가지 도전적인 과업에 이 접근법을 테스트했습니다. 여기에는 판에 나사를 박는 것, 에어팟을 충전 케이스에 넣는 것, 바구니에 공을 던지는 것, 천으로 테이블을 닦는 것, 그리고 에어 스프레이를 뿌리는 것이 포함되었습니다. 이 테스트에서 연구진은 새로운 방식의 성과를 실시간으로 인간이 로봇을 제어하는 전통적인 텔레오퍼레이션(원격 조종) 및 쌍을 이룬 미세 조정 단계가 없는 방식과 비교했습니다. 결과에 따르면 SEED-UMI 방식은 매우 효과적이었습니다. 이 방법으로 훈련된 로봇들은 모든 과업에서 70.0%의 성공률을 달럽했습니다. 이 성능은 직접적인 텔레오퍼레이션을 통해 수집된 데이터로 훈련된 로봇들의 성공률인 71.7%와 거의 유사하면서도, 속도 면에서 상당한 이점을 가졌습니다.

가장 놀라운 발견은 데이터 수집의 효율성이었습니다. 인간 운영자가 로봇을 실시간으로 제어할 필요가 없기 때문에, 자연스럽고 빠르게 과업을 수행할 수 있습니다. 연구진은 SEED-UMI를 사용하면 전통적인 텔레오퍼레이션보다 데이터를 3배 더 빠르게 수집할 수 있다는 것을 발견했습니다. 30분의 시간 동안, 한 명의 운영자는 기존 방식으로는 18개의 시연만을 수행한 반면, 새 시스템을 통해서는 52개의 성공적인 시연을 수집했습니다. 이러한 속도 향상은 품질의 저하를 초래하지 않았습니다. 이 빠른 데이터를 통해 훈련된 로봇들은 공을 던질 때 필요한 정밀한 타이밍이나 테이블을 닦을 때 필요한 일정한 압력과 같은 섬세한 과업을 기존의 느린 실시간 데이터로 훈련된 로봇들과 마찬가지로 잘 수행해 냈습니다. 이 시스템은 특히 로봇이 물체의 물리적 저항에 반응해야 하는 과업에서 강점을 보였는데, 이는 기존의 오픈 루프(open-loop) 방식들이 흔히 어려움을 겪었던 시나리오였습니다.

이 연구의 성공은 로봇에게 숙련된 기술을 가르치는 병목 현상이 더 나은 알고리즘이 아니라, 인간과 기계 사이의 인터페이스에 있을 수 있음을 시사합니다. 인간과 로봇이 동일한 물리적 측정 도구를 공유하게 함으로써, 연구진은 움직임을 변환하기 위한 복잡한 소프트웨어의 필요성을 제거했습니다. 로봇은 장치를 통한 공유된 경험으로부터 직접 학습하며, 인간과 동일한 세계를 관찰하고 동일한 기계적 제약을 느낍니다. 현재는 특정 로봇 손마다 맞춤형 엑스소켈레톤이 필요하지만, 이 결과는 유망한 경로를 보여줍니다. 이는 실시간 제어의 지연과 오류 없이 대량의 고품질, 접촉 중심 데이터를 수집할 수 있는 방법을 제시하며, 로다 로봇이 인간 손의 미세한 촉각 기술을 진정으로 마스터할 수 있도록 가속화할 잠재력을 가지고 있습니다.

기술 요약: SEED-UMI

문제 정의

정교한 손 조작(Dexterous hand manipulation)은 로봇 학습에서 여전히 중요한 병목 구간으로 남아 있으며, 이는 인간으로부터 로봇으로 충실하게 전이될 수 있는 고품질의 접촉 친화적(contact-rich) 시연 데이터를 수집하기 어렵기 때문입니다. 기존 방식들은 다음과 같은 내재적인 트레이드오프에 직면해 있습니다:

**비전 기반 트래킹(Vision-based tracking)**은 제약 없는 움직임을 허용하지만, 접촉 시 발생하는 폐쇄(occlusion)와 지터(jitter) 현상에 취약합니다.
글러브 기반 시스템(관성/플렉스 센서)은 신뢰할 수 있는 모션 데이터를 제공하지만, 피부 움직임에 따른 아티팩트(skin-motion artifacts)를 유발하며, 인간과 로봇의 관절 간에 복잡하고 종종 부정확한 대응 관계 매핑(correspondence mapping)을 필요로 합니다.
외골격 기반 시스템(Exoskeleton-based systems)은 일관된 기계적 측정을 제공하지만, 일반적으로 부피가 큰 하드웨어로 인해 작업자의 편의성과 처리량(throughput)을 희생시킵니다.

결정적으로, 현재의 파이프라인은 인간의 시연과 로봇의 실행을 개방 루프(open-loop) 리타겟팅 모델로 연결된 별개의 도메인으로 취급합니다. 이러한 모델들은 대개 자유 공간(free space)에서 캘리브레이션되므로, 마찰, 외부 하중, 관절 결합 효과 등으로 인해 접촉이 빈번한 상호작용 상황에서는 성능이 크게 저하됩니다. 또한, 인간과 로봇의 관측치 사이의 시각적 불일치는 생성적 이미지 변환(generative image translation)이나 세그멘테이션을 필요로 하며, 이 과정에서 중요한 접촉 픽셀이 가려질 수 있습니다.

방법론: SEED-UMI

저자들은 SEED-UMI(Sharing the Exoskeleton between human and robot for onE-to-one Dexterous demonstration)를 제안합니다. 이 프레임워크는 **공유된 물리적 측정(shared physical measurement)**이라는 개념을 기반으로 구축되었습니다. 서로 다른 인간과 로봇의 형태(embodiment) 사이의 매핑을 학습하는 대신, SEED-UMI는 인간 작업자와 대상 로봇 핸드가 모두 착용할 수 있는 단일한 키네마틱 동형(kinematically isomorphic) 외골격을 활용합니다.

1. 하드웨어: 공유 외골격

핵심 혁신은 특정 전동식 정교한 핸드(Wuji hand)와 함께 공학적으로 설계된 커스텀 외골격입니다.

키네마틱 동형성(Kinematic Isomorphism): 외골격의 링크 길이, 관절 축, 가동 범위 제한은 로봇의 키네마틱 트리와 기계적으로 동일합니다. 이를 통해 엄격한 1:1 관절 대응(20 자유도)과 인간 및 로봇 양측 모두에서 동일한 접촉 기하 구조를 보장합니다.
메커니즘 설계: 손바닥 접촉면을 가리지 않고 측면 여유 공간 내에 적합하도록, 디자인에 **평행 4절 링크(parallel four-bar linkage)**를 채택했습니다. 이는 회전력을 관절 축에서 등쪽(dorsal)에 장착된 비접촉식 자기 인코더로 전달하여, 미세 조작에 필요한 가려지지 않은 접촉면을 유지합니다.
센서 통합: 외골격 프레임에는 다음이 견고하게 장착됩니다:
- 모든 관절에 배치된 비접촉식 자기 회전 인코더(공유 인코더 벡터 $e_t \in \mathbb{R}^{20}$ 제공).
- 6자유도 손목 트래킹을 위한 등쪽 Intel RealSense T265.
- 작업 공간 관찰을 위한 복부(ventral) 피쉬아이 카메라(150° FoV).
  센서가 외골격에 장착되어 있기 때문에, 카메라의 내부 파라미터(intrinsics)와 외부 파라미터(extrinsics)는 인간이 착용하든 로봇이 착용하든 인코더 프레임에 대해 동일하게 유지됩니다.

2. 소프트웨어: 2단계 교차 형태(Cross-Embodiment) 매핑

이 프레임워크는 데이터 수집과 실시간 텔레오퍼레이션을 분리하며, 인코더-명령 매핑( $e_t \to q_t$ )을 학습하기 위해 2단계 과정을 사용합니다:

1단계: 모터 배블링(Motor Babbling, 자유 공간): 로봇이 외골격을 착용하고 구조화된 탐색(단일 관절 스윕, 결합 동작)을 수행합니다. 이는 인코더 판독값에서 로봇 관절 명령으로의 초기 매핑 $f_{\theta_0}$ 를 훈련합니다. 이는 기본적인 키네마틱스는 포착하지만, 접촉 하중 하에서는 드리프트(drift)가 발생하기 쉽습니다.
2단계: 쌍을 이룬 재생 및 미세 조정(Paired Replay and Fine-Tuning):
1. 인간 작업자가 외골격을 착용하고 시연을 수행하여 접촉이 풍부한 인코더 궤적 $\{e^{(h)}_t\}$ 를 기록합니다.
2. 이 궤적들을 초기 매핑 $f_{\theta_0}$ 를 사용하여 로봇에서 재생합니다.
3. 시스템은 결과적인 로봇 측 인코더 응답 $\{e^{(r)}_t\}$ 와 관절 명령 $\{q^{(r)}_t\}$ 를 기록합니다.
4. **쌍을 이룬 데이터셋(paired dataset)**이 형성되며, 여기서 인간 측 인코더 궤적과 로봇 측 인코더 응답 사이의 차이가 감독 신호(supervisory signal) 역할을 합니다.
5. 예측된 로봇 측 인코더를 인간 궤적과 일치시키고, 명령을 쌍을 이룬 재생에 가깝게 규제하며, 시간적 점프를 억제하는 손실 함수를 최소화함으로써 매핑을 미세 조정합니다. 이는 수동 재조정 없이도 접촉 의존적 효과(마찰, 컴플라이언스)를 수정합니다.

3. 정책 학습(Policy Learning)

정책은 원시(raw), 외골격 중심의 손목 이미지와 공유된 인코더 벡터를 사용하여 직접 학습됩니다. 시각적 관측치(공유 외골로몬트에 장착된 카메라)와 물리적 인터페이스가 인간 데이터 수집과 로봇 실행 시 모두 동일하기 때문에, 프레임워크는 다음을 제거할 수 있습니다:

손 세그멘테이션(Hand segmentation).
생성적 이미지 변환(Inpainting).
시뮬레이션 또는 강화 학습(RL).
저자들은 표준 아키텍처인 ACT, Diffusion Policy, $\pi0.5$ 를 활용하여 원시 관측값과 인코더 입력을 바탕으로 액션 청크(action chunks)를 예측합니다.

주요 기여

공유 물리적 측정 인터페이스: 동일한 외골격을 인간과 로봇이 모두 착용하여, 리타겟팅을 개방 루프 매핑이 아닌 쌍을 이룬 교차 형태 감독 문제로 전환하는 새로운 하드웨어 디자인.
접촉 친화적 데이터 수집: 개방 루프 매핑이 하중에 의해 저하되는 문제를 방지하면서, 로봇으로 직접 전이 가능한 자연스럽고 접촉이 풍한 시연을 수집할 수 있게 함.
효율적인 학습 파이프라인: 생성적 시각적 정렬이나 시뮬레이션의 필요성을 제거함으로써, 표준 증강 기법을 사용하여 원시 데이터로 정책을 학습할 수 있도록 하여 학습 파이프라인을 단순화함.
쌍을 이룬 미세 조정: 쌍을 이룬 인간-로봇 인코더 궤적을 사용하여 인코더-명령 매핑을 정교화함으로써, 수동 개입 없이 접촉 역학을 효과적으로 수정함.

실험 결과

본 프레임웨는 다섯 가지 접촉 친화적 데크스터러스 조작 작업(나사 돌리기, 에어팟 케이스 삽입, 공 바구니 던지기, 테이블 청소, 에어 프레셔너 스프레이)에 대해 평가되었습니다.

성공률:
- 쌍을 이룬 미세 조정을 적용한 SEED-UMI ( $P+$ ): 모든 작업에서 평균 **70.0%**의 성공률을 달ach했습니다.
- 텔레오퍼레이션 베이스라인 ( $T$ ): **71.7%**를 달성했습니다.
- 미세 조정을 적용하지 않은 SEED-UMI ( $P-$ ): **57.3%**를 달성했습니다.
- 특히, $P+$ 는 실시간 텔레오퍼레이션 루프가 지연 시간과 타이밍 문제로 어려움을 겪는 에어팟 케이스 삽입(73.3% vs 65.0%) 및 공 바구니 던지기(68.3% vs 60.0%)와 같이 매우 정밀하고 역동적인 작업에서 텔레오퍼레이션을 능가했습니다.
데이터 수집 효율성:
- SEED-UMI는 외골격 기반 텔레오퍼레이션에 비해 데이터 수집 처리량에서 3.0배의 개선을 보여주었습니다.
- 30분 동안 작업자는 텔레오퍼레이션을 통해 18개의 성공적인 시연을 수집한 반면, SEED-UMI를 통해서는 52개의 시연을 수집했습니다.
- 분당 유효한 훈련 데이터의 성공률 대비 이득은 약 2.9배로 유지되었습니다.

의의 및 주장

본 논문은 정교한 조작의 병목 현상을 극복하기 위해서는 단순히 리타겟팅 알고리즘을 개선하는 것이 아니라, 인간과 로봇의 형태(embodiment) 사이의 인터페이스를 재고해야 한다고 주장합니다. 리타겟팅과 시각-운동 정책 학습을 쌍을 이룬 교차 형태 감독의 형태로 변환함으로써, SEED-UMI는 데이터 품질을 희생하지 않으면서도 전통적인 텔레오퍼레이션보다 더 큰 규모로 실제 세계의 정교한 손 데이터를 수집할 수 있는 확장 가능하고 효율적인 경로를 제시합니다.

저자들은 다음과 같은 사항을 주장합니다:

인간 시연 수집을 실시간 로봇 텔레오퍼레이션, 시뮬레이션 또는 RL로부터 분리합니다.
인간의 자연스러운 접촉 상호작용을 보존하면서 로봇으로의 충실한 전이를 보장합니다.
전통적인 텔레오퍼레이션에 비해 데이터 품질을 떨어뜨리지 않으면서, 이전에는 도달할 수 없었던 규모로 실제 세계의 정교한 손 데이터를 수집할 수 있는 유망한 방향을 제공합니다.

본 연구는 현재 시스템이 서로 다른 손 기하 구조에 대한 엔지니어링 선택이 필요하며, 장기적인 작업(long-horizon tasks)에서 작업자의 착용 편의성이 변수가 될 수 있다는 한계를 인정합니다. 향후 연구는 자동화된 교차 손 설계 및 착용 경험 개선에 집중될 예정입니다.