💻 computer science

ExtremControl: Low-Latency Humanoid Teleoperation with Direct Extremity Control

이 논문은 기존 방법의 높은 지연 시간을 극복하기 위해 SE(3) 자세 기반의 직접적인 말단 제어와 속도 피드포워드를 도입하여 종단 간 지연을 50ms 수준으로 낮추고 탁구 공 균형 및 저글링과 같은 고반응성 휴머노이드 원격 조작을 가능하게 하는 'ExtremControl' 프레임워크를 제안합니다.

원저자: Ziyan Xiong, Lixing Fang, Junyun Huang, Kashu Yamazaki, Hao Zhang, Chuang Gan

게시일 2026-03-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ziyan Xiong, Lixing Fang, Junyun Huang, Kashu Yamazaki, Hao Zhang, Chuang Gan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"ExtremControl"**이라는 새로운 기술을 소개합니다. 이 기술은 사람이 원격으로 로봇을 조종할 때, 로봇이 사람의 움직임을 얼마나 빠르고 정확하게 따라하는지를 획기적으로 개선한 방법입니다.

쉽게 비유하자면, **"로봇과 사람의 뇌가 거의 동시에 연결된 것처럼 만드는 기술"**이라고 할 수 있습니다.

이 내용을 일상적인 언어와 비유로 설명해 드릴게요.

1. 문제점: "지연된 그림자" (Latency)

기존에 사람이 로봇을 조종할 때 가장 큰 문제는 **'지연 (Latency)'**이었습니다.

비유: 당신이 거울을 보고 손을 들었을 때, 거울 속의 그림자가 0.2 초 (200ms) 뒤늦게 손을 든다고 상상해 보세요.
현실: 사람이 공을 치려고 팔을 휘두르면, 로봇은 그 동작을 0.2 초 뒤에야 따라합니다. 이 짧은 시간 차이 때문에 로봇은 공을 치는 대신 공을 놓치거나, 넘어지거나, 제자리에서 어정쩡하게 멈춰 섭니다.
기존 방식의 한계: 기존 기술은 사람의 온몸 관절을 로봇의 관절로 하나하나 계산해서 옮기는 복잡한 과정 (Retargeting) 을 거쳤기 때문에, 이 계산 시간이 걸려서 로봇이 느릿느릿하게 반응했습니다.

2. 해결책: "ExtremControl"의 세 가지 마법

저자들은 이 문제를 해결하기 위해 세 가지 핵심 아이디어를 섞었습니다.

① "손과 발만 보자!" (직접적인 말단 제어)

기존 방식: "사람의 어깨가 움직였으니, 로봇의 어깨 관절을 10 도, 팔꿈치 관절을 20 도..." 이렇게 온몸의 관절을 다 계산해서 옮겼습니다.
새로운 방식 (ExtremControl): "사람의 손과 발이 어디로 가는지, 그리고 몸통이 어떻게 기울어지는지"만 봅니다.
비유: 복잡한 지도를 다 읽지 않고, **"목적지 (손과 발)"**만 보고 바로 길을 찾는 택시 기사처럼 동작합니다. 불필요한 계산 과정을 뺀 덕분에 속도가 빨라졌습니다.

② "속도 예측기" (Velocity Feedforward)

기존 방식: 로봇은 "아, 사람이 손이 위로 갔네. 그럼 내 손도 위로 올려야지"라고 생각한 뒤 움직입니다. (위치만 보고 반응)
새로운 방식: 로봇은 "사람의 손이 이미 위로 가고 있어!"라고 미리 감지하고, 속도까지 미리 계산해서 움직입니다.
비유: 자전거를 탈 때, 단순히 핸들을 꺾는 게 아니라 "앞으로 가속해야지"라고 미리 발을 밟는 것과 같습니다. 이 '속도 예측' 기능 덕분에 로봇이 반응하는 시간이 약 0.1 초나 단축되었습니다.

③ "부드러운 다리" (Impedance Calibration)

비유: 로봇의 관절이 너무 뻣뻣하면 사람이 움직일 때 로봇이 덜덜 떨립니다. 저자들은 로봇의 관절이 사람의 근육처럼 적당히 탄력 있게 (Impedance) 반응하도록 미리 세팅했습니다.
이렇게 하면 사람이 부드럽게 움직일 때 로봇도 자연스럽게 따라가서, 공을 치거나 물건을 잡을 때 덜 떨어집니다.

3. 결과: "초고속 반응"

이 기술을 적용한 결과, 놀라운 변화가 일어났습니다.

기존: 로봇이 사람의 움직임을 따라하는 데 0.2 초 (200ms) 정도 걸림. (공을 잡으려다 놓침)
새로운 ExtremControl: 0.05 초 (50ms) 만에 반응!
- 비유: 이제 거울 속 그림자가 거의 동시에 움직이는 수준입니다.
- 실제 성과: 이 로봇은 탁구 공을 치거나, frisbee(프리스비) 를 잡거나, 공을 받아 던지는 등 매우 빠르고 역동적인 작업을 성공적으로 수행했습니다.

4. 왜 중요한가요?

이 기술은 단순히 로봇을 조종하는 것을 넘어, 로봇이 인간처럼 복잡한 일을 배우는 데 필수적인 도구가 됩니다.

사람이 직접 로봇에게 다양한 동작을 가르쳐 줄 때 (데이터 수집), 반응이 빠르면 로봇이 더 자연스럽고 정교한 동작을 배울 수 있습니다.
마치 가상 현실 (VR) 게임에서 조작감이 매우 매끄러워진 것과 같습니다.

요약

ExtremControl은 로봇이 사람의 손과 발 움직임을 불필요한 계산 없이 바로 받아들이고, 속도까지 미리 예측해서 반응하게 만든 기술입니다. 덕분에 로봇이 이제 탁구 치기, 공 잡기처럼 빠르고 정교한 작업을 사람과 거의 동시에 수행할 수 있게 되었습니다.

이제 로봇은 더 이상 "느릿느릿한 그림자"가 아니라, 사람의 의도를 즉시 이해하는 똑똑한 파트너가 된 셈입니다.

1. 문제 정의 (Problem)

인간형 로봇 (Humanoid) 을 위한 원격 조종 (Teleoperation) 시스템은 다양한 반응적이고 역동적인 데모 데이터를 수집하는 데 필수적입니다. 그러나 기존 접근 방식에는 다음과 같은 한계가 존재합니다.

높은 지연 시간 (High Latency): 대부분의 기존 시스템은 인간에서 로봇으로의 전체 신체 모션 재매핑 (Full-body retargeting) 과 위치 기반 PD 제어 (Position-only PD control) 에 의존합니다. 이로 인해 시스템 지연이 200ms 이상 발생하여, 빠른 피드백이 필요한 작업 (예: 탁구 공 받기, 공 던지기 등) 을 수행하기 어렵습니다.
반응성 부족: 지연 시간이 길면 운영자의 의도와 로봇의 동작 사이에 불일치가 발생하여, 역동적인 환경에서의 실시간 제어와 데이터 수집 효율성이 떨어집니다.

2. 제안 방법론 (Methodology)

저자들은 ExtremControl이라는 저지연 전체 신체 제어 프레임워크를 제안합니다. 이 프레임워크는 세 가지 핵심 기법을 통해 지연 시간을 획기적으로 줄입니다.

가. 직접적인 극단부 (Extremity) 제어 및 SE(3) 매핑

전체 신체 재매핑 제거: 기존처럼 모든 관절의 위치를 재계산하는 복잡한 재매핑 과정을 정책 루프 (Policy loop) 에서 제거합니다.
선택된 링크의 SE(3) 포즈 직접 제어: 인간의 손, 발, 골반 등 주요 극단부 (Extremities) 의 6 개 강체 링크 (Rigid links) 포즈를 선택합니다.
카르테시안 공간 매핑 (Cartesian-space Mapping): 인간의 포즈를 로봇의 해당 링크 타겟으로 직접 매핑합니다. 이는 관절 공간 (Joint-space) 최적화를 피하므로 계산 부하가 적고 병렬 처리가 가능합니다.
- 1 회 교정 (One-shot Calibration): 사용자의 신체 비율 (골반 높이, 어깨 위치, 팔 길이 등) 을 측정하여 로봇의 치수에 맞게 스케일링합니다.
- 실시간 매핑: 매 프레임마다 강체 변환 (Rigid transformation) 만으로 타겟 포즈를 계산합니다.

나. 속도 피드포워드 제어 (Velocity Feedforward Control)

기존 PD 제어의 한계 극복: 기존 위치 기반 PD 제어는 속도 항이 없어 추적 지연이 발생합니다.
새로운 제어 방정식: 토크 제어 방정식에 타겟 속도 ( $\dot{q}_t$ ) 를 기반으로 한 피드포워드 항을 추가합니다.
$\tau = k_p(q_t - q) - k_d \dot{q} + \eta k_d \dot{q}_t$
여기서 $\eta$ 는 피드포워드 비율입니다. 이를 통해 저수준 제어기의 응답 시간을 약 100ms 단축합니다.
전체 신체 임피던스 교정 (Whole-Body Impedance Calibration): 시뮬레이션 기반의 교정 절차를 통해 로봇의 관성 및 결합 효과를 고려한 최적의 PD 게인을 산출하여, 피드포워드 제어의 안정성을 보장합니다.

다. 정책 학습 전략 (Policy Learning)

3 단계 학습 프레임워크:
1. **Teacher Policy:**privileged observation(특권 정보) 과 긴 미래 시야를 사용하여 복잡한 역동적 모션을 학습.
2. Student Policy Distillation: Teacher 를 압축하여 실제 배포 환경 (단일 미래 프레임, 비특권 정보) 에서 작동 가능한 Student 정책으로 변환.
3. Fine-tuning: 광범위한 모션 데이터셋을 사용하여 범용 전체 신체 제어기로 미세 조정.
RL + BC + RL: 강화학습 (RL) 과 행동 모방 (BC) 을 결합하여 탐색 안정성과 성능을 극대화합니다.

3. 주요 기여 (Key Contributions)

통일된 이론적 프레임워크: 로봇 운동학, 역학, 정책 학습을 통합한 ExtremControl 의 수학적 형식화를 제시했습니다.
초저지연 원격 조종 시스템 구현: 광학 모션 캡처 (MoCap) 와 VR 기반 추적 모두를 지원하며, 종단 간 지연 시간 (End-to-end latency) 을 약 50ms로 낮췄습니다. (기존 200ms 한계를 대폭 하회)
지연 시간 측정 방법론: 광학 흐름 (Optical Flow) 을 기반으로 한 비디오 분석 기법을 제안하여, 내부 타임스탬프 없이도 외부에서 관찰 가능한 시스템 지연을 정량적으로 측정했습니다.
실제 적용 가능성: Unitree G1 로봇을 사용하여 탁구 공 받기, 공 던지기, 원반 잡기 등 고반응성 작업을 성공적으로 수행함을 입증했습니다.

4. 실험 결과 (Results)

지연 시간 비교:
- 기존 시스템 (HOMIE, HumanPlus, OmniH2O 등): 170ms ~ 700ms 이상.
- ExtremControl (MoCap): 54 ± 4 ms.
- ExtremControl (VR): 64 ± 8 ms.
- 이는 기존 200ms 의 한계를 깨고, 인간이 지각할 수 없는 수준의 지연 (Near-perceptual latency) 을 달성했습니다.
성능 분석:
- 속도 피드포워드 비율 ( $\eta$ ) 을 0.9 로 설정했을 때, 추적 오차와 지연 시간 간의 최적 균형을 이뤘습니다.
- 관절 공간 재매핑을 제거함으로써 약 10ms 의 지연 감소 효과를 얻었으며, 이는 추적 정확도 (위치 7mm, 회전 0.02 rad) 에 미미한 영향을 주었습니다.
- 다양한 역동적 작업 (탁구, 공 던지기 등) 에서 인간 운영자의 빠른 반응을 로봇이 즉시 따라가는 것을 시각적으로 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 인간형 로봇의 원격 조종 분야에서 지연 시간의 물리적 한계를 극복했다는 점에서 의의가 큽니다.

데이터 수집의 혁신: 50ms 의 초저지연은 인간이 수행하는 미세하고 빠른 동작을 로봇이 정확하게 모방할 수 있게 하여, 고품질의 역동적 데모 데이터 수집을 가능하게 합니다. 이는 이후 강화학습 기반의 일반 목적 로봇 지능 개발에 필수적인 자원이 됩니다.
제어 패러다임의 전환: 단순한 위치 추적을 넘어, 속도 피드포워드와 직접적인 극단부 제어를 통해 로봇의 하드웨어 성능을 극대화하는 새로운 제어 패러다임을 제시했습니다.
실용성: VR 및 MoCap 시스템과 호환되어 접근성이 높으며, 복잡한 전체 신체 재매핑 없이도 안정적이고 반응적인 제어를 가능하게 합니다.

결론적으로, ExtremControl은 인간형 로봇이 인간과 실시간으로 상호작용하며 복잡한 작업을 수행할 수 있는 기반을 마련한 획기적인 기술로 평가됩니다.