💻 computer science

RoSHI: A Versatile Robot-oriented Suit for Human Data In-the-Wild

이 논문은 저비용 IMU 와 Project Aria 안경을 융합하여 가려짐과 고속 운동에 강인하면서도 전역 일관성을 갖춘 3D 포즈 및 신체 형상 추정이 가능한 로봇 학습용 웨어러블 시스템 'RoSHI'를 제안하고, 이를 통해 수집된 데이터가 실제 인간형 로봇 정책 학습에 효과적임을 입증합니다.

원저자: Wenjing Margaret Mao, Jefferson Ng, Luyang Hu, Daniel Gehrig, Antonio Loquercio

게시일 2026-04-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wenjing Margaret Mao, Jefferson Ng, Luyang Hu, Daniel Gehrig, Antonio Loquercio

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로시 (RoSHI): 로봇을 위한 '마법 옷' 이야기

이 논문은 **"로봇이 인간처럼 움직이는 법을 배우기 위해, 우리가 입는 특별한 옷"**에 대한 이야기입니다. 이 옷의 이름은 RoSHI(Robot-oriented Suit for Human Data In-the-Wild)입니다.

쉽게 말해, 이 시스템은 저렴한 가격으로 어디서나 (실내, 실외, 복잡한 곳) 인간이 어떻게 움직이는지 정확하게 기록해 주고, 그 데이터를 로봇에게 가르쳐서 로봇이 그 움직임을 그대로 따라 하게 해줍니다.

이 복잡한 기술을 일상적인 비유로 설명해 드릴게요.

1. 왜 이런 옷이 필요할까요? (기존 방식의 문제점)

로봇을 가르치려면 인간의 움직임을 기록해야 하는데, 기존 방법들은 몇 가지 큰 단점이 있었습니다.

Vicon(비콘) 같은 스튜디오 방식: 마치 영화 촬영장처럼 특수한 방에 거대한 카메라를 설치하고, 몸에 반사 마커를 붙여야 합니다. 비싸고, 집에 가져갈 수 없으며, 실내에만 쓸 수 있습니다. (비유: 무대 위에서만 춤을 추는 배우)
고가의 IMU(관성 센서) 옷: Xsens 같은 전문 장비는 움직임을 잘 잡지만, 가격이 매우 비싸고 (수천만 원), 시간이 지나면 위치가 점점 흐려지는 (Drift) 문제가 있습니다. (비유: 배터리가 빨리 닳고 방향 감각을 잃어버리는 나침반)
카메라만 쓰는 방식: 안경을 쓰고 카메라로 찍는 방식은 좋지만, 손이나 몸이 가려지면 (Occlusion) 움직임을 놓쳐버립니다. (비유: 손으로 가린 얼굴을 카메라로 찍으면 얼굴이 안 보임)

RoSHI 는 이 모든 단점을 해결한 '만능 해결사'입니다.

2. RoSHI 는 어떻게 작동할까요? (두 가지 감각의 합체)

RoSHI 는 두 가지 감각을 섞어서 완벽한 기록을 만듭니다. 마치 **"나침반"**과 **"눈"**이 손잡이를 맞춘 것과 같습니다.

A. 나침반 역할: 저렴한 IMU 센서 9 개

무엇인가요? 옷에 작은 센서 9 개를 붙입니다. (팔, 다리, 골반 등).
특징: 아주 저렴합니다 (약 350 달러, 우리 돈 50 만 원 정도).
역할: 가려져도 상관없습니다. 손으로 얼굴을 가리거나, 빠르게 움직여 카메라가 흐릿해져도 센서는 "내 팔이 이렇게 움직였어!"라고 정확히 알려줍니다. 하지만 혼자서만 쓰면 시간이 지나면 "내가 어디에 있었지?"라고 헷갈릴 수 있습니다.

B. 눈 역할: 메타 아리아 (Project Aria) 안경

무엇인가요? 착용자가 쓰는 스마트 안경입니다.
특징: 주변을 보고, 내가 어디로 이동했는지 (SLAM 기술) 정확히 기록합니다.
역할: 전체적인 위치를 잡아줍니다. "우리는 지금 공원에서 오른쪽으로 10 미터 이동했어"라고 알려주어, 나침반이 헷갈리는 것을 잡아줍니다. 하지만 손이 가려지면 몸의 자세를 정확히 못 볼 수 있습니다.

C. 마법의 융합: 두 감각이 만나다

RoSHI 는 이 두 가지를 **AI(인공지능)**로 섞습니다.

안경이 "우리는 여기야"라고 알려주고,
센서가 "내 다리가 이렇게 구부러졌어"라고 알려주면,
AI 가 **"아! 사람이 공원에서 점프를 하네!"**라고 완벽하게 재구성합니다.

3. 이 옷의 특별한 점 (기존과 다른 점)

가볍고 저렴해요: 비싼 스튜디오 장비가 아니라, 일반인이 살 수 있는 가격에 3D 프린터로 만든 케이스에 센서를 붙였을 뿐입니다.
** recalibration(재보정) 이 쉬워요:** 보통 IMU 옷은 입기 전에 복잡한 자세를 취해서 보정해야 하지만, RoSHI 는 안경으로 찍은 짧은 영상을 통해 자동으로 보정합니다. 마치 스마트폰을 세팅하듯 간단합니다.
현실 세계 (In-the-Wild) 에서 작동해요: 실험실 밖, 공원, 거리 어디서든 쓸 수 있습니다.

4. 로봇에게 어떻게 가르칠까요? (데이터의 활용)

이 옷으로 인간이 점프를 하거나, 공을 던지거나, 인사를 하는 영상을 찍으면, 그 데이터는 로봇에게 직접 전달됩니다.

시뮬레이션: 컴퓨터 안에서 로봇이 그 움직임을 따라 하도록 훈련시킵니다.
실제 적용: 훈련된 로봇 (Unitree G1 같은 휴머노이드) 을 실제 세상에 내보내면, 인간이 했던 점프나 인사 동작을 그대로 따라 합니다.

논문에서는 로봇이 인간이 던진 공을 받아치거나, 인간이 했던 점프 동작을 따라 하는 모습을 보여주었습니다.

5. 결론: 왜 이것이 중요한가요?

이 연구는 **"로봇이 인간처럼 똑똑해지려면, 인간이 일상생활에서 자연스럽게 움직이는 데이터를 많이 모아야 한다"**는 점을 증명했습니다.

과거: 로봇은 실험실이라는 '안전한 방'에서만 움직임을 배웠습니다.
RoSHI 이후: 이제 로봇은 우리가 **일상생활 (In-the-Wild)**에서 하는 복잡한 움직임도 쉽게 배울 수 있게 되었습니다.

한 줄 요약:

"RoSHI 는 저렴하고 가벼운 '마법 옷'으로, 인간이 어디서나 자유롭게 움직이는 모습을 완벽하게 기록해 주고, 그 데이터를 통해 로봇에게 인간처럼 춤추고 점프하는 법을 가르쳐 줍니다."

이 기술이 발전하면, 앞으로 로봇이 우리 집 청소나 공장 일을 할 때, 인간이 시범을 보이면 바로 따라 할 수 있는 '초고속 학습'이 가능해질 것입니다.

1. 문제 정의 (Problem)

로봇 학습 (Robot Learning) 을 확장하기 위해서는 실험실 환경이 아닌 실제 자연스러운 환경 (In-the-wild) 에서 수집된 풍부하고 장시간 (Long-horizon) 의 인간 상호작용 데이터가 필수적입니다. 그러나 기존 데이터 수집 방식은 다음과 같은 상충 관계 (Trade-off) 를 가지고 있어 인간형 로봇 (Humanoid) 을 위한 포괄적인 도구로 널리 채택되지 못했습니다.

마커 기반 시스템 (예: Vicon): 고정밀이지만 장비화된 공간이 필요하고 비용이 매우 높음.
상용 IMU 슈트 (예: Xsens): 비용이 높고, 장시간 사용 시 드리프트 (Drift) 로 인해 전역 위치 (Global localization) 정보가 부정확함.
비전 기반 시스템 (1 인칭/3 인칭): 카메라 배치와 조명, 가림 (Occlusion) 에 민감하며, 빠른 운동 시 모션 블러나 시야 이탈로 인해 데이터가 손실됨.

따라서, 저비용, 휴대 가능, 가림에 강인하며 전역 일관성 (Global consistency) 을 유지하는 3D 인간 동작 캡처 시스템의 부재가 주요 문제였습니다.

2. 제안 방법론 (Methodology)

저자들은 **RoSHI (Robot-oriented Suit for Human Data In-the-Wild)**를 제안합니다. 이는 저비용 IMU 와 Project Aria 안경 (egocentric sensing) 을 융합한 하이브리드 웨어러블 시스템입니다.

A. 하드웨어 구성 및 동기화

센서: 9 개의 저비용 소비자 등급 IMU (BNO085 칩, 약 $20/개) 와 Project Aria 안경.
비용: 전체 하드웨어 비용은 약 350 달러로 매우 저렴함.
동기화: RGB 비디오, IMU 측정값, Aria 메타데이터를 UTC 타임스탬프로 동기화하여 100Hz(IMU) 와 30Hz(비디오/SLAM) 의 다른 샘플링 주기를 보정합니다.

B. 보정 (Calibration) - 핵심 혁신

기존 IMU 시스템의 취약점인 'T 포즈' 기반의 번거로운 보정과 스트랩 미끄러짐 문제를 해결하기 위해 비전 보조 보정 (Vision-assisted Calibration) 방식을 도입했습니다.

각 IMU 하우징에 AprilTag를 부착합니다.
사용자가 자연스러운 동작을 하는 동안 아이폰으로 짧은 영상을 촬영합니다.
SAM 3D Body 모델을 이용해 영상에서 관절 회전 정보를 추출하고, AprilTag 검출 결과와 IMU 데이터를 결합하여 센서와 뼈 (Bone) 간의 고정 변환 행렬 ( $B_i R_{S_i}$ ) 과 전역 좌표계 정렬 ( $W_p R_{W_i}$ ) 을 자동으로 추정합니다.
이 방식은 IMU 를 제거할 필요 없이 언제든 재보정이 가능합니다.

C. 동작 생성 (Body Pose Generation)

Diffusion Model 활용: EgoAllo [29] 의 확산 모델을 기반으로 합니다.
조건부 생성 (Conditioning):
1. 전역 궤적: Project Aria 의 SLAM 을 통해 얻은 6-DoF 헤드셋 궤적을 전역 좌표계로 변환합니다.
2. 가이드 (Guidance): IMU 로부터 얻은 9 개의 뼈 방향 (Bone Orientations, 팔 2 개, 다리 2 개, 골반 등) 을 확산 모델의 가이드로 사용합니다.
제약 조건: 직접 관측 가능한 관절 (팔꿈치, 무릎, 엉덩이) 의 각도, 비관측 관절의 상대적 회전, 그리고 프레임 간 일관성을 제약 조건으로 추가하여 물리적으로 타당한 동작을 생성합니다.

3. 주요 기여 (Key Contributions)

휴대용 저비용 파이프라인: 희소 IMU 와 1 인칭 센싱을 융합하여 가림 (Occlusion) 에 강인하면서도 전역 일관성을 갖춘 동기화된 3D 인간 동작, 전역 궤적, RGB 비디오를 수집하는 시스템 구축.
경량화 동작 생성 알고리즘: SLAM 포즈를 조건으로 하고 뼈 방향을 가이드로 사용하여 가림 상황에서도 강인한 인간 자세 생성 방법 제안.
오픈소스 및 데이터셋: 하드웨어 설계, 전체 데이터 수집 스택, 그리고 다양한 전신 동작에 대한 정밀한 Ground Truth 가 포함된 데이터셋을 오픈소스로 공개.

4. 실험 결과 (Results)

저자들은 다양한 환경 (실내/실외, 정적/동적) 에서 11 개의 동작 시퀀스를 수집하여 평가했습니다.

정량적 평가 (Quantitative):
- MPJPE (평균 관절 위치 오차): RoSHI 는 Dataset 1, 2, 3 모두에서 가장 낮은 오차 (9.6cm ~ 10.3cm) 를 기록했습니다.
- JAE (관절 각도 오차): Dataset 1, 2 에서 최상의 성능을 보였습니다.
- 비교: 기존 EgoAllo(비전만) 나 IMU-only 방식보다 전역 관절 위치 및 관절 자세 재구성에서 일관된 개선을 보였습니다. 특히 SAM 3D(고정밀 3 인칭 비전) 와 비교했을 때, 가림이 발생하거나 시야 밖으로 나가는 Dataset 2 에서 RoSHI 가 훨씬 더 안정적인 성능을 보였습니다.
정성적 평가 (Qualitative):
- IMU 데이터를 결합함으로써 손이 가려진 경우에도 손 동작을 정확히 복원하고, 비전 기반 방식에서 발생하는 발 미끄러짐 (Foot skating) 현상을 줄였습니다.
Humanoid 제어 적용 (Real-world Deployment):
- 수집된 데이터를 Unitree G1 휴머노이드 로봇에 적용하여 강화학습 (RL) 정책을 학습시켰습니다.
- 결과: 걷기, 점프, 테니스 라켓 스윙, 인사 (Bow) 등 역동적인 동작이 성공적으로 로봇에 이식 (Sim-to-Real Transfer) 되었습니다. 이는 수집된 데이터가 실제 로봇 제어에 충분한 품질임을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

로봇 학습을 위한 새로운 표준: RoSHI 는 고가의 장비 없이도 자연스러운 환경에서 로봇 학습에 필요한 고품질 인간 데이터를 대량으로 수집할 수 있는 접근성을 제공합니다.
신뢰성과 안정성 중시: 프레임 단위의 완벽한 정확도보다는 장시간 동작의 안정성과 전역 궤적의 일관성을 우선시하여, 실제 로봇 정책 학습에 더 적합한 데이터를 제공합니다.
확장성: 모듈식 설계로 인해 추가 센서 (깊이, 촉각 등) 나 다른 SLAM 카메라로 쉽게 확장 가능합니다.

결론적으로, RoSHI 는 인간형 로봇의 행동 학습을 위한 데이터 수집의 장벽을 낮추고, 실제 환경에서의 복잡한 동작을 로봇이 성공적으로 모방할 수 있는 기반을 마련했다는 점에서 중요한 의의를 가집니다.