💻 computer science

Optimization of sim-to-real transfer in the humanoid robot NICO

이 논문은 고가의 외부 추적 시스템에 의존하지 않고도 테이블 위의 물체 파지에서 높은 성공률을 달상하기 위해 YOLO 기반 탐지, 스테레오 비전 위치 추정, 그리고 시각 피드백을 결합한 휴머노이드 로봇 NICO를 위한 새롭고 저비용인 심투리얼(sim-to-real) 파지 파이프라인을 제시한다.

원저자: Juraj Gavura, Igor Farkaš

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Juraj Gavura, Igor Farkaš

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇들이 새로운 스포츠를 배우려는 열정적인 학생과 같은 세상을 상상해 보세요. 그들은 물리 법칙이 완벽하고, 조명이 이상적이며, 아무것도 고장 나지 않는 비디오 게임 속에서는 아주 뛰어난 실력을 보여줍니다. 하지만 그 똑같은 로봇에게 게임 밖으로 나와 실제 세상으로 들어오라고 하면, 상황은 엉망이 됩니다. 실제 세상에는 흔들리는 관절, 약간 흐릿한 카메라, 그리고 코딩 속의 수학처럼 정확하게 작동하지 않는 중력이 존재합니다. 디지털 연습의 완벽함과 현실 세계의 무질서함 사이의 이 간극을 '심 투 리얼(sim-to-real)' 간극이라고 부릅니다. 이것이 바로 로봇이 시뮬레이션 속에서는 우아한 무용수처럼 보이다가도, 커피 한 잔을 집으려 할 때 자기 발에 걸려 넘어지는 이유입니다. 과학자들은 이 간극을 메우는 데 집착하고 있습니다. 왜냐하면 로봇이 실제 세상에서 물건을 안정적으로 잡을 수 없다면, 우리를 도와 집안일을 하거나 물건을 만들거나 사람들과 안전하게 상호작용할 수 없기 때문입니다. 큰 질문은 이것입니다: 세상이 자신의 훈련 매뉴얼과 일치하지 않을 때, 어떻게 로봇에게 자신의 눈과 근육을 믿도록 가르칠 것인가?

이 논문은 NICO(Neuro-Inspired COmpanion의 약자)라는 이름의 휴머노이드 로봇과, 테이블 위의 말랑말랑한 토마토를 집어 올히는 기술을 마스터하려는 NICO의 여정을 이야기합니다. 연구진인 유라이 가부라(Juraj Gavura)와 이고르 파르카시(Igor Farkaš)는 까다로운 문제에 직면했습니다. 이미 NICO에게 화면의 특정 지점을 매우 정확하게 터치하는 법을 가르쳤음에도 불구하고, 물체를 집어 올리는 것은 훨씬 더 어렵다는 점이었습니다. 물체를 집으려면 로봇이 물체를 보고, 3차원 공간에서 물체가 정확히 어디에 있는지 파악한 다음, 물체를 쓰러뜨리지 않고 손을 움직여 잡아야 합니다. 연구팀은 기존의 "터치스크린 훈련" 방식이 NICO가 물체를 잡는 데 도움이 될지, 아니면 새로운 기술이 필요할지 확인하고 싶었습니다.

그들은 두 가지 주요 전략을 시도했습니다. 첫 번째는 로봇의 "근육 기억"을 사용하는 것이었습니다. 그들은 컴퓨터 모델을 사용하여 로봇의 실제 서투름을 보완하기 위해 손을 얼마나 움직여야 하는지를 정확히 예측했습니다. 이것은 마치 코치가 선수에게 "네가 왼쪽 구석을 겨냥할 때, 팔이 그쪽으로 쏠리니까 실제로는 오른쪽으로 2인치 더 조준해"라고 말하는 것과 같습니다. 그들은 단순한 경험칙부터 복잡한 신경망(AI의 일종)에 이르기까지 세 가지 다른 버전의 코치를 테스트했습니다. 결과는 두 세계의 이야기였습니다: 로봇이 훈련했던 특정 영역 안에서는 복잡한 AI 코치가 슈퍼스타였으며, NICO가 토마토를 96.7%의 확률로 성공적으로 잡도록 도왔습니다. 그러나 로봇이 익숙한 구역 밖으로 벗어나자, AI 코치는 엉뚱한 추측을 하기 시작했고 성공률은 크게 떨어졌습니다. 결국 로봇의 "근육 기억"은 새로운 테이블 부분으로 일반화되는 데 서툴렀던 것입니다.

두 번째 전략은 로봇의 눈을 사용하는 "뜨겁다 차갑다(hot and cold)" 게임과 더 비슷했습니다. 미리 계산된 지도를 사용하는 대신, 그들은 NICO에게 시각적 피드백 루프를 제공했습니다. 로봇은 토마토 근처로 손을 움직이고, 자신의 손이 실제로 어디에 있는지 확인한 다음, 잡기 전에 완벽하게 정렬하기 위해 미세하게 조정합니다. 이것은 거울을 보며 바늘귀를 꿰는 것과 같습니다. 눈과 일치할 때까지 계속 움직이는 것입니다. 이 방식은 테이블에 대한 사전 훈련된 지도가 필요하지 않았습니다. 이 방법은 전체 작업 공간에서 놀라울 정도로 잘 작동하여, 전체적으로 72.7%의 성공률을 달al성했습니다. 실제로 로봇의 눈이 완벽하게 작동하여 자신의 손을 명확하게 볼 수 있을 때, 이 방식은 94.1%의 성공률을 기록했습니다.

이 논문은 "근육 기억" 보정이 매우 정밀한 영역 내에서는 탁월하지만, "시각 피드백" 방식이 전체 테이블에 대해 더 견고하고 적응력이 높다고 제안합니다. 연구진은 시각 피드백을 방해하는 주된 요인이 로봇의 뇌가 아니라 눈이라는 것을 발견했습니다. 때때로 로봇의 스테레오 카메라가 배경 때문에 혼란을 느껴 자신의 손이 정확히 어디에 있는지 파악하지 못했습니다. 하지만 눈이 제대로 작동할 때, 로봇은 거의 매번 토마토를 잡을 수 있었습니다. 궁극적으로 이 연구는 로봇에게 물건을 잡는 법을 가르치기 위해 값비싼 첨단 3D 카메라나 모션 캡처 슈트가 필요하지 않다는 것을 보여줍니다. 저렴한 카메라, 약간의 보정, 그리고 시각 피드백 루프를 영리하게 결합하면 목적을 달성할 수 있습니다. 저자들은 보정 방식이 자신의 홈 구장에서 챔피언이라면, 시각 피드백 방식은 무질서하고 예측 불가능한 실제 세상을 위한 더 나은 올라운더라고 결론지었습니다.

기술 요약: 휴머노이드 로봇 NICO의 Sim-to-Real 전이를 위한 최적화

문제 정의
로봇의 파지(grasping) 작업은 시각적 인지, 물체 위치 추정, 역기구학(IK), 그리고 핸드 제어의 정밀한 협응을 필요로 한다. 자율 조작의 주요 장벽은 "심투리얼(sim-to-real)" 격차이다. 즉, 시뮬레이션에서 계획된 움직임은 기계적 부정확성, 액추에이터의 불완전성, 센서 노이즈, 그리고 단순화된 모델 가설로 인해 실제 하드웨어에서 실패하는 경우가 많다. 저자들의 이전 연구는 저비용 햅틱 교정 방법을 사용하여 휴머노이드 로봇 NICO의 2D 도달 정확도를 성공적으로 개선했으나, 이를 복잡한 테이블탑 물체 파지로 확장하는 것은 여전히 도전적인 과제이다. 파지는 물체 탐지, 깊이 추정, 그리고 미세한 잔여 위치 오차가 작업 실패를 초-래할 수 있는 신뢰할 수 있는 실행 능력 등 추가적인 변수들을 도입한다.

방법론
저자들은 RGB-D 카메라, 모션 캡처 또는 외부 추적 시스템 없이 로봇에 내장된 저해상도 어안 스테레오 카메라만을 사용하는 완전하고 저비용인 파이프라인을 제안한다. 이 파이프라인은 다음 구성 요소들을 통합한다:

교정 기반 보정 모델 (Calibration-Based Correction Models): 이전 연구를 바탕으로, 본 시스템은 실세계의 추정된 물체 위치를 시뮬레이션의 목표 좌표로 매핑하기 위해 세 가지 보정 모델을 사용한다:
- M1 (Baseline): 수동 정렬 및 높이 보간법에 기반한 조각별 선형 매핑(piecewise linear mapping).
- M2 (Partially Nonlinear): 높이에 대해서는 보간법을 유지하면서, 수평 좌표에는 다층 퍼셉트론(MLP)을 사용하는 방식.
- M3 (Fully Nonlinear): 보정된 3D 목표 위치를 직접 예측하는 신경망.
  이 모델들은 이 특정 작업을 위해 재학습되지 않았으며, 그 효용성을 파지 맥락에서 평가하기 위한 보정 모듈로서 적용되었다.
비전 모듈 (Vision Module):
- 물체 및 손 탐지: 정확도와 속도의 균형을 고려하여 선택된 YOLO12s 프레임워크를 활용하며, 442장의 커스텀 데이터셋으로 학습되었다. 탐지기는 6개의 물체 클래스와 로봇의 왼손, 오른손을 식별한다.
- 스테레오 비전 위치 추정: 탐지 후, 스테레오 비전을 통해 로봇에 대한 물체의 3D 위치를 추정한다. 시스템은 (카메라 과열로 인한) 위치 추정 드리프트를 해결하기 위해, 예측된 위치를 고정된 피벗 지점(pivot point) 쪽으로 이동시키는 보정을 적용한다.
시각 피드백 정렬 (Visual Feedback Alignment, M4): 교정 기반 보정의 대안으로서, 저자들은 폐루프 시각 피드백 모델을 구현하였다. 이 접근 방식은 다음과 같다:
- 손을 물체 위 근처 위치로 이동시킨다.
- 스테레오 비전을 사용하여 손과 물체를 재탐지한다.
- $p^k_{IK} = p^{k-1}_{IK} + a_k(p_{obj} - p_{hand})$ 공식을 사용하여 IK 타겟을 반복적으로 조정하며, 이때 진동을 방지하기 위해 단계 크기 $a_k$ 를 줄여나간다.
- 손과 물체 사이의 수평 거리가 1cm 미만이 될 때까지 지속하며, 그 시점에 파지를 실행한다.
작업 특화 보정 (Task-Specific Corrections): 파이프라인은 탑다운(top-down) 파지 포즈를 보장하기 위해 수직(z축) 타겟과 팜 요(palm yaw) 각도를 보정하는 수동 측정 및 방사 기저 함수(RBF) 보간법을 포함한다.

주요 결과
시스템은 로봇의 도달 가능한 작업 공간 내 22개의 그리드 위치에 배치된 플러시 토마토를 대상으로 평가되었으며, 각 모델당 위치당 3회 시도(모델당 총 66회 시도)를 수행하였다.

교정 모델 (Calibration Models):
- M1 (Linear): 낮은 전체 성공률인 16.7% (11/66)를 기록했다.
- M3 (Fully Nonlinear): 교정 영역(NN Correction Area) 내에서 탁월한 성능을 보이며 96.7% (29/30)의 성공률을 달성했다. 그러나 교정 영역 외부에서는 성능이 크게 저하되어 전체 성공률은 57.6%를 기록했는데, 이는 외삽(extrapolation) 능력이 부족함을 나타낸다. 평균 예측 편차는 훈련 영역 내부의 2.14 cm에서 외부의 5.45 cm로 증가했다.
시각 피드백 모델 (M4):
- 전체 작업 공간에 대해 가장 높은 72.7% (48/66)의 전체 성공률을 달성했다.
- M3와 달리, 성능이 교정 영역에만 집중되지 않고 테이블탑 전체에서 성공적인 파지가 이루어졌다.
- 스테레오 비전이 손의 위치를 성공적으로 국지화했을 때(22개 위치 중 17개 위치), 해당 시도의 성공률은 94.1% (48/51)까지 상승했다.
- 주요 한계점은 특히 손 뒤의 배경이 멀리 있을 때 발생하는 손 위치 추정에 대한 스테레오 비전의 신뢰성 문제로 식별되었다.

의의 및 주장
본 논문은 제안된 파이프라인이 값비싼 센서에 의존하지 않고도 휴머노이드 파지에서의 심투리얼 전이를 위한 견고하고 저비용인 솔루션을 제공한다고 주장한다. 저자들은 두 가지 주요 발견을 강조한다:

교정의 전이 가능성: 2D 도달 작업에 최적화된 햅틱 교정 방법은 물체 파기에도 효과적으로 적용될 수 있으며, 특히 완전 비선형 모델(M3)은 해당 교정 작업 공간 내에서 완벽에 가까운 성능을 보여준다.
시각 피드백의 강건성: 시각 피드백 모델(M4)은 전체 테이블탑 작업 공간에 대해 더 일반화된 솔루션을 제공한다. 이 모델은 잔여 위치 추정 및 실행 오차를 보정하며, 모델이 훈련 데이터를 벗어나 외삽할 필요 없이 가장 높은 전체 성공률을 달성한다.

본 연구는 물체 탐지, 스테레오 비전, 그리고 교정 기반 보정 또는 시각 피드백의 조합이 제약된 저비용 환경에서 심투리얼 격차를 극복할 수 있음을 입증하며, 대규모 데이터셋이나 깊이 센서를 요구하는 복잡한 학습 기반 정책에 대한 실질적인 대안을 제시한다.

유사한 논문