RoboSynChallenge: Mastering Real-World Dexterity via Generalizing Synthesized Manipulation Skills

로봇에게 샌드위치를 만드는 법을 가르친다고 상상해 보세요. 단순히 매뉴얼을 건네주는 것만으로는 안 됩니다. 로봇은 연습이 필요합니다. 하지만 문제는 실제 로봇은 비싸고, 느리며, 만약 빵을 떨어뜨리면 여러분이 직접 치워야 한다는 점입니다. 이것이 바로 '체화된 지능(embodied intelligence)'의 핵심입니다. 이 분야는 기계에게 몸체를 부여하고, 그 몸을 사용하여 무질서하고 예측 불가능한 현실 세계를 사용하는 뇌를 주는 데 전념하고 있습니다. 수년 동안 과학자들은 딜레마에 빠져 있었습니다. 시뮬레이션(비디오 게임)에서는 실수가 무료이고 데이터가 무한하기 때문에 로봇을 가르칠 수 있지만, 로봇이 실제 주방으로 발을 내디딜 때면 가상 세계가 실제와 똑같이 느껴지지 않아 종종 실패하곤 합니다. 디지털 연습과 물리적 현실 사이의 이 간극은 우리를 도울 수 있는 로봇을 구축하는 데 있어 가장 큰 장애물입니다. 중요한 질문은 단순히 "로봇이 과업을 수행할 수 있는가?"가 아니라, "비디오 게임에서 배운 내용이 조명이 바뀌거나, 테이블이 흔들리거나, 고양이가 지나가는 상황에서도 여전히 작동할 수 있는가?"입니다.

새로운 경쟁 대회인 RoboSynChallenge는 로봇 손을 위한 거대하고 고도의 긴장감이 넘치는 훈련 캠프 역할을 합니다. 이 챌린지의 연구진은 진정으로 스마트한 로봇을 만들기 위해서는 인간이 수집한 작고 비싼 데이터셋에 의존하는 것을 멈추고, '생성형(generative)' 데이터, 즉 로봇이 스스로 수백만 개의 연습 시나리오를 꿈꿀 수 있는 능력을 사용해야 한다는 점을 깨달았습니다. 이 논문은 이 끝없는 합성 컴퓨터 생성 연습 데이터 스트림과 소량의 실제 세계 데이터를 혼합하는 통합 시스템을 소개합니다. 목표는 로봇이 시뮬레이터에서 기술을 배우고, 약간의 '실제 생활' 양념을 더한 뒤, 부품을 조립하거나 물리적인 로봇 팔에 물을 붓는 것과 같은 복잡한 과업을 성공적으로 수행할 수 있는지 확인하는 것입니다. 저자들은 자신들이 아직 로봇 지능의 문제를 해결했다고 주장하는 것이 아닙니다. 대신, 이 "꿈꿔낸" 레슨들이 현실로 얼마나 잘 전달되는지를 측정하기 위한 엄격한 테스트장을 구축하여, 서로 다른 로봇의 뇌를 공정하게 비교할 수 있는 방법을 제공하고자 합니다.

문제점: 로봇 훈련의 "불쾌한 골짜기"

당신이 운전을 배우고 있다고 상상해 보세요. 당신은 운전 시뮬레이터에서 100시간을 보냈습니다. 그래픽은 완벽하고, 물리 법칙은 매끄러우며, 절대 충돌하지 않습니다. 하지만 실제 자동차 운전대를 잡는 순간, 스티어링은 더 무겁게 느껴지고, 브레이크는 더 푹신하며, 바람 소리는 다르게 들립니다. 당신은 사고를 낼 수도 있습니다. 이것이 **Sim2Real gap(시뮬레이션 투 리얼 간극)**입니다. 로봇 공학에서 시뮬레이터는 데이터를 생성하는 데 매우 훌륭하지만, 종종 너무 완벽합니다. 실제 삶은 무질서합니다.

이전의 대회들은 시뮬레이션에만 전적으로 의존하거나(쉬운 방법이지만 실제 세계에 대해서는 아무것도 증명하지 못함), 실제 세계의 데이터를 수집하는 방식(매우 느리고 비용이 많이 듦) 중 하나를 선택하여 이 문제를 해결하려 했습니다. RoboSynChallenge 팀은 미래가 하이브리드 접근 방식에 있다고 주장합니다. 즉, 방대한 양의 합성 데이터를 사용하여 로봇에게 기초를 가르치고, 소량의 실제 데이터를 사용하여 그 감각을 "미세 조정(fine-tune)"하는 것입니다.

해결책: 로봇을 위한 "꿈 공장"

이 논문의 핵심은 로봇의 경험을 위한 공장 역할을 하는 파이프라인입니다.

1. 꿈 공장 (합성 데이터): EmbodiChain이라는 도구를 사용하여 시스템은 자동으로 수천 번의 로봇 실험을 생성합니다. 이는 마치 비디오 게임 엔진처럼 조명, 테이블의 질감, 물체의 색상, 심지어 카메라 각도까지 무작위로 변경합니다. 하나의 시나리오당 1,000가지 버전의 과업을 만들어냅니다.
2. 현실 점검 (실제 데이터): 로봇이 현실에 기반을 두게 하기 위해, 실제 세계에서 원격 제어(teleoperation)를 통해 인간이 로봇을 조종하여 수집한 더 작은 데이터 세트도 함께 사용했습니다.
3. 공동 훈련 (Co-Training): 로봇은 "꿈"(시뮬레이션)과 "현실"(원격 제어) 모두로부터 학습합니다. 이는 로봇이 한 번도 본 적 없는 상황을 처리할 수 있도록, 즉 일반화(generalize)할 수 있도록 설계되었습니다.

경기장: 로봇이 수행해야 할 과업

이 대회는 단순히 블록을 집는 것에 관한 것이 아닙니다. 로봇이 얼마나 "숙련되었는지(dexterous, 손을 사용하는 기술)"를 테스트하기 위해 설계된 3단계 난이도 사다리입니다. 사용되는 로봇은 **듀얼 암 플랫폼(dual-arm platforms, 두 개의 로봇 팔)**으로, 이는 단일 암 로봇보다 훨씬 어려운 과업을 수행하게 합니다.

• 입문 단계 (워밍업): 피처에서 컵으로 물을 붓거나, 테이블 위의 물건을 재배치하거나, 종을 누르는 것과 같은 간단한 과업입니다. 여기서의 목표는 로봇이 물건을 떨어뜨리지 않고 기본적인 동작을 수행할 수 있는지 확인하는 것입니다.
• 중급 단계 (협응 테스트): 두 팔 사이의 팀워크를 요구합니다. 한쪽 팔이 서랍을 열고 있는 동안 다른 쪽 팔이 그 안에 물건을 넣거나, 한쪽 팔이 다른 쪽 팔에 물건을 건네주는 상황을 상상해 보세요. 로봇은 타이밍과 힘을 조절해야 합니다.
• 고급 단계 (마스터클래스): 가장 어려운 단계입니다. 작은 부품을 조립하거나, 피펫(액체를 옮기는 아주 작은 도구)을 사용하거나, 샘플을 기계에 로딩하는 것과 같이 정밀한 작업이 포함됩니다. 이는 높은 정밀도와 무언가 잘못되었을 때 회복할 수 있는 능력을 요구합니다.

게임의 규칙

경쟁의 공정성을 보장하기 위해 주최측은 로봇이 어떻게 테스트될지에 대한 엄격한 규칙을 설정했습니다. 그들은 로봇을 단 한 번만 테스트하지 않습니다. 로봇은 다섯 가지 유형의 혼돈(chaos) 속에서 테스트됩니다:

1. 배경: 식탁보의 질감 변경 (나무, 파란 천, 노란 격자무늬).
2. 조명: 조명을 이동시키고 색상을 변경.
3. 물체: 로봇이 본 적 없는 동일한 종류의 새로운 버전의 물체 사용.
4. 방해 요소: 로봇을 혼란스럽게 하기 위해 테이블 위에 쓸모없는 물건들을 추가 (2개, 4개 또는 8개).
5. 위치: 로봇이 훈련받지 않은 위치로 물체의 시작 지점을 이동.

로봇은 성공률(Success Rate) (과업을 완료했는가?), 추론 시간(Inference Time) (얼마나 빨리 생각했는가?), 그리고 행동 단계(Action Steps) (혼란스러워하거나 갇혀서 너무 많은 단계를 거치지는 않았는가?)를 기준으로 평가됩니다.

결과: 우리가 현재 알고 있는 것들

이 논문은 성능을 확인하기 위해 다섯 가지 서로 다른 로봇 뇌 아키텍처(베이스라인)를 포함한 "스타터 키트"를 제공합니다. 여기에는 트랜스포머(Transformer)(대규모 언어 모델에 쓰이는 것과 유사한 모델), 확산 모델(Diffusion Models)(노이즈를 역전시켜 데이터를 생성하는 모델), 그리고 월드 모델(World Models)(다음에 어떤 일이 일어날지 예측하려는 모델) 기반의 모델들이 포함됩니다.

표에 요약된 결과는 다음과 같습니다:

• 시뮬레이션만으로 훈련할 경우: 로봇은 빠르지만 실제 세계가 복잡해지면 실패하는 경우가 많습니다.
• 실제 데이터만으로 훈련할 경우: 속도가 느리고 새로운 상황에 대한 일반화 능력이 떨어지는 경우가 많습니다.
• "공동 훈련(Co-Training)" 접근 방식: 두 가지를 혼합하는 방식은 유망함을 보여주지만, 논문은 단 하나의 모델도 아직 문제를 해결하지 못했다는 점을 주의 깊게 명시하고 있습니다. 예를 들어, 가장 어려운 "아이템 조립(Item Assembly)" 과업에서 대부분의 모델은 실제 세계에서 훈련 후에도 0/20(성공 횟수 0)의 점수를 기록했습니다.
• Motus 모델(World-Action-Model)은 시뮬레이션에서 가장 좋은 결과를 보였으나, 실제 세계에 배치했을 때는 여전히 상당한 어려움을 겪었습니다. 이는 Sim2Real 간극이 여전히 얼마나 어려운 과제인지를 강조합니다.

이것이 왜 중요한가

RoboSynChallenge는 로봇이 내일 당장 세상을 지배할 준비가 되었다고 주장하는 것이 아닙니다. 대신, 우리는 진보를 측정하기 위해 필요한 **표준화된 자(standardized ruler)**를 구축하고 있는 것입니다. 오픈 소스 도구, 방대한 데이터셋, 그리고 엄격한 테스트 프로토콜을 제공함으로써, 저자들은 과학계 전체가 추측을 멈추고 측정을 시작하도록 초대하고 있습니다. 그들은 이렇게 묻고 있습니다: "만약 우리가 꿈속에서 로봇을 가르친다면, 그 꿈의 얼마만큼을 현실로 가져올 수 있을까?"

논문은 우리가 강력한 데이터를 생성하는 도구를 가지고 있음에도 불구하고, "시뮬레이션상의 성공"에서 "실제 세계의 숙련도"로 넘어가는 것은 여전히 거대한 장벽이라고 결론짓습니다. 이 챌린지는 단순히 비디오 게임 속에서만 똑똑한 것이 아니라, 적응력이 있고 견고하며, 우리의 실제적이고 무질서하며 예측 불가능한 삶을 도울 준비가 된 차세대 로봇의 뇌를 육성하는 것을 목표로 합니다. 범용 로봇 지능을 향한 여정은 이제 막 시작되었으며, 이 챌린지는 지도 위의 첫 번째 주요 체크포인트입니다.