UNITAS: A 3D-Native World Action Model for Embodied Manipulation
UNITAS는 로봇과 인간의 손 동작을 공유된 미터법 3D 공간 내의 장면 역학(scene dynamics)과 통합하여, 행동 조건부 장면 예측 및 실제 세계 조작 작업 모두에서 최첨단 성능을 달면하는 선구적인 17억 파라미터 규모의 3D 네이티브 월드 액션 모델입니다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
로봇은 오랫동안 물리적 세계를 단순히 이미지의 집합이 아니라, 사물이 움직이고 충돌하며 변화하는 공간으로 이해하는 데 어려움을 겪어 왔습니다. 수십 년 동안 연구자들은 기계에게 영상을 보여줌으로써 다음에 어떤 일이 일어날지를 예측하도록 가르치려 노력해 왔습니다. 이러한 시스템은 영화의 다음 프레임을 추측하는 법을 배우며, 만약 시각적인 미래를 예측할 수 있다면 로봇 팔을 어떻게 움직여 그 미래를 실현할 수 있을지도 알아낼 수 있기를 희망합니다. 그러나 이 접근 방식에는 근본적인 결함이 있습니다. 비디오는 3차원 세계를 평면적으로 투영한 것에 불과하다는 점입니다. 사진 속에서 멀리 있는 작은 물체는 가까이 있는 큰 물체와 똑같은 크기로 보일 수 있으며, 몇 픽셀의 움직임은 카메라 각도에 따라 아주 미세한 변화일 수도 있고 거대한 도약일 수도 있습니다. 이로 인해 로봇이 정확히 얼마나 멀리 손을 뻗어야 하는지, 혹은 얼마나 세게 밀어야 하는지 아는 것은 매우 어렵습니다. 카메라의 시각적 언어는 물리적 거리의 언어를 말하지 않기 때문입니다.
이 간극을 메우기 위해, 연구진은 평면 이미지를 완전히 건너뛰고 3차원 공간에서 직접 작동하는 새로운 종류의 모델을 개발했습니다. 다음 장면을 예측하는 대신, 이 시스템은 공간의 점들이 어떻게 움직일지를 예측합니다. 이 시스템은 세상을 이동하고 흐르는 좌표들의 집합으로 취급하며, 이를 통해 로봇이 카메라가 어디를 보고 있든 관계없이 자신의 행동이 가져올 물리적 결과를 이해할 수 있게 합니다. 영화를 보는 것에서 물리적 공간을 매핑하는 것으로의 이러한 전환은, 로봇에게 세상이 어떻게 돌아가는지에 대한 진정한 감각을 부여하는 중요한 단계이며, 선반을 정리하거나 가방을 싸는 것과 같은 복잡한 작업을 인간이 가진 것과 같은 신뢰도로 수행할 수 있는 능력에 더 가깝게 다가가는 것을 의미합니다.
이 연구의 배경이 된 연구진은 UNITAS라고 명명된 그들의 창조물을 통해 특정한 문제를 해결하고자 했습니다. 그것은 바로 로봇이 무엇을 보는지, 무엇을 하는지, 그리고 그에 반응하여 세상이 어떻게 변하는지를 하나의 공유된 프레임워크 안에서 어떻게 통합할 것인가 하는 문제였습니다. 이전의 시도들은 종-학습된 비디오 생성기에 의존하는 경우가 많았는데, 이들은 현실적인 이미지를 만드는 데는 뛰어나지만 물리 법칙을 준수하는 데는 자주 실패합니다. 비디오 모델은 컵이 탁자 위를 미끄러지는 것을 예측할 수도 있지만, 컵이 현실에서는 불가능한 방식으로 늘어나거나 뒤틀리는 모습, 혹은 움직이지 말아야 할 배경이 밀려나는 모습 등을 예측할 수도 있습니다. 새로운 모델인 UNITAS는 이러한 시각 우선적 접근 방식을 거부합니다. 대신, 모든 관찰, 모든 로봇의 움직임, 그리고 환경의 모든 변화를 3차원 좌표라는 동일한 미터법 언어로 기술하는 '3D 네이티브' 세계를 구축합니다.
이 시스템에서 로봇은 단순히 카메라 피드를 바라보는 것이 아니라, 주변 공간의 정신적 지도를 구축합니다. 로봇이 손이나 그리퍼를 움직이면, 모델은 그 손의 특정 점들이 공중을 가로질러 이동하는 경로를 추적합니다. 동시에, 꽃병이나 책과 같은 근처 물체의 점들이 그에 반응하여 어떻게 변하는지도 추적합니다. 연구진은 실제 로봇의 기록, 양손 작업의 시뮬레이션, 그리고 인간의 손이 유사한 동작을 수행하는 영상 등을 포함한 방대한 혼합 데이터를 사용하여 모델을 훈련시켰습니다. 인간의 손과 로봇 그리퍼의 움직임을 동일한 유형의 3차원 궤적으로 취급함으로써, 모델은 보편적인 움직임의 언어를 배웠습니다. 모델은 인간의 손가락이든 금속 갈퀴든, 물체를 밀 때의 물리 법칙은 동일하다는 것을 학습했습니다.
이 시스템의 핵심은 인간이 물리적 세계를 경험하는 방식과 일치하는 시간과 운동의 표현 방식입니다. 카메라에 따라 속도가 달라질 수 있는 비디오 프레임을 세는 대신, 모델은 시간을 실제 초 단위로 측정합니다. 모델은 움직임을 특정 기간 동안 점의 전체 경로를 나타내는 단일한 연속 토큰으로 분해합니다. 이를 통해 시스템은 고속으로 기록된 데이터와 저속으로 기록된 데이터 등 서로 다른 출처의 데이터를 혼란 없이 처리할 수 있습니다. 모델에게 "꽃을 꽃병에 꽂아라"와 같은 과업이 주어지면, 모델은 단순히 그 동작의 영상을 생성하는 것이 아닙니다. 모델은 그리퍼가 가야 할 정밀한 3차원 경로를 계산하고, 꽃과 꽃병의 점들이 그 동작에 맞춰 어떻게 움직여야 하는지를 정확히 예측합니다.
이러한 접근 방식의 결과는 놀랍습니다. 엄격한 테스트 시리즈에서 이 모델은 기존 시스템이 도달할 수 없었던 수준의 정밀도를 보여주었습니다. 로봇이 움직인 후 장면이 어떻게 변할지 예측하라는 요청에 대해, UNITAS는 기존 최고의 3D 모델들과 비교했을 때 예측 오차를 거의 절반 가까이 줄였습니다. 복잡한 조작 기술을 테스트하기 위해 설계된 시뮬레이션 환경에서, 이 시스템은 비디오 생성에 의존하는 더 큰 규모의 모델들을 능가하며 LIBERO라고 알려진 표준 벤치마크에서 99.8퍼센트의 성공률을 달적인했습니다. 더욱 중요한 것은, 연구진이 실제 물리 세계의 로봇에 이 모델을 테스트했을 때 높은 성능을 유지했다는 점입니다. 선반에 책을 정리하거나 공을 가방에 넣는 작업에서 로봇은 각각 90%와 80%의 성공률을 기록하며, 다른 선도적인 방법들을 크게 앞질렀습니다.
연구진은 또한 카메라 각도의 변화나 예상치 못한 장애물과 같은 환경의 변화를 시스템이 얼마나 잘 처리하는지도 테스트했습니다. 모델은 변화하는 카메라 뷰가 아니라 고정된 3차원 공간에 기반을 두고 있기 때문에, 시각적 입력이 변하더라도 견고함을 유지했습니다. 카메라가 이동하거나 조명이 바뀌더라도 로봇 팔을 올바르게 움직이는 방법을 여전히 파악할 수 있었습니다. 이는 모델이 단순히 특정 시각적 패턴을 암기한 것이 아니라, 과업의 기하학적 구조를 진정으로 학습했음을 시사합니다. 시각적 외형이 아닌 물리적 결과를 예측하는 능력이 이러한 견고함의 핵심인 것으로 보입니다.
이 연구의 가장 주목할 만한 측점 중 하나는 서로 다른 유형의 로봇, 심지어 인간과 기계 사이에서도 지식을 전이할 수 있는 능력입니다. 모델은 인간의 손, 외팔 로봇, 양팔 로봇의 데이터로 훈련되었지만, 학습한 내용을 어떤 형태의 로봇에도 매끄럽게 적용할 수 있었습니다. 인간의 손이 과업을 시연하면, 모델은 그 움직임을 로봇 그리퍼를 위한 계획으로 번역할 수 있었고, 그 반대도 마찬가지였습니다. 이러한 통합은 조작의 물리적 규칙이 보편적이며, 물질의 3차원 흐름에 집중함으로써 기계가 자신의 구체적인 형태와 무관하게 세상과 상호작용하는 법을 배울 수 있음을 시사합니다.
이 연구의 함의는 단순히 로봇 성능의 향상을 넘어섭니다. 행동과 결과가 직접 연결된 공유 미터법 공간으로서 세상을 다룸으로써, 연구진은 체화된 지능(embodied intelligence)을 위한 새로운 토대를 마련했습니다. 이 접근 방식은 로봇이 관점과 조명의 모호함을 가진 인간과 똑같은 방식으로 세상을 '보아야' 한다는 생각에서 벗어납니다. 대신, 로봇에게 물리적 공간에 대한 직접적인 이해를 제공합니다. 모델은 미래의 비디오를 상상할 필요가 없습니다. 단지 공간 내 점들의 궤적을 계산할 뿐입니다. 이러한 명확성은 시스템이 시각적 착각을 해석하거나 카메라 아티팩트를 수정하는 데 시간을 낭비할 필요가 없게 함으로써, 더 빠르고 신뢰할 수 있는 의사결정을 가능하게 합니다.
결국, UNITAS의 성공은 그 이면의 수학적 복잡성에도 불구하고 개념의 단순함에 있습니다. 로봇이 세상을 조작하기 위해서는 세상을 2차원이 아닌 3차원으로 이해해야 한다는 점을 인식하고 있습니다. 예측을 물리적 좌표에 기반하고 시간을 프레임이 아닌 초 단위로 측정함으로써, 모델은 이전에는 도달할 수 없었던 수준의 정확성과 신뢰성을 달성했습니다. 연구진은 로봇에게 영화를 보게 하는 대신 물리적 공간을 매핑하도록 가르칠 때, 로봇이 우리 일상생활을 도울 수 있는 범용 로봇이라는 꿈에 한 걸음 더 다가갈 수 있는 확신과 정밀함을 가지고 움직일 수 있다는 것을 보여주었습니다. 나아가야 할 길은 명확합니다. 로봇 조작의 미래는 더 나은 카메라가 아니라, 우리가 공유하는 3차원 세계에 대한 더 깊고 직접적인 이해에 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.