Beyond Relative Geometry: Metric-Aware Geometry Perception for Robotics

우리가 사는 세상을 움직이는 로봇들은 근본적인 난제에 직면해 있습니다. 바로 자신이 보는 것을 어떻게 행동으로 옮길 것인가 하는 문제입니다. 수년 동안 인공지능 시스템은 인간이 사진을 보는 것처럼 평면적인 이미지를 통해 사물을 인식하고 장면을 이해하는 데 매우 뛰어난 능력을 갖추게 되었습니다. 하지만 컵의 사진을 보는 것과 손을 뻗어 그것을 잡는 것은 매우 다른 일입니다. 물리적인 세계와 상호작용하기 위해서 기계는 단순한 시각적 지도 그 이상이 필요합니다. 즉, 사물이 정확히 얼마나 멀리 있는지, 그리고 실제 크기가 얼마인지를 알아야 합니다. 이러한 정밀한 규모감이 없다면, 로봇은 작은 장난감을 커다란 상자로 오해하거나, 문이 실제로는 몇 피트 떨어져 있음에도 불과 몇 인치 앞에 있다고 생각할 수도 있습니다. 보는 것과 실제 크기를 아는 것 사이의 이러한 간극은 방을 정리하거나 가구를 조립하는 것과 같은 복잡한 작업을 수행하기 위해 필요한 로봇의 정교함을 구현하는 데 오랫동안 장벽이 되어 왔습니다.

한 연구팀은 이 간극을 메우기 위한 새로운 접근 방식을 개발하여, 로봇이 단순히 상대적인 형태가 아닌 실제 측정 가능한 차원으로 세상을 인지할 수 있게 하는 시스템을 만들었습니다. '메트릭 인식 기하학적 인지(Metric-Aware Geometry Perception, MAGP)'라고 알려진 이들의 연구는 기계가 일관된 규모감을 가지고 3차원 장면을 재구성하도록 가르치며, 이를 통해 로봇이 의자를 왼쪽에서 보든, 오른쪽에서 보든, 혹은 정면에서 보든 의자가 동일한 크기로 보이도록 보장합니다. 로봇의 시각을 실제 물리적 측정값에 고정함으로써, 이 시스템은 더 신뢰할 수 있고 정밀한 움직임을 가능하게 하여 모호한 공간적 추측을 구체적이고 실행 가능한 데이터로 바꿔줍니다.

오랫동안 최고의 컴퓨터 비전 모델들은 장면의 '상대적' 지도만을 구축할 수 있었습니다. 방 안의 사진을 보고 있는데, 가구들의 모양과 위치는 올바르게 보이지만 소파의 길이가 2미터인지 2센티미터인지 알 수 없는 상황을 상상해 보십시오. 모델은 사물 간의 관계—램프가 탁자 위에 있고, 탁자가 바닥 위에 있다는 것—는 이해하지만, 그것들에 실제 크기를 부여할 수는 없습니다. 이는 방 안에 무엇이 있는지를 식별하는 데는 문제가 없지만, 로봇이 팔을 움직여야 할 때는 실패를 초축합니다. 만약 로봇의 내부 지도가 실제 자를 사용한 것이 아니라 추측에 기반하여 통로가 지나갈 만큼 넓다고 판단한다면, 로봇은 벽에 충돌할 수 있습니다. 문제는 표준 카메라가 원근법을 포착한다는 점인데, 멀리 있는 물체는 작게 보이고 가까이 있는 물체는 크게 보이기 때문에 컴퓨터가 이미지 자체에만 의존할 경우 규모를 잘못 파악하기 쉽다는 것입니다.

연구진은 기존 방식들이 카메라가 얼마나 이동했는지 또는 장면의 깊이가 어느 정도인지를 알려주는 특정 단서들을 종종 무시한다는 사실을 발견했습니다. 대신, 기존 방식들은 커피 머그잔이 머그잔처럼 보이기 때문에 표준 크기일 것이라고 가정하는 등, 사물의 외형을 바탕으로 크기를 추측하는 경傾向이 있었습니다. 이러한 접근 방식은 취약합니다. 조명이 변하거나 로봇이 특이한 각도에서 사물을 보게 되면 그 추측은 크게 빗나갈 수 있기 때문입니다. 새로운 시스템인 MAGP는 추측을 멈추고 측정을 시작하도록 설계되었습니다. 이는 로봇의 두 번의 스냅샷 사이의 거리나 레이저 스캐너의 깊이 정보와 같이 로봇의 센서가 제공하는 물리적 데이터에 집중하도록 컴퓨터를 강제함으로써 이루어집니다.

시스템이 시각적 추측 대신 이러한 물리적 단서에 의존하도록 훈련하기 위해, 연구진은 영리한 훈련 기법을 사용했습니다. 그들은 장면을 가져온 뒤, 사진은 똑같이 유지하면서 거리 측정값과 카메라의 움직임의 규모를 인위적으로 변경했습니다. 만약 로봇의 내부 모델이 장면의 모습에 기반해 단순히 추측하는 것이라면, 변화에 적응하지 못했을 것입니다. 하지만 시스템이 변화하는 숫자를 따르도록 훈련되었기 때문에, 물리적 데이터가 변할 때마다 방의 크기에 대한 정신적 지도를 업데이트하는 법을 배웠습니다. '메트릭 스케일 등변 증강(metric scale equivariant augmentation)'이라고 불리는 이 과정은, 카메라가 두 배로 움직이면 사물의 모습과 상관없이 방도 두 배로 커져야 한다는 것을 모델에게 가르쳤습니다.

그 결과, 로봇은 일관된 자를 가지고 세상을 보게 되었습니다. 실제 방과 사물의 데이터셋을 사용한 테스트에서, 이 새로운 시스템은 거리 측정 오차를 2미터 이상에서 단 7센티미터로 줄였습니다. 이는 모호하고 불확실한 추정치를 날카롭고 신뢰할 수 있는 측정값으로 바꾸는 엄청난 개선입니다. 이 시스템은 로봇이 다른 유형의 센서를 사용하거나 일부 데이터가 누락된 경우에도 작동하며, 가용한 정보에 맞춰 공간의 일관된 그림을 구축하도록 적응합니다.

이 새로운 인지 시스템이 실제 로봇 제어 소프트웨어에 연결되었을 때, 성능의 차이는 명확했습니다. 물체를 옮기는 표준 작업 세트에서, 메트릭 인식 시스템을 사용하는 로봇은 기존 방식을 사용하는 로봇보다 더 자주 성공했습니다. 두 팔을 함께 사용하는 로봇을 대상으로 한 특정 테스트에서는 성공률이 6퍼센트 포인트 이상 급증했습니다. 로봇들은 그리퍼를 정확히 어디에 놓아야 하는지, 얼마나 멀리 뻗어야 하는지를 더 잘 파악하여 실수를 줄이고 더 부드러운 움직임을 보여주었습니다. 심지어 로봇이 이전에 본 적 없는 과업을 수행할 때도, 이 시스템은 그들이 빠르게 적응하도록 도와주었으며, 이는 진정한 규모에 대한 이해가 일반 지능을 위한 강력한 도구임을 보여주었습니다.

이 연구는 로봇이 물리적 세계를 진정으로 마스터하기 위해서는 환경을 평면적인 이미지로 취급하는 것을 멈추고, 측정 가능한 공간으로 취급해야 함을 시사합니다. 시각을 실제 세계의 차원에 접목함으로써, 이 기계들은 단순히 사물을 인식하는 수준을 넘어 인간의 손과 같은 자신감과 정밀함으로 사물과 상호작용할 수 있습니다. 연구진은 로봇이 사물의 크기를 정확히 알 때, 단순히 보는 것보다 훨씬 더 많은 것을 할 수 있다는 것을 입증했습니다.