Geometry-aware attention for robust visual odometry

세상을 항해하기 위해 로봇이나 자율주행 자동차는 자신이 어디에 있고 어디로 가고 있는지를 알아야 합니다. 이미 가지고 있는 지도를 신뢰할 수는 없는데, 종종 새롭고 미지의 환경에 진입하기 때문입니다. 대신, 카메라는 지나가는 세상을 관찰함으로써 자신의 움직임을 파악해야 합니다. 시각적 주행 거리 측정(visual odometry)이라고 알려진 이 과정은, 마치 어두운 방을 걷는 사람이 벽을 느끼고 주변 시야에서 가구가 어떻게 움직이는지 관찰하며 자신의 경로를 추측하려는 것과 같습니다. 수십 년 동안 과학자들은 기계에게 두 가지 서로 다른 규칙을 부여하여 이를 가르치려 노력해 왔습니다. 한 세트의 규칙은 기계가 전체 장면을 하나의 덩어리로 보고, 이미지 전체에 걸쳐 빛과 색상이 어떻게 변하는지 주목하도록 지시합니다. 이는 큰 그림을 보는 데는 좋지만, 조명이 변하거나 카메라가 너무 빠르게 움직이면 혼란을 겪을 수 있습니다. 다른 규칙은 기계가 테이블 모서리나 벽의 특정 벽돌처럼 날카롭고 뚜렷한 점들에만 집중하도록 지시합니다. 이는 매우 정밀하지만, 벽이 아무런 특징이 없거나 카메라 렌즈가 더러워지면 완전히 실패하게 됩니다.

오랫동안 엔지니어들은 이 두 가지 접근 방식 중 하나를 선택해야 했으며, 기계가 큰 그림을 잘 보거나 혹은 날카로운 세부 사항을 잘 추적하거나 둘 중 하나만 할 수 있다는 점을 받아들여야 했습니다. 이러한 한계로 인해 로봇은 비가 내리는 상황에서 운전하거나, 붐비는 방을 걷거나, 특징 없는 좁은 복도를 통과하는 드론을 비행하는 것과 같은 현실 세계의 혼돈에 직면했을 때 자주 비틀거렸습니다. 이제 브라질과 캐나다의 연구진이 이 문제를 해결하기 위한 새로운 방법을 제안했습니다. 그들은 선택할 필요가 없는 시스템을 구축했습니다. 대신, 세상의 넓은 시야와 특정 지점의 날카로운 세부 사항을 동시에 사용하도록 학습시켜, 한 방법의 약점이 다른 방법의 강점으로 보완되도록 결합했습니다.

허드슨 브루노(Hudson Bruno)와 그의 동료들이 이끄는 연구진은 DDI-VO라고 부르는 새로운 아키텍처를 만들었습니다. 이름은 'Deep Direct-Indirect Visual Odometry'의 약자로, 이 시스템이 어떻게 작동하는지를 설명합니다. 이 시스템은 병렬로 작동하는 두 가지 주요 부분으로 구성됩니다. 첫 번째 부분은 광각 관찰자 역할을 합니다. 이 부분은 이미지 쌍 전체를 보며 빛의 흐름, 지면의 질감, 그리고 환경의 일반적인 형태를 받아들입니다. 이 부분은 맥락을 이해하는 데 매우 뛰어난데, 예를 들어 도로가 젖어 있고 흐릿하더라도 도로가 앞으로 뻗어 나가는 것을 보고 차가 앞으로 이동하고 있다는 것을 아는 식입니다. 두 번째 부분은 세부 사항에 집중하는 추적자 역할을 합니다. 이 부분은 건물의 모서리나 벽의 뚜렷한 패턴과 같이 이미지 속의 구체적이고 날카로운 점들을 찾아내어 밀접하게 추적합니다. 이 부분은 정확한 거리를 측정하는 데 탁월하지만, 벽이 평범한 흰색이거나 카메라가 너무 많이 흔들리면 길을 잃을 수 있습니다.

이 설계의 천재성은 이 두 부분이 서로 대화하는 방식에 있습니다. 시스템 중앙에는 광각 뷰와 날카로운 점들 중 어느 쪽을 얼마나 신뢰할지 결정하는 메커니즘이 있습니다. 도시를 걷는 항해사를 상상해 보십시오. 때때로 항해사는 자신이 어느 방향을 향하고 있는지 알기 위해 스카이라인 전체를 봅니다. 또 다른 때는 정확히 어디에 있는지 알기 위해 특정 표지판을 봅니다. 이 새로운 시스템은 이를 자동으로 수행합니다. 카메라 렌즈가 물방울로 덮여 있다면, 시스템은 물방작으로 인해 발생하는 흐릿하고 왜곡된 점들을 무시하고 장면의 전체적인 형태에 더 의존하는 법을 배웁니다. 만약 카메라가 뚜렷한 특징이 없는 긴 빈 백색 복도를 통로하고 있다면, 시스템은 존재하지 않는 특정 점들을 찾으려 애쓰기보다 전체 이미지의 미묘한 변화로 초점을 옮깁니다. 이러한 동적인 초점 전환 능력 덕분에 기계는 시각적 조건이 최악인 상황에서도 계속해서 앞으로 나아갈 수 있습니다.

시스템이 이러한 결정을 내리는 방법을 가르치기 위해, 연구진은 영리한 훈련 전략을 사용했습니다. 그들은 단순히 기계를 복잡한 주행 시뮬레이션에 바로 던져 넣지 않았습니다. 대신, 더 간단한 작업부터 시작했습니다. 그들은 시스템이 카메라 각도가 변할 때 종이나 벽과 같은 평평한 표면이 어떻게 움직이고 왜곡되는지를 이해하도록 가르쳤습니다. 이것은 기계가 공간 속에서 형태들이 서로 어떻게 관계를 맺는지 이해하는 데 도움이 되는 근본적인 기하학적 기술입니다. 시스템이 이 기초적인 기하학을 숙달한 후에, 연구진은 카메라가 3차원 환경을 통해 정확히 어떻게 움직였는지를 파악하는 더 어려운 과제를 가르쳤습니다. 저자들이 '커리큘럼'이라고 부르는 이 단계별 학습 과정은 시스템이 실제 영상의 무질서한 현실을 다루기 전에 탄탄한 기하학적 이해의 토대를 갖추도록 보장했습니다.

연구진은 다양한 실제 시나리오를 나타내는 여러 도전적인 데이터셋을 통해 새로운 시스템을 테스트했습니다. 그들은 고속도로를 달리는 자동차, 실내 방을 비행하는 드론, 그리고 붐비는 공간을 움직이는 핸드헬드 카메라의 데이터를 사용했습니다. 모든 경우에서 그들은 자신들의 시스템을 기존의 가장 우수한 방법들과 비교했습니다. 결과는 다른 시스템들이 조건이 까다로워질 때 종종 극적으로 실패하는 반면, 새로운 시스템은 안정성을 유지한다는 것을 보여주었습니다. 예를 들어, 카메라 렌즈가 물로 덮이거나 조명이 갑자기 변하는 테스트에서, 기존 방식들은 길을 잃고 경로를 벗어났던 반면 새로운 시스템은 경로를 정확하게 추적을 계속했습니다. 이 시스템은 특히 뚜렷한 특징을 추적하기 어려운 실내 환경에서 인상적이었는데, 이는 전통적인 방식들이 보통 실패하는 상황입니다.

연구는 또한 시스템이 정확히 어떻게 결정을 내리는지를 조사했습니다. 시스템이 무엇을 "보고 있는지" 시각화함으로써, 연구진은 시스템이 인간 관찰자를 혼란스럽게 할 수 있는 것들을 무시하는 법을 배웠다는 것을 발견했습니다. 카메라가 움직이는 차량이 있는 거리를 통과할 때, 시스템은 추적을 방해할 수 있는 움직이는 차량을 무시하고 정지된 도로와 건물에 집중하는 법을 배웠습니다. 렌즈가 젖었을 때, 시스템은 물방울로 인해 발생하는 흐릿한 지점들을 억제하는 법을 배웠습니다. 이는 시스템이 단순히 패턴을 암기하는 것이 아니라, 기하학과 운동의 근본적인 규칙을 실제로 배우고 있음을 시사합니다. 시스템은 무엇이 신뢰할 수 있는 랜드마크이고 무엇이 단순한 시각적 노이즈인지를 구분하는 법을 배운 것입니다.

이 연구 결과는 로봇 항해의 미래가 서로 다른 유형의 센서나 알고리즘 중 하나를 선택하는 데 있는 것이 아니라, 그것들을 지능적으로 결합하는 데 있다는 점을 시사합니다. 넓은 맥락 인식 뷰와 정밀한 세부 사항 뷰를 융합함으로써, 연구진은 예측 불가능한 현실 세계를 다룰 수 있을 만큼 견고한 시스템을 만들어냈습니다. 이 시스템이 완벽하지 않으며 가장 극단적인 조건에서는 여전히 과제에 직면해 있지만, 이는 자동차를 운전하거나, 드론을 비행시키거나, 혹은 붐비는 병원을 통과하는 로봇을 안내하는 등 자율 기계가 안전하고 신뢰할 수 있게 항해할 수 있도록 만드는 데 있어 중요한 진전입니다. 이 작업은 기계에게 큰 그림과 작은 세부 사항 사이의 균형을 잡는 법을 가르침으로써, 우리가 부품의 합보다 훨씬 더 강력한 시스템을 구축할 수 있음을 보여줍니다.