A Disparity-Gated Vision-Language Prior for Metric Scale in Monocular Visual Odometry

당신이 눈을 감고 도시를 걷고 있다고 상상해 보세요. 하지만 당신에게는 공기 압력의 변화를 느껴서 자신이 얼마나 걸었는지 추측할 수 있는 초능력이 있습니다. 이것은 로봇이 단 하나의 카메라만을 사용하여 세상을 "보는" 방식과 비슷합니다. 로보틱스와 컴퓨터 비전 분야에서는 이를 **단안 시각 주행 거리 측정(Monocular Visual Odometry)**이라고 부릅니다. 로봇은 사진을 찍고, 두 사진 사이에서 일치하는 지점들을 찾아내며(마치 두 사진에서 같은 나무를 발견하는 것과 같습니다), 기하학을 이용해 자신이 어떻게 움직였는지 파라냅니다.

여기 까다로운 부분이 있습니다. 단일 카메라는 3D 세계를 평면적인 그림으로 보여준다는 점입니다. 카메라는 로봇이 어느 방향으로 회전했는지 혹은 이동했는지는 알려줄 수 있지만, 얼마나 멀리 갔는지는 알려줄 수 없습니다. 마치 당신이 "앞으로" 걸었다는 것은 알지만, 그것이 큰 걸음이었는지 아니면 아주 작은 발걸음이었는지는 모르는 것과 같습니다. 실제 거리 정보를 알지 못하면 로봇의 세계 지도는 늘어나거나 찌그러지게 되어, 자동차를 운전하거나 복도를 항해하는 것과 같은 실제 작업을 수행하는 데 쓸모없게 됩니다. 오랫동안 과학자들은 추가적인 센서(스테레오 카메라나 GPS 등)를 더하거나 사물이 얼마나 깊어 보이는지에 기반해 추측하는 방식으로 이 "스케일 문제(scale problem)"를 해결하려고 노력해 왔습니다. 하지만 만약 우리가 수백만 개의 이미지와 텍스트로 학습된 매우 똑똑한 AI에게 "헤이, 저 자동차는 얼마나 멀리 있어?"라고 물어보고, 그 대답을 이용해 지도를 수정할 수 있다면 어떨까요?

이 논문은 바로 그 아이디어를 탐구합니다. 토론토 메트로폴리탄 대학교의 알리레자 가세미에(Alireza Ghasemieh)와 라샤 카셰프(Rasha Kashef) 연구진은 현대적인 시각-언어 모델(Vision-Language Model, VLM)—이미지를 보고 그에 대해 말할 수 있는 유형의 AI—이 로봇 카메라를 위한 자 역할을 할 수 있는지 테스트하기로 했습니다. 그들은 단순히 AI에게 추측하라고 시킨 것이 아니라, AI의 추측이 기하학적으로 타당한지 확인하는 영리한 시스템을 구축했습니다.

문제점: 로봇의 "평면적인" 세계

로봇의 카메라를 움직임의 미스터리를 풀려는 탐정이라고 생각해 보세요. 로봇이 찰나의 순간 차이를 두고 두 장의 사진을 찍으면, 건물 하나가 프레임 안에서 약간 이동한 것을 볼 수 있습니다. 수학을 사용하면, 건물이 카메라를 기준으로 상대적으로 이동했다는 것을 알 수 있습니다. 하지만 알려진 거리가 없다면, 탐정은 건물이 10미터 떨어져 있고 로봇이 1미터 이동한 것인지, 아니면 건물이 100미터 떨어져 있고 로봇이 10미터 이동한 것인지 알 수 없습니다. 수학적 계산은 두 시나리오 모두에서 완벽하게 작동합니다. 이것이 바로 "스케일 모호성(scale ambiguity)"입니다.

이를 해결하기 위해 연구팀은 이동 방향을 파악하기 위해 표준 로봇 두뇌(이름은 SWiFT-VO)를 사용했지만, "자(ruler)" 역할을 하는 부분은 교체했습니다. 실제 세상에는 존재하지 않는 완벽하고 미리 측정된 정답(ground truth)을 사용하는 대신, 거리를 추측하는 다섯 가지 다른 방법을 시도했습니다.

참가자들: 거리를 추측하는 다섯 가지 방법

연구진은 어떤 전략이 로봇에게 얼마나 이동했는지 가장 잘 알려줄 수 있는지 알아보기 위해 다섯 가지 "추측 전략"을 세워 경주를 설정했습니다. 이들은 실제 자동차 영상 모음인 유명한 KITTI 데이터셋을 통해 이를 테스트했습니다.

1. "경험칙" (Heuristic): 이 방법은 장면의 평균 깊이(이미지가 얼마나 "깊어" 보이는지)를 살펴보고 여기에 고정된 숫자를 곱했습니다. 이는 사진 속 친구가 얼마나 커 보이는지를 바탕으로 거리를 추측하는 것과 같지만, 속도에 따라 변하지 않는 일반적인 규칙을 사용하는 방식입니다.
2. "조밀한 지도" (Dense Map/Dense Triangulation): 이는 사전 학습된 깊이 맵(depth map)을 사용하여 이미지 전체를 거리 정보로 채우려고 시도했습니다. 이는 숲 전체의 높이를 측정하기 위해 모든 나무의 높이를 한꺼번에 추측하는 것과 같습니다.
3. "최근접 이웃" (C1): AI가 포착한 대상에 가장 가까운 지점을 선택하여 그것을 측정하려고 시도했습니다.
4. "시야 원뿔" (C2): 전방의 원뿔 형태의 영역 안에 있는 모든 지점을 살펴보고 이를 평균화하려고 시도했습니다.
5. "동일 앵커" 트래커 (C3): 이 방법이 주인공입니다. 무작위로 추측하는 대신, 이 방법은 특정 대상(예: 자동차 또는 표지판)을 하나 정해 두 프레임 동안 추적하고, AI에게 "저 자동차는 얼마나 멀리 있어?"라고 물은 뒤, 로봇 자체의 기하학적 계산을 사용하여 그 대답이 타당한지 확인했습니다.

승자: C3와 "변위 게이트(Disparity Gate)"

결과는 "앗!" 하는 실수와 "아하!" 하는 깨달음이 섞여 있었습니다. 단순한 "경험칙"과 "조밀한 지도" 접근 방식은 처참하게 실패했습니다. 그것들은 마치 주방용 자로 마라톤을 측정하려는 것과 같았습니다. 가정들이 실제 운전 조건에서 성립하지 않았기 때문에 숫자들이 완전히 틀렸습니다.

진정한 돌파구는 C3, 즉 "동일 앵커" 트래커에서 나왔습니다. 작동 방식은 다음과 같습니다:

• AI(구체적으로 Qwen2.5-VL-7B라는 모델)가 첫 번째 사진의 자동차를 보고 "저 자동차는 약 20미터 떨어져 있습니다"라고 말합니다.
• 로봇은 다음 사진에서도 정확히 같은 자동차를 추적합니다.
• 로봇은 이미지 내에서 자동차가 얼마나 움직였는지(그 "변위(disparity)")를 계산합니다.
• 만약 수학적으로 "만약 저 자동차가 20미터 떨어져 있다면, 사진 속에서 이만큼 움직였어야 한다"라고 판단하고, 실제로 사진에서 그만큼 움직였다면, 시스템은 그 거리를 수용합니다.

하지만 AI는 완벽하지 않습니다. 때때로 잘못 추측하거나, 자동차가 너무 멀리 있어 추적이 명확하지 않을 수도 있습니다. 이를 처리하기 위해 연구진은 **"변위 게이트(Disparity Gate)"**를 추가했습니다. 이것을 클럽의 문지기라고 생각하세요. 게이트는 "변위"(객체가 얼마나 움직였는지)를 체크합니다. 만약 움직임이 너무 작거나(객체가 너무 멀리 있거나 로봇이 충분히 움직이지 않은 경우), 혹은 너무 혼란스러우면, 게이트는 "안 돼, 네 추측은 신뢰할 수 없어"라고 말하며 시스템이 해당 순간에 더 단순한 "경험칙"으로 돌아가도록 합니다.

결과: 근접했지만 완벽하지는 않음

연구진이 여덟 가지 서로 다른 주행 시퀀스에 대해 테스트를 실행했을 때, 결과는 고무적이면서도 신중했습니다:

• **"동일 앵커" 방식(C3)**은 평균적으로 실제 거리의 약 **64%**를 복구해 냈습니다. 이는 단순한 추측들이 종종 크게 벗어났던 것에 비해 엄청난 발전입니다.
• **"변위 게이트"**는 이를 더욱 개선하여 평균 복구율을 **71%**까지 끌어올렸습니다.
• 연구진은 실시간으로 스스로 조정되는 "스마트 게이트"도 테스트했는데, 이는 **69%**를 기록했습니다.

하지만 여기서 가장 중요한 부분은 이 이야기의 핵심입니다: 이 논문은 이것이 완벽한 해결책이라는 생각을 명시적으로 배제합니다.

최선의 방법을 사용하더라도, 로봇의 경로은 완벽한 정답(비교를 위해 사용된 ground truth)만큼 정확하지 않았습니다. 실제로 자동차가 회전하거나 느리게 움직이는 까다로운 시퀀스에서는 시스템이 객체를 추적하는 데 어려움을 겪었으며, 거리 추정치가 크게 떨어졌습니다.

연구진은 또한 성공을 측정하는 방식에 숨겨진 함정도 발견했습니다. 짧은 100프레임짜리 클립에서, 거리를 과소평가하는 방법이 때로는 완벽한 정답보다 더 "좋은" 오차 점수를 가진 것처럼 보일 수 있다는 것을 발견했습니다. 왜일까요? 로봇이 잘못된 방향으로 움직이고 있을 때(회전 시), 거리를 작게 잡는 것(under-scaling)이 의도치 않게 짧은 시간 동안은 올바른 위치에 더 가깝게 머물게 만들기 때문입니다. 이는 원을 그리며 걷는 것과 같습니다. 만약 잘못된 방향으로 큰 걸음을 내딛는다면, 작은 걸음으로 걷는 것이 중심에 더 가깝게 머물게 됩니다. 논문은 짧은 기간의 오차 점수만 보는 것은 오해의 소지가 있으므로, 전체 여정을 살펴봐야 한다고 경고합니다.

시사점

이 논문은 "스케일 문제"를 단번에 해결했다고 주장하는 것이 아닙니다. 대신, 유망한 새로운 길을 제시합니다. 거리에 대해 "말할 수 있는" 똑똑한 AI와 엄격한 기하학적 검증(게이트)을 결합함으로써, 로봇은 단 하나의 카메라만을 사용하여 자신이 얼마나 멀리 이동했는지 훨씬 더 잘 파악할 수 있습니다.

저자들은 우리가 아직 값비싼 센서를 챗봇으로 대체할 수는 없지만, **부분적인 미터법 스케일 복구(partial metric-scale recovery)**는 가능하다고 결론짓습니다. AI가 명확한 객체를 추적하고 기하학적 검증이 통하는 경우에는 시스템이 신뢰할 수 있지만, 상황이 흐릿해지거나 AI가 혼란을 겪을 때는 여전히 백업 플랜이 필요합니다. 이것은 진전된 단계이며, AI가 로봇이 세상을 측정하는 데 도움을 줄 수 있음을 증명하지만, 모든 것을 즉시 해결하는 마법 지팡이는 아닙니다. 완벽하게 스케일이 조정된 로봇 지도를 향한 여정은 계속되지만, 이 연구는 탐험가들에게 더 나은 나침반을 건네주었습니다.