ORBIT++: Benchmarking SfM in the Wild with 360{\deg} Video

컴퓨터가 세상을 어떻게 인식하는지 이해하기 위해, 일련의 2차원 사진들만을 사용하여 3차원 방을 재구성한다고 상상해 보십시오. 이것이 바로 '구조 복원(structure-from-motion)'이라 불리는 분야의 근본적인 과제입니다. 목표는 카메라가 공간 속을 이동하는 비디오를 보고, 수학적으로 모든 순간에 카메라가 정확히 어디에 있었는지 파악하는 동시에, 주변 경관의 3D 모델을 구축하는 것입니다. 이 기술은 증강 현실 앱이 거실에 가상 가구를 배치하고, 자율 주행 차량을 안내하며, 영화 제작자들이 몰입형 가상 세계를 만들 수 있게 해주는 보이지 않는 엔진입니다. 수년 동안 연구자들은 새로운 컴퓨터 비전 알고리즘이 제대로 작동하는지 확인하기 위해 표준 테스트에 의존해 왔습니다. 그러나 이러한 테스트는 종종 단순하고 정적인 장면이나, 실제 세상의 무질서하고 혼란스러운 현실을 반영하지 못하는 컴퓨터 생성 시뮬레이션을 사용합니다. 카메라가 빠르게 움직이거나, 지면이 눈으로 덮여 있거나, 군중이 프레임 속을 지나갈 때, 가장 진보된 소프트웨어조차 위아方向이 어디인지, 혹은 물체가 얼마나 멀리 있는지 판단하지 못해 완전히 실패하곤 합니다.

Google DeepMind와 여러 대학의 연구진은 ORBIT이라는 훨씬 더 어려운 새로운 테스트를 만들어 이러한 격차를 해결했습니다. 그들은 카메라가 거친 야생을 항해하는 능력을 진정으로 테스트하려면, 시각적 정보가 매우 풍부하면서도 처리하기 까다로운 데이터 소스가 필요하다는 것을 깨달았습니다. 그들은 소비자용 카메라로 촬영된 360도 비디오 라이브러리에서 그 원천을 발견했습니다. 좁은 창을 통해 보는 일반적인 비디오와 달리, 360도 카메라는 전 방향을 한 번에 보며 세상의 전체 구체를 포착합니다. 연구진은 이 파노라마 비디오를 활용하여 현재의 기술을 무너뜨리기 위해 특별히 설계된 벤치마크 데이터셋을 생성했습니다. 이 모든 것을 아우르는 뷰를 표준적인 좁은 각도의 클립으로 크롭함으로써, 그들은 스마트폰이나 드론이 마주할 수 있는 빠른 움직임, 저조도, 움직이는 군중과 같은 어려운 상황들을 모사하는 수백 개의 도전적인 시나리오를 만들어냈습니다.

이 테스트를 구축하는 과정은 세심한 검증의 과정이었습니다. 연구진은 카누 여행, 스키 코스, 번잡한 관광지 등 다양한 360도 비디오를 인터넷에서 수집하는 것으로 시작했습니다. 원본 비디오는 전체 구체를 포착하기 때문에, 연구진은 특정 부분이 흐릿하거나 움직이더라도 구체의 다른 부분은 명확하고 안정적으로 유지된다는 점을 이용하여 특수 컴퓨터 알고리즘을 통해 카메라의 경로를 높은 신뢰도로 계산할 수 있었습니다. 그들은 카메라를 네 개의 별도 렌즈를 가진 리그(rig)처럼 취급하여, 데이터의 정확성을 보장하기 위해 여러 각도에서 경로를 교차 검증했습니다. 360도 전체 비디오에 대한 신뢰할 수 있는 '그라운드 트루스(ground truth)' 경로를 확보한 후, 그들은 이 영상을 디지털로 재투영하여 표준적인 관점의 비디오를 생성했습니다. 이 새로운 클립들은 단순히 무작위로 잘라낸 것이 아니었습니다. 연구진은 움직이는 수면이나 빠르게 움직이는 차량을 직접 바라보는 것과 같이 어려운 것으로 알려진 시점을 의도적으로 선택했으며, 작업의 난이도를 높이기 위해 시뮬레이션된 카메라 흔들림을 추가했습니다. 최종 결과물은 최대 30초 길이의 비디오 클립 308개로 구성되었으며, 이는 컴퓨터 비전 소프트웨어를 위한 엄격한 장애물 코스 역할을 합니다.

연구진이 현재의 최첨단 방식들을 이 새로운 벤치마크로 테스트했을 때, 결과는 극명했습니다. 그들은 수년간 업계 표준이었던 전통적인 도구들과 인공지능을 사용하는 최신 학습 기반 시스템들을 포함한 여러 선도적인 알고리즘을 평가했습니다. 연구 결과, 가장 뛰어난 기존 방식들조차 이러한 실제 환경 조건에서는 크게 고전한다는 것이 밝혀졌습니다. 많은 클립에서 소프트웨어가 완전히 실패했는데, 이는 컴퓨터가 몇 초 이상 카메라의 움직임을 추적하지 못했음을 의미합니다. 예를 들어, 건물의 모서리나 지면의 질감과 같은 뚜렷한 패턴을 찾는 데 의존하는 전통적인 방식들은 수면이나 눈과 같은 매끄러운 표면을 마주했을 때 종종 포기했습니다. 한편, 학습 중에 배운 패턴을 바탕으로 3D 구조를 추측하도록 설계된 최신 AI 기반 방식들은 카메라가 빠르게 움직이거나 이전에 본 적 없는 방식으로 회전할 때 자주 비틀거렸습니다. 데이터에 따르면 단일 방법으로는 모든 도전을 해결할 수 없었습니다. 어떤 방식은 군중 사이를 추적하는 데는 능숙했지만 저조도 환경에서 실패했고, 다른 방식은 빠른 움직임은 잘 처리했지만 질감이 없는 환경에서 길을 잃었습니다.

이 연구는 테스트가 너무 쉬워져서 발전 정도를 측정하기 어려운 지점에 도달했음을 강조합니다. 연구진은 새로운 벤치마크에서 테스트된 모든 방식이 최소 36%의 클립에서 카메라 위치를 정확하게 추정하는 데 실패했다는 것을 발견했습니다. 이는 현재 세대의 기술이 아직 가장 까다로운 실제 응용 분야에 투입될 준비가 되지 않았음을 시사합니다. 논문은 신뢰할 수 있고 어려운 벤치마크의 부재가 이 분야의 발전을 저해해 왔으며, 이로 인해 연구자들이 단순한 작업에서의 성공을 주장하는 동안 복잡하고 역동적인 장면에서 발생하는 근본적인 문제들을 놓치게 되었다고 주장합니다. 다양하고 엄격하게 검증된 데이터셋을 제공함으로써, 연구팀은 개발자들에게 개선을 위한 명확한 목표를 제시하고자 합니다. 이 작업은 이러한 문제들에 대한 새로운 해결책을 제시하는 것이 아니라, 문제를 측정하는 더 나은 방법을 제시하는 것이며, 컴퓨터가 인간처럼 예측 불가능하고 거친 세상을 신뢰성 있게 항해하기까지는 아직 갈 길이 멀다는 것을 보여줍니다.