Geo-VLA: Geometry-Aware Vision-Language-Action Planning via Internalization of Map Semantics

자동차를 운전하는 것은 단순히 전방의 도로를 보는 것 그 이상을 요구하며, 움직임을 지배하는 보이지 않는 규칙들에 대한 이해를 필요로 합니다. 차량은 차선이 어디서 끝나는지, 곡선이 어떻게 굽어지는지, 그리고 서로 다른 도로들이 교차로에서 어떻게 연결되는지를 알아야 합니다. 수십 년 동안 엔지니어들은 카메라를 통해 컴퓨터에게 운전을 가르치려 노력해 왔지만, 카메라는 그 순간에 보이는 것만을 포착할 뿐입니다. 카메라는 도로의 영구적인 구조, 예를 들어 곡선 구간에서 차선이 정확히 어떤 경로를 따르는지 또는 복잡한 교차로의 구체적인 규칙 등을 파악하는 데 어려움을 겪습니다. 시각적으로 세상을 보는 것과 그 기하학적 구조를 이해하는 것 사이의 이러한 간극은 완전 자율 주행이 복잡한 환경에서 신뢰할 수 있는 현실이 되는 것을 가로막아 왔습니다. 현재 연구자들은 시각과 언어를 결합하여, 이미지를 보고 '읽고' '추론'하여 운전 결정을 내릴 수 있는 거대 모델을 사용하는 새로운 접근 방식에 주목하고 있습니다. 그러나 이러한 첨단 시스템조차도 도로가 급격하게 휘어지거나 교차로가 까다로운 경우 종종 실패하곤 하는데, 이는 이들이 도로의 근본적인 형태나 연결성보다는 도로의 시각적 외형에 너무 과도하게 의존하기 때문입니다.

베이징 과학기술대학교의 연구팀은 이 특정 문제를 해결하기 위해 Geo-VLA라고 불리는 새로운 방법을 개발했습니다. 그들의 목표는 지속적인 업데이트와 복잡한 하드웨어를 통한 읽기 작업이 필요한 무거운 사전 제작 디지털 지도를 강제로 탑재하지 않고도, 이러한 주행 모델이 도로의 기하학적 구조를 이해하도록 가르치는 것이었습니다. 연구진은 자동차에게 운전 중에 바라볼 지도를 주는 대신, 훈련 단계에서 지도를 '내면화'하도록 가르쳤습니다. 그들은 주행 카메라 이미지와 오프라인 지도 데이터에서 파생된 질문 및 답변을 쌍으로 묶은 Geo-QA라는 특별한 데이터셋을 만들었습니다. 이 질문들은 차선이 어떻게 휘어지는지 또는 주행 가능 영역이 어디서 끝나는지와 같은 것들을 묻는 등 도로의 정적 구조에 초점을 맞춥니다. 모델이 이 질문들에 답하도록 훈련함으로써, 시스템은 실제 주행 중에는 카메라 이미지만 보고 있음에도 불구하고 마치 지도를 읽는 것처럼 도로의 형태와 연결성을 인식하는 법을 배웁니다.

이 과정은 두 가지 뚜렷한 단계로 진행됩니다. 첫째, 모델은 수천 개의 이미지-질문-답변 쌍에 노출됩니다. 모델은 도로 장면의 시각적 세부 사항을 지도 데이터에서 발견된 정확한 기하학적 사실과 연결하는 법을 배웁니다. 이 단계는 도로 구조에 대한 깊은 학습 역할을 하여, 모델이 도로가 어떻게 배치되어 있는지에 대한 정신적 표상을 구축할 수 있게 합니다. 이 학습이 완료되면 연구진은 이 새로운 이해를 고정시키고 이를 사용하여 모델에게 자동차를 조향하는 법을 가르칩니다. 결정적으로, 자동차가 실제 도로에서 테스트될 때, 모델은 어떤 지도 데이터도, 추가 센서도, 도로 정보를 찾아보기 위한 복잡한 소프트웨어도 필요로 하지 않습니다. 모델은 이전과 마찬가지로 단순히 전방 카메라를 통해 볼 뿐이지만, 이제 그 내부의 추론은 훈련 중에 흡수한 기하학적 지식에 의해 유도됩니다. 이는 시스템을 단순하고 빠르게 유지하며, 실시간으로 디지털 지도와 라이브 영상을 매칭하려 할 때 발생하는 지연과 오류를 피할 수 있게 해줍니다.

이 접근 방식의 결과는 NAVSIM v1로 알려진 표준 주행 시뮬레이션 플랫폼에서 테스트되었습니다. 연구진은 이 새로운 방법을 고해definition(HD) 지도나 다른 복잡한 입력을 사용하는 기존 시스템들과 비교했습니다. Geo-VLA 시스템은 안전성, 편안함, 진행률을 측정하는 종합적인 지표에서 92.1점을 기록하며 기존 시스템들을 일관되게 압도했습니다. 이 점수는 단일 카메라 주행 플래너의 새로운 정점을 나타내며, 이전 기록을 작지만 유의미한 차이로 넘어섰습니다. 이 시스템은 특히 기존 모델들이 경로를 이탈하거나 올바른 경로를 따르는 데 실패하곤 했던 회전 구간과 교차로를 통과하는 데 효과적임을 입증했습니다. 언어와 질문을 통해 도로의 규칙을 학습함으로써, 모델은 의도된 차선에 더 가깝게 머물고 도로의 물리적 경계를 존중하는 궤적을 생성했습니다.

또한 이 연구는 모델에게 움직이는 물체(다른 차량이나 보행자 등)를 가르치는 것보다 정적인 도로 구조를 가르치는 것이 훨씬 더 중요하다는 것을 밝혀냈습니다. 연구진이 동적인 요소에만 집중한 버전의 시스템을 테스트했을 때, 성능은 개선되지 않았습니다. 이는 모델이 움직이는 것들을 이미 꽤 잘 보고 있지만, 구체적인 안내 없이는 고정된 기하학적 구조를 이해하는 데 어려움을 겪고 있음을 시사합니다. Geo-VLA 방식은 훈련 중에 이러한 안내를 제공함으로써 그 간극을 메우며, 시스템이 더 안전하고 효율적인 결정을 내릴 수 있도록 합니다. 연구진은 자신들의 접근 방식이 질문을 만드는 데 사용된 지도 데이터의 품질에 의존한다는 점을 언급하며, 향후 연구에서는 인간 운전자와의 상호작용적인 교통 상황에서 시스템이 어떻게 작동하는지 테스트해야 한다고 덧붙였습니다. 하지만 현재로서는, 이 연구는 자동차가 대화와 질문을 통해 도로의 형태를 배울 수 있으며, 그 지식을 조용하고 보이지 않는 가이드로서 지니고 다닐 수 있음을 보여줍니다.