Development of Vision-Language Model-based GNSS Spoofing Detection for Autonomous Vehicle Navigation

당신이 자율주행 자동차, 즉 디지털 나침반인 GNSS(Global Navigation Satellite System)에 의존하여 자신이 정확히 어디에 있는지 파악하는 고도의 기술을 갖춘 바퀴 달린 로봇을 운전하고 있다고 상상해 보십시오. 이 나침반은 자동차의 주요 방향 감각으로, 언제 회전할지, 언제 멈출지, 얼마나 빨리 갈지를 알려줍니다. 하지만 만약 교활한 해커가 이 나침반을 속일 수 있다면 어떻게 될까요? 그들은 가짜 신호를 보내 자동차가 실제로 직진하고 있음에도 불구하고 왼쪽으로 회전하고 있다고 믿게 만들거나, 고속도로를 질주하고 있음에도 불구하고 빨간불에 멈춰 있다고 믿게 만들 수 있습니다. 이것을 "스푸핑(spoofing)"이라고 부르는데, 이는 마치 마술사가 자동차의 뇌에 속임수를 쓰는 것과 같습니다.

이러한 속임수를 잡아내기 위해, 과학자들은 전통적으로 속도계나 카메라와 같은 다른 센서와 나침반을 대조하는 방법을 시도해 왔습니다. 하지만 대개는 숫자를 숫자에 비교하는 매우 수학적인 방식으로 이루어졌습니다. 문제는 영리한 해커가 종이 위에서는 완벽해 보이도록 가짜 숫자를 만들어낼 수 있으며, 그렇게 되면 자동차가 위험한 행동을 하고 있음에도 불구하고 말입니다. 바로 여기서 새로운 종류의 AI인 시각-언어 모델(Vision-Language Models, VLMs)이 등장합니다. VLM을 '영상을 보고 동시에 이야기를 읽을 수 있는' 매우 똑똑한 로봇이라고 생각해보십시오. 단순히 숫자가 일치하는지 확인하는 대신, VLM은 자동차가 무엇을 하고 있는지에 대한 '이야기'를 이해할 수 있습니다. 카메라를 통해 도로를 보고, 센서를 통해 자동차의 움직임을 느끼며, 이렇게 말할 수 있는 것입니다. "잠깐, 나침반은 오른쪽으로 회전한다고 하지만, 영상과 자동차의 움직임은 왼쪽으로 회전하고 있어!" 이 논문은 이 스마트한 AI 이야기꾼을 사용하여 자율주행 자동차가 가짜 GPS 신호에 의해 속고 있는지를 포착하는 방법을 탐구합니다.

논문의 핵심 아이디어: AI에게 거짓말을 간파하는 법 가르치기

이 연구에서 연구진은 자율주행 자동차의 GPS 스푸핑 공격을 잡아내기 위해 시각-언어 모델(VLM)을 사용하는 최초의 시스템을 구축했습니다. 그들은 기존 방식이 GPS 숫자가 도로의 수학적 계산과 일치하는지를 확인했다면, 스마트한 AI는 GPS의 이야기가 실제 주행의 '진짜 이야기'와 일치하는지를 확인할 수 있다는 점을 깨달았습니다.

설정: 두 도시의 이야기
AI를 훈련시키기 위해 팀은 일본 도쿄에서 수집된 주행 영상과 센서 데이터셋을 사용했습니다. 이것이 그들의 "훈련 학교"였습니다. 그들은 AI에게 도로의 짧은 클립(약 4초 길이)을 보고 자동차의 속도와 회전 데이터를 읽은 다음, 자동차가 무엇을 하고 있는지(직진, 정지, 좌회전 또는 우회전) 추측하도록 가르쳤습니다.

하지만 여기서 까다로운 점이 있습니다. 연구진은 단순히 도쿄에서만 AI를 테스트한 것이 아닙니다. AI가 단순히 일본의 거리 표지판을 암기하는 것이 아니라 실제 '주행의 물리 법칙'을 배우고 있다는 것을 증명하기 위해, 그들은 실제 자동차를 미국 앨라배마주 터스컬루사에서 운전했습니다. 이것이 그들의 "최종 시험"이었습니다. 도로, 표지판, 운전 습관은 완전히 달랐지만, 자동차가 회전하거나 멈추는 방식과 같은 물리 법칙은 동일하게 유지되었습니다.

3단계 훈련 과정
연구진은 모든 데이터를 한꺼번에 AI에게 쏟아붓지 않았습니다. 대신 학생을 단계별로 가르치듯 영리한 3단계 훈련 과정을 사용했습니다:

1. 시각적 접지(Visual Grounding): 먼저, AI에게 영상을 보고 움직임을 이해하는 법(예: 회전할 때 세상이 움직이는 모습)을 가르쳤습니다.
2. 센서 보정(Sensor Calibration): 다음으로, AI에게 자동차의 센서 값(속도, 가속도, 회전율)을 읽고 그 숫자들이 평서문으로 무엇을 의미하는지 이해하도록 가르쳤습니다.
3. 위대한 융합(The Grand Fusion): 마지막으로, AI가 영상과 숫자를 함께 보도록 했습니다. 이제 AI는 "영상은 오른쪽으로 회전하는 것을 보여주고, 숫자는 급격한 오른쪽 회전을 나타내므로, 자동차는 확실히 오른쪽으로 회전하고 있다"라고 말할 수 있습니다.

공격 시나리오
시스템의 작동 여부를 테스트하기 위해 연구진은 터스컬루사 데이터에 세 가지 유형의 "가짜" 공격을 생성했습니다:

• 오회전 트릭(The Wrong-Turn Trick): 가짜 GPS는 자동차가 왼쪽으로 회전한다고 알려주었지만, 실제 자동차는 오른쪽으로 회전하고 있었습니다.
• 오버슈트/프리즈 트릭(The Overshoot (Freeze) Trick): 자동차는 앞으로 이동 중이었지만, 가짜 GPS는 "당신은 아직 여기에 있다"라고 말하며 자동차의 위치를 지도상에 고정시켰습니다.
• 정지 트릭(The Stop Trick): 자동차는 정지 표지판 앞에 멈춰 있었지만, 가짜 GPS는 "천천히 이동 중이다"라고 말하여 자동차가 주행 중인 것처럼 착각하게 만들었습니다.

결과: 거대한 승리
터스컬루사 데이터에 시스템을 테스트했을 좌표, 결과는 놀라웠습니다.

• 베이스라인(Baseline): 특별한 훈련 없이 표준 사전 학습된 AI를 사용했을 경우, 공격을 맞춘 비율은 약 **23%에서 32%**에 불과했습니다. 이는 거의 찍는 수준이었습니다.
• 훈련된 AI: 3단계 훈련을 거친 후, AI는 기동의 **94%에서 95%**를 정확히 맞혔습니다.
• 공격 탐지 성능:
  • 오회전 및 정지 공격의 경우, AI는 100% 잡아냈습니다.
  • 오버슈트(프리즈) 공격의 경우, 88%에서 93% 사이의 탐지율을 보였습니다.

"스마트 게이팅(Smart Gating)" 기술
한 가지 큰 문제가 있었습니다. 이러한 스마트 AI는 매우 무겁다는 점입니다. 매 초마다 이 모델을 실행하면 자동차의 배터리가 방전되고 속도가 느려질 수 있습니다. 이를 해결하기 위해 팀은 "적응형 추론 정책(adaptive inference policy)"을 발명했습니다.

이것은 마치 모든 지나가는 차를 검문하는 것이 아니라, 수상해 보이는 차량만 골라 검사하는 보안 요원과 같습니다. 시스템은 자동차의 속도와 회전율을 관찰합니다. 만약 자동차가 일정한 속도로 곧게 주행 중이라면, 시스템은 "거대한 AI를 호출할 필요 없음; 자동차는 아마 괜찮을 것임"이라고 판단합니다. 오직 자동차가 속도를 높이거나, 줄이거나, 회전할 때만 무거운 AI를 깨웁니다.

이 기술 덕분에 AI를 호출하는 횟수가 86% 감소(단 14%만 호출)했습니다. AI가 실제로 실행되었을 때, 4초의 창(window)당 약 65~73 밀리초가 소요되었습니다. 이는 시스템이 실용적일 만큼 충분히 빠르며, 엄청난 양의 컴퓨팅 자원을 아끼면서도 악당들을 잡아낼 수 있음을 의미합니다.

논문이 명시한 한계점
저자들은 자신들의 시스템이 하지 '않는' 일에 대해서도 매우 명확히 밝히고 있습니다. 그들은 GPS 신호 자체를 수정하거나 해커가 가짜 라디오 파동을 송출하는 것을 막으려는 것이 아닙니다. 또한, 주행 행동을 바꾸지 않고 GPS 위치를 몇 인치씩 서서히 이동시키는 '드리프트(drift)' 공격을 잡으려는 것도 아닙니다. 이 시스템은 구체적으로 주행의 '이야기'를 바꾸는 공격(예: 자동차가 방향을 잘못 틀게 하거나, 멈춰 있는데 움직이고 있다고 믿게 만드는 공격)을 잡기 위해 설계되었습니다.

결론
이 논문은 스마트한 AI에게 주행의 '이야기'를 이해하도록 가르침으로써(카메라가 보는 것과 센서가 느끼는 것을 결합하여), 이전보다 훨씬 더 잘 GPS 해킹을 잡아낼 수 있음을 보여줍니다. 비록 이 시스템을 돌리기 위해 강력한 컴퓨터가 여전히 필요하지만(아직 아주 작은 자동차 칩에 들어갈 만큼 작지는 않음), "스마트 게이팅" 기술은 이 방어책이 실용적임을 입증했습니다. 이는 단순히 숫자를 체크하는 것이 아니라, 주행의 논리를 체크하는 새로운 안전 계층입니다.