Temporal Misalignment Attacks against Multimodal Perception in Autonomous Driving

이 논문은 자율주행의 다중모달 융합 인식을 위해 차량 내 네트워크를 통해 시계열 동기화를 교란하는 '데자뷰 (DejaVu)' 공격을 제안하며, 이는 객체 감지 및 추적 성능을 극도로 저하시켜 충돌이나 유령 제동과 같은 심각한 안전 사고를 유발할 수 있음을 실증합니다.

핵심

이 논문은 자율주행차의 '눈'과 '귀'가 서로의 말을 듣고 이해하는 과정에서 발생할 수 있는 치명적인 해킹 공격, **'데자뷰 (DEJAVU)'**에 대해 설명합니다.

기존의 해킹이 차를 멈추게 하거나 센서를 아예 망가뜨리는 것이었다면, 이 공격은 "센서들이 말은 하지만, 시점이 조금씩 어긋나서 엉뚱한 상황을 보게 만드는" 아주 교묘한 방식입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 풀어보겠습니다.

---

1. 자율주행차는 어떻게 세상을 볼까? (두 명의 탐정)

자율주행차는 카메라와 라이다 (LiDAR) 라는 두 가지 센서를 사용합니다.

• 카메라: 마치 사람의 눈처럼 사물의 색깔, 모양, 표정을 잘 봅니다. (예: "저건 빨간 차야!")
• 라이다: 마치 초음파나 레이저처럼 사물까지의 거리를 아주 정확하게 재줍니다. (예: "저 차는 우리로부터 10 미터 떨어져 있어!")

이 두 센서는 서로 다른 속도로 데이터를 보내지만, 자율주행 시스템은 이 두 정보를 정확하게 같은 순간에 맞춰서 합쳐야 (융합) 정확한 판단을 내릴 수 있습니다. 마치 두 명의 탐정이 사건 현장의 동일한 순간을 보고 보고서를 작성해야 정확한 결론을 내리는 것과 같습니다.

2. 공격의 핵심: "시간을 살짝 비틀기" (데자뷰)

이 논문에서 소개한 데자뷰 (DEJAVU) 공격은 이 '시간 맞추기' 과정을 해킹합니다.

비유: "시계가 느린 친구"
가상현실 (VR) 게임을 한다고 상상해 보세요. 한 친구는 화면을 보고, 다른 친구는 컨트롤러를 만집니다. 두 사람이 완벽하게 동기화되어 있어야 게임이 부드럽게 돌아갑니다.

하지만 해커가 컨트롤러를 만지는 친구의 시계를 3 초 뒤로 늦추고 아무 말도 안 했다면 어떨까요?

• 화면을 보는 친구는 "앞에 벽이 있다!"고 외칩니다.
• 하지만 시계가 늦은 친구는 "아직 벽이 안 보였어, 3 초 뒤에 보일 거야"라고 말합니다.
• 두 정보를 합치는 시스템은 "벽이 있는데도 아직 안 보인다고?" 하며 혼란에 빠집니다.

이것이 바로 데자뷰 공격입니다. 해커는 센서 자체를 망가뜨리지 않고, 데이터에 붙어 있는 '시간표시 (타임스탬프)'만 살짝 조작합니다. 마치 편지를 보낼 때 우편함에 넣은 날짜를 거짓으로 적어 보내는 것과 같습니다.

3. 어떤 일이 벌어질까? (상황별 비유)

이 공격은 자율주행차가 어떤 작업을 하느냐에 따라 다른 효과를 냅니다.

A. 물체 찾기 (Object Detection) -> "라이다의 눈이 멀다"

자율주행차가 "저기 차가 있네?"라고 물체를 찾을 때는 라이다 (거리 측정) 정보가 훨씬 중요합니다.

• 공격: 해커가 라이다 데이터의 시간을 1 프레임 (약 0.1 초) 만 늦추면, 시스템은 차의 위치를 완전히 잘못 계산합니다.
• 결과: 마치 안경을 잘못 끼고 길을 가는 것처럼, 실제 차가 있는데도 "차 없어!"라고 하거나, 차가 없는 곳에 "차 있어!"라고 착각하게 됩니다. 실험 결과, 차를 찾는 정확도가 88.5%나 폭락했습니다.

B. 물체 추적 (Object Tracking) -> "카메라의 눈이 멀다"

차나 보행자가 어디로 움직이는지 추적할 때는 카메라 (영상) 정보가 더 중요합니다.

• 공격: 해커가 카메라 데이터의 시간을 3 프레임만 늦추면, 시스템은 움직이는 물체의 궤적을 따라가지 못합니다.
• 결과: 마치 춤을 추는데 음악이 늦게 나오는 것처럼, 차가 지나갔는데도 "아직 거기 있어!"라고 생각하거나, 반대 방향으로 오는데 "거기서 왔어!"라고 착각합니다. 추적 정확도가 73%나 떨어졌습니다.

4. 실제 차에서 어떤 재앙이 일어날까?

이론적인 실험을 넘어, 실제 자율주행 시뮬레이션 (Autoware) 에서 이 공격을 해보았더니 끔찍한 결과가 나왔습니다.

1. 유령 브레이킹 (Phantom Braking):
   • 이미 지나간 차의 '과거 데이터'가 늦게 도착해서, 시스템은 아직도 차가 앞에 있는 줄 알고 갑자기 급정거를 합니다. 뒤따라오는 차가 들이받기 딱 좋은 상황입니다.
2. 충돌 (Collision):
   • 반대편에서 오는 차가 있는데, 시간이 늦어진 데이터 때문에 시스템은 **"아직 차가 안 왔어"**라고 판단합니다. 그 결과, 차는 신호를 무시하고 직진하다가 정면 충돌을 일으킵니다.

5. 왜 이 공격이 무서운가?

• 눈에 띄지 않음: 센서 자체가 고장 난 게 아니므로, 차량 점검을 해도 "모든 센서 정상"이라고 나옵니다.
• 방어가 어려움: 기존 보안은 "데이터가 변조되었나?"를 확인하지만, 이 공격은 "데이터는 진짜인데 시간만 틀렸다"는 점을 이용합니다.
• 모든 차에 적용 가능: 자율주행차의 핵심인 '센서 융합' 기술이 쓰이는 곳이라면 어디든 위협이 됩니다.

6. 결론: 우리는 무엇을 배웠나?

이 연구는 자율주행차가 단순히 "많은 센서를 가진 것"만으로는 안전하지 않다는 것을 보여줍니다. 센서들이 '동시에' 보고 '동시에' 말해야 안전합니다.

마치 오케스트라에서 지휘자가 없으면 악기들이 제각각 다른 박자로 연주하여 소음만 낸다면, 자율주행차도 센서들의 '시간 동기화'가 무너지면 아무리 똑똑한 AI 라도 사고를 막을 수 없습니다.

이 논문은 앞으로 자율주행차를 만들 때, **센서들의 시간을 해킹으로부터 철저히 보호하는 '시간 보안'**이 필수적임을 경고하고 있습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

자율 주행 (AD) 시스템은 카메라, 라이다 (LiDAR), 레이더 등 이질적인 센서 데이터를 융합하여 환경을 정밀하게 인식하는 다중 모달 퓨전 (Multimodal Fusion, MMF) 에 의존합니다. 이러한 시스템의 핵심 전제는 모든 센서 데이터가 정확한 시간 동기화 (Temporal Synchronization) 를 기반으로 융합된다는 것입니다.

• 핵심 취약점: 기존 연구는 주로 센서 데이터 자체의 조작 (스푸핑) 에 초점을 맞췄으나, 본 논문은 시간적 불일치 (Temporal Misalignment) 를 악용한 새로운 공격 벡터를 제시합니다.
• 공격 메커니즘: 차량 내부 네트워크 (Automotive Ethernet) 의 취약점 (gPTP 동기화 부재, ROS2 의 보안 결함 등) 을 이용하여 센서 메시지의 타임스탬프 (Timestamp) 를 조작합니다.
• 공격의 특징: 실제 센서 데이터 (페이로드) 는 변조하지 않고, 데이터가 생성된 시점과 타임스탬프 간의 불일치를 만들어냅니다. 이로 인해 퓨전 노드는 서로 다른 물리적 시점의 데이터 (예: 과거의 라이다 데이터와 현재의 카메라 데이터) 를 매칭하여 융합하게 되며, 이는 심각한 인식 오류를 유발합니다.

2. 제안된 공격: DEJAVU (Methodology)

저자들은 DEJAVU라는 이름의 시간적 불일치 공격을 제안했습니다. 이 공격은 차량 내 네트워크의 신뢰 가정 (Clock Synchronization, Timestamp Integrity, Middleware Integrity) 을 위반하여 수행됩니다.

• 공격 시나리오:
  1. 시계 동기화 교란 (C1): gPTP (Precision Time Protocol) 의 그랜드마스터 (Grandmaster) 를 사칭하거나 조작하여 전체 네트워크의 시계를 왜곡시킵니다.
  2. 타임스탬프 무결성 조작 (C2): 센서 ECU 를 해킹하여 실제 데이터는 유지하되, 전송 시의 타임스탬프를 조작합니다.
  3. ROS2 노드 위장 (C3): ROS2 의 보안 부재를 이용해 합법적인 센서 노드를 사칭하고, 지연된 ( Replay 된) 데이터를 새로운 타임스탬프와 함께 재전송합니다.
• 공격 전략:
  • 상수 지연 (Constant Delay): 특정 센서 스트림에 고정된 지연 (예: 1 프레임, 3 프레임) 을 적용합니다.
  • 무작위 지연 (Random Delay): 메시지마다 무작위 지연을 적용하여 데이터의 순서와 시퀀스를 교란합니다.
  • 단일/다중 모달 공격: 카메라 또는 라이다 중 하나만 공격하거나 (Uni-DEJAVU), 두 센서 모두를 동시에 공격 (Mul-DEJAVU) 합니다.

3. 주요 기여 (Key Contributions)

1. DEJAVU 공격 프레임워크 제안: 자율 주행의 MMF 시스템이 시간적 불일치에 얼마나 취약한지를 체계적으로 분석하는 최초의 공격 프레임워크를 제시했습니다.
2. 모달별 민감도 분석 (Modality-Specific Sensitivities):
   • 3D 객체 감지 (Object Detection): 라이다 입력에 과도하게 의존함. 라이다의 작은 지연만으로도 성능이 급격히 저하됨.
   • 다중 객체 추적 (Multi-Object Tracking, MOT): 카메라 입력에 더 의존함. 카메라 스트림의 시간적 교란이 추적 정확도에 치명적임.
3. 하드웨어 및 시뮬레이션 검증:
   • HIL (Hardware-in-the-Loop) 테스트베드: 실제 자동차 이더넷 환경에서 DEJAVU 공격의 실현 가능성을 입증했습니다.
   • Autoware 시뮬레이션: Autoware 스택을 활용한 엔드 - 투 - 엔드 (End-to-End) 자율 주행 시뮬레이션에서 공격이 충돌 (Collision) 및 유령 브레이킹 (Phantom Braking) 을 유발함을 확인했습니다.

4. 실험 결과 (Results)

KITTI 및 nuScenes 데이터셋과 MVXNet, BEVFusion, MMF-JDT 등 최신 모델을 대상으로 실험한 결과는 다음과 같습니다.

• 3D 객체 감지 (Object Detection):
  • MVXNet (KITTI): 라이다 스트림을 1 프레임만 지연시켜도 자동차 (Car) 감지 mAP 가 88.5% (84.1 → 9.7) 까지 급감했습니다. 반면 카메라 지연은 거의 영향을 미치지 않았습니다.
  • BEVFusion (nuScenes): 라이다 지연에 매우 취약하며, 카메라와 라이다를 동시에 1 프레임 지연시키면 mAP 가 89.2% 까지 폭락했습니다.
• 다중 객체 추적 (MOT):
  • MMF-JDT (KITTI): 카메라 스트림을 3 프레임 지연시키면 추적 정확도 (MOTA) 가 73% 하락했습니다. 이는 추적 작업이 카메라의 텍스처 정보와 시퀀스 유지에 더 의존하기 때문입니다.
  • 무작위 지연의 영향: 무작위 지연 공격은 객체 추적의 시퀀스를 완전히 붕괴시켜 MOTA 를 60% 이상 감소시켰습니다.
• 실제 시나리오 영향 (Autoware):
  • False Negative: 지연된 라이다 데이터로 인해 approaching truck(접근하는 트럭) 을 감지하지 못해 정면 충돌 발생.
  • False Positive: 이미 지나간 차량의 지연된 데이터가 새로운 장애물로 인식되어 불필요한 긴급 제동 (Phantom Braking) 발생.

5. 의의 및 결론 (Significance)

• 보안 패러다임의 전환: 자율 주행 보안은 단순히 센서 데이터의 무결성뿐만 아니라 시간적 정합성 (Temporal Consistency) 의 보안이 필수적임을 강조합니다.
• 시스템 설계의 경각심: 현재 MMF 시스템이 특정 센서 (라이다 또는 카메라) 에 지나치게 편향되어 있어, 해당 센서의 시간적 동기화만 무너져도 전체 시스템이 붕괴될 수 있음을 보여줍니다.
• 방어 전략 제안:
  • 암호화된 타임스탬프 및 하드웨어 기반 시계 (RTC, PTP) 사용.
  • 퓨전 전 교차 모달 (Cross-modal) 일관성 검사 및 통계적 모니터링.
  • 지연을 인지한 적응형 퓨전 (Delay-aware adaptive fusion) 을 통한 안전 조치 (감속 등).

이 논문은 자율 주행 시스템이 물리적 센서 조작뿐만 아니라, 네트워크 수준의 시간 동기화 공격에도 매우 취약하며, 이로 인해 치명적인 안전 사고가 발생할 수 있음을 실증적으로 증명했습니다.