DTP-Attack: A decision-based black-box adversarial attack on trajectory prediction

1. 문제 정의 (Problem Definition)

• 배경: 자율주행차 (AV) 의 안전성은 주변 차량 및 보행자의 미래 궤적을 예측하는 궤적 예측 시스템 (Trajectory Prediction Systems) 에 크게 의존합니다.
• 취약점: 최근 적대적 머신러닝 (Adversarial Machine Learning) 연구는 신경망이 미세한 입력 왜곡 (Perturbation) 에 의해 조작될 수 있음을 보여주었습니다. 자율주행 환경에서 이러한 취약점은 심각한 안전 사고로 이어질 수 있습니다.
• 기존 방법의 한계:
  • 화이트박스 의존성: 기존 공격 기법들은 모델의 내부 구조나 그래디언트 (Gradient) 정보에 의존하는 경우가 많아, 실제 블랙박스 환경 (모델 내부 정보 없음) 에서는 적용이 어렵습니다.
  • 강제된 물리적 제약: 기존 방법들은 인위적으로 설정된 물리적 제약 (Kinematic constraints) 을 최적화 과정에 포함시키는데, 이는 검색 공간을 불연속적으로 만들어 지역 최적해 (Local Optima) 에 갇히게 하거나 비현실적인 궤적을 생성합니다.
  • 공격 목표의 제한: 기존 방법들은 주로 '예측 정확도 저하 (Accuracy Degradation)'에만 초점을 맞추어, '의도 오분류 (Intention Misclassification)'와 같은 다양한 공격 시나리오를 지원하지 못했습니다.

2. 제안 방법: DTP-Attack (Methodology)

저자들은 DTP-Attack이라는 새로운 의사결정 기반 (Decision-based) 블랙박스 적대적 공격 프레임워크를 제안합니다.

• 핵심 개념:

  • 모델의 내부 정보나 그래디언트 없이, 오직 이진 (Binary) 의사결정 출력 (공격 성공/실패 여부) 만을 활용합니다.
  • 경계 보행 알고리즘 (Boundary Walking Algorithm): 고정된 물리적 제약 대신, 원본 궤적과의 근접성 (Proximity Preservation) 을 유지하며 적대적 영역을 탐색합니다. 이를 통해 물리적으로 실현 가능한 궤적을 자연스럽게 유지합니다.

• 공격 목표 (Attack Objectives):

  1. 의도 오분류 (Intention Misclassification): 차량의 실제 주행 의도 (직진, 차선 변경, 회전 등) 를 오인식하게 만듭니다.
     • 예: 직진하는 차량을 좌회전/우회전하거나, 가속하는 것처럼 보이게 조작.
     • 측정 지표: 좌/우/전/후 방향의 편차 (Directional Bias).
  2. 예측 정확도 저하 (Prediction Accuracy Degradation): 시스템의 예측 오차를 극대화합니다.
     • 측정 지표: 평균 변위 오차 (ADE), 최종 변위 오차 (FDE), 오프로드율 (Off-Road Rate) 등.

• 최적화 과정 (Algorithm 1):

  • 초기화: 원본 궤적 근처에서 무작위 샘플링을 통해 초기 적대적 궤적 (공격 조건 만족) 을 찾습니다.
  • 수직 단계 (Orthogonal Step): 결정 경계 (Decision Boundary) 에 수직인 방향으로 이동하여 지역 최적해를 탈출하고 적대적 영역을 유지합니다.
  • 전진 단계 (Forward Step): 원본 궤적 방향으로 이동하여 왜곡 (Perturbation) 을 최소화하며 경계에 접근합니다.
  • 동적 조정: 단계 크기 (Step size) 를 경계 기하학에 따라 동적으로 조정하여 수렴성을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 실용적인 블랙박스 공격 프레임워크: 모델 내부 정보나 그래디언트 없이 이진 피드백만으로 작동하여, 실제 자율주행 환경에서의 공격 시나리오에 적용 가능합니다.
2. 제약 없는 최적화 접근법: 명시적인 물리적 제약 대신 궤적 간 거리 최소화를 통해 자연스럽게 물리적 실현 가능성 (Kinematic feasibility) 을 확보하며, 공격 효과를 유연하게 제어할 수 있습니다.
3. 포괄적인 실험적 검증: 다양한 최신 모델 (Trajectron++, Grip++) 과 데이터셋 (nuScenes, Apolloscape) 에서 기존 블랙박스 기법 (PSO 기반 등) 보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋 및 모델: nuScenes 및 Apolloscape 데이터셋을 사용하여 Trajectron++, Grip++ 등 SOTA 모델에 대해 평가했습니다.
• 의도 오분류 공격:
  • 성공률 (ASR): 41% ~ 81% 의 높은 성공률을 기록했습니다.
  • 왜곡 크기: 평균 0.45m 미만의 미세한 왜곡으로 차량이 차선을 이탈하거나 급격한 가속/감속을 하는 것처럼 오인식시켰습니다.
  • 편향: 횡방향 (Lateral) 편향은 2m 이상, 종방향 (Longitudinal) 편향은 3m 이상 발생시켜 실제 주행 의도를 완전히 왜곡했습니다.
• 예측 정확도 저하 공격:
  • 오차 증가: ADE 와 FDE 가 기존 대비 1.9 배에서 4.2 배까지 증가했습니다.
  • 실제 영향: Miss Rate(예측 실패율) 가 8% 에서 61% 로 급증하여, 대부분의 예측이 허용 오차 범위를 벗어났습니다.
  • 은폐성: 평균 제곱 오차 (MSE) 는 0.12m ~ 0.45m 수준으로 매우 작아 탐지하기 어렵습니다.
• 기타 기법 대비 우위: 기존 블랙박스 기법 (PSO, SBA) 보다 일관되게 높은 성공률과 낮은 변동성 (Variance) 을 보이며, 더 넓은 검색 공간에서 최적해를 찾았습니다.

5. 의의 및 결론 (Significance)

• 시스템 취약성 노출: 현재 자율주행의 핵심 요소인 궤적 예측 시스템이 블랙박스 환경에서도 미세한 조작에 의해 치명적인 오인을 할 수 있음을 증명했습니다.
• 안전성 경고: 2m 의 횡방향 오차나 3m 의 종방향 오차는 자율주행차가 긴급 제동이나 충돌 회피를 수행하게 만들어 실제 사고로 이어질 수 있음을 시사합니다.
• 향후 방향: 이러한 취약점을 해결하기 위해, 정상적인 예측 정확도를 유지하면서도 적대적 공격을 탐지하고 완화할 수 있는 강건한 방어 메커니즘 (Robust Defenses) 개발의 시급성을 강조합니다.

이 논문은 자율주행 시스템의 안전성을 위협할 수 있는 새로운 형태의 적대적 공격을 제시함으로써, 향후 더 안전한 자율주행 기술 개발을 위한 중요한 기초 자료를 제공합니다.