기술 요약: 자율주행에서의 시점에 의한 궤적 조작

문제 제기

기존의 비전 기반 자율주행 (AD) 시스템에 대한 물리적 적대적 공격은 일반적으로 정교하고 동적으로 변화하는 패치나 다중 뷰 견고성을 위해 최적화된 정적 패치에 의존합니다. 이러한 접근 방식은 자차와 표적 간의 상대적 운동으로 인해 발생하는 시점 변화를 공격 효과를 유지하기 위해 극복해야 하는 견고성 과제로 간주합니다. 결과적으로, 객체 은닉이나 오분류와 같은 지각 오류를 유발하기 위해 복잡한 다중 뷰 최적화나 능동적 개입 (예: 동적 디스플레이) 이 필요합니다.

본 논문은 중요한 간과 사항을 지적합니다. 시점 변화 자체가 공격 메커니즘으로 활용될 수 있다는 것입니다. 현재 시스템은 탐지가 연관되고, 예측되며, 계획되는 시간적 지각에 의존합니다. 단일 프레임 오류는 필터링될 수 있지만, 지각 오류의 일관된 시간적 진화는 하류 파이프라인을 통해 전파되어 계획 결정에 영향을 미칠 수 있습니다. 저자들은 새로운 공격 패러다임을 제안합니다. "정적 위장, 이동 착시"입니다. 목표는 차량에 장착된 정적 수동적 적대적 위장을 사용하여 자연스러운 상대 운동만으로 프레임 간 일관된 특징 드리프트를 유발하는 것입니다. 이는 AD 시스템으로 하여금 물리적으로 타당하지만 잘못된 궤적 (예: 잘못된 차선 침입) 을 추론하게 하여 불필요한 급제동이나 추월 시도 중단을 유발합니다.

방법론

1. 위협 모델

• 공격자: 자신이 통제하는 차량에 정적 물리적 위장을 부착할 수 있음.
• 지식: 피해자의 지각 모델에 대한 화이트박스 접근 권한 (또는 대리 모델을 통한 전이). 하류 추적, 예측, 계획 모듈에 대한 지식은 가정하지 않음.
• 메커니즘: 공격은 정상적인 상대 운동에 의해 수동적으로 유발됨. 피해 차량이 위장된 차량에 대해 이동함에 따라 시점이 변화하고, 이로 인해 정적 위장의 투영된 외관이 진화함.
• 목표: 계획 단계로 전파되어 안전에 치명적인 결정을 초래하는 시간적으로 일관된 3D 바운딩 박스 (bbox) 변위를 유발함.

2. 공격 파이프라인

제안된 프레임워크는 세 단계로 구성됩니다.

• 시나리오 선정:

  • 공격 가능성 필터 (AFF): 표적 차량이 가시적이며, 자차 경로와 관련성이 있고, 이미 침입하지 않은 시퀀스를 선택함.
  • 시점 필터 (VAF): 첫 번째 프레임과 마지막 프레임 사이에 충분한 시점 변화가 있는 시퀀스를 특별히 선택함. 이전 연구들과 달리, 시점 의존적 외관 진화를 증폭시키기 위해 더 큰 변화를 선호함.

• 위장 렌더링:

  • 정적 위장 텍스처 ($\delta$) 가 최적화되어 표적 차량 메시의 렌더링 가능 영역에 매핑됨.
  • 가림 현상은 세그멘테이션 마스크 (SAM2) 를 사용하여 처리되며, 렌더링은 카메라 내부 파라미터를 사용하여 PyTorch3D 로 수행됨.

• 계획 유도 최적화:

  • 목표 탐색: 시스템은 하류 계획 오류를 최대화할 (예: 충돌 또는 급제동 유발) 최적의 변위 방향 ($\bar{u}$) 과 단계 크기 ($\bar{s}$) 를 탐색함.
  • 손실 함수: 위장은 시간적 일관성을 보장하면서 목표 방향을 따라 변위를 최대화하도록 최적화됨.
    • 이동 손실 ($L_{move}$): 3D bbox 중심을 목표 방향으로 이동시킴.
    • 진전 손실 ($L_{prog}$): 일관된 운동 착시를 만들기 위해 점진적으로 증가하는 변위 ($d_{k+1} - d_k \approx \bar{s}$) 를 강제함.
    • 정확도 손실 ($L_{fid}$): 표적이 유효한 탐지 객체로 유지되도록 함 (신뢰도, 치수, 요각 유지).
    • 스타일 손실 ($L_{style}$): 총 변동 (TV) 과 비인쇄 가능성 점수 (NPS) 를 포함하여 패턴이 인쇄 가능하고 노이즈가 낮도록 함.
  • 견고성: 최적화 중에 3D 변환 기대값 (EoT) 을 적용하여 타겟 자세에 요각, 이동, 깊이, 스케일 등의 무작위 교란을 도입함.

주요 기여

1. 새로운 공격 메커니즘: 본 논문은 시점 변화를 새로운 공격 표면으로 식별합니다. 자연스러운 주행 역학을 통해 정적 위상이 동적 시간적 교란으로 변환될 수 있음을 입증하여, 능동적 또는 동적 적대적 패치의 필요성을 제거합니다.
2. 기하학적 제약 프레임워크: 프레임 간 점진적인 3D bbox 이동을 유발하는 정적 위장을 생성하는 방법이 제안되었습니다. 이 프레임워크는 공격이 물리적으로 투영 가능하고 시간적으로 일관되도록 보장합니다.
3. 시스템 수준 영향: 이 작업은 이러한 유도된 운동 착시가 추적 및 예측 모듈을 통해 전파되어 종단 간 (end-to-end) AD 파이프라인에서 현실적이고 해로운 주행 행동 (추월 중단, 급제동) 을 유발함을 보여줍니다.

실험 결과

이 공격은 220 개의 시나리오와 세 가지 비전 기반 3D 탐지기 (BEVDet, BEVDepth, FastBEV++) 를 사용하여 nuScenes 데이터셋에서 평가되었습니다. 추적, 예측, 계획을 시뮬레이션하기 위해 두 개의 하류 파이프라인 (파이프라인 A 및 B) 이 구축되었습니다.

• 성공률: 공격은 **최대 87.5% 의 공격 성공률 (ASR)**을 달성했습니다 (급제동 사건, 즉 감속도 $\ge 3.0 m/s^2$로 정의됨). 교차 검증 설정에서 ASR 은 50.0% 에서 66.7% 사이였습니다.
• 시간적 일관성: **점진적 변위율 (PDR)**은 평균 **70.8%**에 달하여 유도된 bbox 이동이 무작위 노이즈가 아닌 시간적으로 점진적임을 확인했습니다.
• 하류 영향:
  • 평균 예측 오차 (APE): 예측된 궤적에서 최대 3.02 m 의 편차 발생.
  • 최소 궤적 거리 (MTD): 약 1.48 m 로 감소하여 예측된 경로가 피해자의 계획된 경로에 접근하여 안전 충돌을 초래함을 나타냄.
  • 급제동: 최대 4.45 $m/s^2$의 최대 제동 감속도 (MBD) 를 유발함.
• 효과성에 영향을 미치는 요인:
  • 시점 변화: 더 큰 변화는 더 강력한 변위와 상관관계가 있음.
  • 시나리오 세부 사항: 이 공격은 더 짧은 거리, 더 밝은 조명, 더 큰 투영 영역, 더 낮은 상대 속도일 때 더 효과적임.
  • 전이성: 탐지기별 특징 집계로 인해 모델 간 전이성은 제한적이지만, 이 공격은 다른 차량 유형 (SUV, 세단, 밴) 간에 효과적으로 전이됨.

중요성 및 주장

저자들은 이 작업이 자율주행에서 이전에 간과되었던 취약점을 강조한다고 주장합니다. 시간적 일관성에 대한 의존성은 동적 시점 조건을 악용하는 정적 물리적 공격에 시스템을 취약하게 만듭니다.

• 패러다임 전환: 본 논문은 시점 변화를 단순히 견고성의 장애물로 취급하는 것이 아니라 잠재적인 공격 벡터로 인식해야 한다고 주장합니다.
• 배포 가능성: 이전 연구에서 요구했던 동적 디스플레이나 능동적 개입과 달리, 이 공격은 "수동적"이며 "배포가 용이"합니다. 이는 특정 위장 패턴이 있는 주차된 차량만 있으면 통과하는 자율주행 차량에서 급제동을 유발할 수 있기 때문입니다.
• 보안 함의: 결과는 단일 프레임 견고성이나 다중 뷰 불변성에 초점을 맞춘 현재의 방어책으로는 부족함을 시사합니다. 향후 안전한 AD 시스템은 단순한 프레임 단위 지각을 넘어 자연 운동 역학에 의해 유도된 시공간적으로 일관된 지각 편향을 고려해야 합니다.

본 논문은 평가가 특정 모델과 시뮬레이션 데이터셋으로 제한되지만, 이러한 발견이 단순한 프레임 단위 지각을 넘어 물리적 일관성과 시간적 안정성에 대해 추론할 수 있는 더 견고한 시스템 설계에 동기를 부여한다고 결론지었습니다.