Evaluating False Alarm and Missing Attacks in CAN IDS

기술 요약: CAN 침입 탐지 시스템(IDS)의 오경보 및 공격 미탐지에 대한 평가

문제 정의
현대 자동차는 안전 필수 기능을 수행하는 전자 제어 장치(ECU)를 상호 연결하기 위해 컨트롤러 영역 네트워크(CAN)에 크게 의존하고 있습니다. 머신러닝(ML) 기반의 침입 탐지 시스템(IDS)이 CAN 트래픽을 보호하기 위해 점점 더 많이 배치되고 있지만, 적대적 조작에 대한 이들의 강건성(robustness)은 여전히 충분히 탐구되지 않은 상태입니다. 기존 문헌들은 종종 깨끗한 데이터(clean data)에서 IDS 성능을 평가하거나, 오경보(거짓 양성)와 공격 미탐(거짓 음성)을 개별적으로 고려합니다. 본 논문은 프로토콜을 준수하는 페이로드 수준의 섭동(perturbation)이 어떻게 동시에 오경보를 유발하고 악성 트래픽의 탐지를 회피하게 만들어, 안전 필수 자동차 IDS의 신뢰성을 저해할 수 있는지에 대한 이해의 공백을 다룹니다.

방법론
본 연구는 12개의 정상 캡처와 33개의 공격 캡처(fuzzing, fabrication, ECU masquerade 포함)로 구성된 3.5시간 이상의 실제 차량 CAN 트래픽이 담긴 ROAD 데이터셋을 사용하여 체계적인 적대적 평가를 제시합니다.

• 평가 모델: 저자들은 네 가지 얕은 학습 모델인 결정 트리(DT), 랜덤 포레스트(RF), 엑스트라 트리(ET), XGBoost(XGB)를 4개의 은닉층을 가진 심층 신경망(DNN)과 비교합니다.
• 위협 모델: 평가는 IDS에 대한 화이트박스 지식을 가진 "그레이 버스(gray-bus)" 공격자를 가정합니다. 공격자는 조작된 메시지를 주입할 수 있지만, 반드시 CAN 프로토콜 제약 조건을 준수해야 합니다.
• 적대적 예시 생성: 저자들은 ART(Adversarial Robustness Toolbox)를 사용하여 FGSM(Fast Gradient Sign Method), BIM(Basic Iterative Method), PGD(Projected Gradient Descent)를 통해 적대적 예시를 생성합니다. 결정적으로, 섭동은 CAN 프레임의 **페이로드 바이트(D0–D7)**로 제한됩니다. CAN ID와 데이터 길이 코드(DLC)는 고정되며, 생성된 모든 값은 유효한 바이트 범위인 [0, 255] 내로 클리핑되어 생성된 프레임이 프로토콜을 준수하고 물리적 선상에서 유효하도록 보장합니다.
• 평가 지표: 본 연구는 유도된 오분류(정상 트래픽에 대한 거짓 양성 및 악성 트래픽에 대한 거짓 음성 모두)의 빈도를 정량화하기 위해 **공격 성공률(ASR)**을 활용하며, 클래스 불균형 상황에서의 전반적인 분류 성능을 평가하기 위해 **매튜스 상관 계수(MCC)**를 사용합니다.

주요 기여

1. 통합 적대적 프레임워크: 본 논문은 오경보와 공격 미탐을 독립적인 현상이 아닌 결합된 실패 모드로 조사하는 통합된 평가 방식을 도입합니다.
2. 프로토콜 준수 섭동: 유효하지 않은 네트워크 패킷을 생성할 수 있는 기존 연구들과 달리, 본 연구는 엄격한 도메인 제약 조건을 적용하여 적대적 예시가 실제 차량 버스상에 존재할 수 있는 유효한 CAN 프레임이 되도록 보장합니다.
3. 비교 아키텍처 분석: 다양한 공격 시나리오(Fuzzing, MECTA, MSA, RLOFFA, RLONA, CSA)에 걸쳐 아키텍처 선택(얕은 앙상블 vs. 딥 러닝)이 적대적 강건성에 어떠한 영향을 미치는지 규명합니다.
4. 재현성: 저자들은 구현체, 실험 파이프라인 및 평가 코드를 공개하였습니다.

결과

• 정상 상태 성능: 정상 조건 하에서 모든 모델은 강력한 베이스라인 성능을 달나합니다. DNN은 주로 더 높은 거짓 음성 비율 때문에 얕은 모델(약 0.91)에 비해 약간 낮은 MCC(약 0.85)를 보이며, 이는 더 보수적인 결정 경계를 가짐을 시사합니다.
• 오경보 강건성: 모든 모델(DNN 포함)은 정상 트래픽에 대해 오경보를 유발하는 것에 대해 강한 강건성을 보입니다. 특히 DNN은 적대적 섭동 하에서도 낮은 거짓 양성률을 유지하며, 이 특정 지표에서 얕은 모델보다 우수한 성능을 보입니다.
• 미탐 취약성: 본 연구는 공격 미탐(거짓 음성)에 관한 상당한 취약성을 드러냅니다.
  • DNN 취약성: DNN은 그래디언트 기반 공격 하에서 치명적인 실패를 겪습니다. 특정 시나리오(예: MECTA)에서 DNN의 미탐 ASR은 1.0에 도달하며, 이는 적대적으로 조작된 악성 프레임을 탐지하는 데 완전히 실패했음을 나타냅니다.
  • 얕은 모델의 회복력: 얕은 모델들 또한 강력한 공격(특히 PGD) 하에서 성능이 저하되지만, 엑스트라 트리(ET) 모델은 다른 아키텍처에 비해 우수한 강건성을 보여줍니다. ET는 대부분의 시나리오에서 미탐에 대한 낮은 ASR을 유지하며, RF 및 XGB와 비교하여 PGD 하에서 더 안정적인 성능을 보입니다.
  • 공격 유형별 민감도: 그래디언트 기반 공격(FGSM, BIM, PGD)은 DNN에 매우 효과적입니다. 반대로, 프로토콜 인지형 조작(fabrication) 공격은 트리 기반 모델에 더 큰 영향을 미치지만, ET가 일반적으로 DT, RF, XGB보다 낮은 ASR을 유지하며 더 나은 성능을 보입니다.
  • CSA 공격: 상관 신호 공격(CSA)의 경우, 적대적 평가 하에서 어떤 모델에서도 거짓 음성이 발생하지 않았습니다. 저자들은 이를 엄격한 프로토콜 제약 때문으로 설명하며, 미탐을 유도할 수 있는 유효한 적대적 샘플은 CAN 프레임의 유효성을 위반하지 않고는 생성될 수 없었습니다.

의의 및 주장
본 논문은 적대적 조작이 동시에 오경보를 유발하고 탐지를 회피할 수 있음을 주장하며, 현재 자동차 IDS 배포의 중대한 공백을 강조합니다. 결과에 따르면 딥러닝 모델은 깨끗한 데이터에서는 우수한 성능을 제공할 수 있지만, 그래디언트 기반 적대적 조작에는 매우 취약하여 잠재적으로 치명적인 안전 실패를 초래할 수 있습니다. 반면, 엑스트라 트리와 같은 앙상블 방법은 최소한의 오경보와 상대적으로 낮은 미탐률을 보이며 더 유리한 강건성 트레이드오프를 제공합니다.

저자들은 IDS 신뢰성을 평가하는 데 있어 깨끗한 테스트 데이터만을 사용하는 것은 불충분하다고 결론짓습니다. 이들은 안전 필수 자동차 시스템에서 적대적 강건성 평가의 필요성을 강조하며, 적응형 공격자에 대한 회복력을 높이기 위해 적대적 훈련(adversarial training) 및 하이브리드 IDS 설계와 같은 방어 전략에 향후 연구가 집중되어야 한다고 제언합니다.