A Multi-Seed Evaluation of Explanation Faithfulness and Stability under Adversarial Evasion in IoT/IIoT Intrusion Detection

현대 세계의 숨겨진 계층 속에서, 공장 센서부터 가정용 온도 조절기에 이르기까지 수십억 개의 스마트 기기들이 끊임없이 서로 대화를 나눕니다. 사물인터넷(IoT)이라 불리는 이 거대한 네트워크는 우리 디지털 인프라의 신경계와 같습니다. 하지만 모든 신경계가 그러하듯, 이 또한 간섭에 취약합니다. 해커들은 보안 소프트웨어를 속이기 위해 정교하게 계산된 미세한 신호를 보낼 수 있으며, 이를 통해 위험한 공격을 무해한 배경 소음처럼 보이게 만들 수 있습니다. 수년 동안 보안 전문가들은 침입자를 찾아내기 위해 인공지능에 의존해 왔습니다. 그러나 새로운 문제가 발생했습니다. 이러한 AI 시스템이 위협을 감지했을 때, 종종 왜 그런 결정을 내렸는지에 대한 '설명'을 제공한다는 점입니다. 여기서 핵심적인 질문은, AI가 적극적으로 속임을 당하고 있을 때 그 설명이 여전히 정직할 수 있느냐는 것입니다. 만약 해커가 시스템을 속여 공격을 무시하게 만든다면, 시스템의 설명 또한 거짓이 되는 것일까요, 아니면 여전히 진실을 가리키고 있을까요?

다프도실 인터내셔널 대학교(Daffodil International University)의 연구팀은 공격을 받는 상황에서 이러한 AI 설명의 정직성과 신뢰성을 테스트하기 위해 나섰습니다. 그들은 SHAP과 LIME으로 알려진, AI의 결정을 설명하는 데 사용되는 두 가지 대중적인 방법에 집중했습니다. 이 도구들은 마치 스포트라이트처럼 작동하여, 데이터 패킷의 크기나 연결 지속 시간과 같은 네트워크 신호의 어느 부분이 AI로 하여금 경보를 울리게 했는지를 강조해 보여줍니다. 연구진은 입력 데이터가 해커에 의해 미세하게 변형되었을 때, 이 스포트라이트가 흔들림 없이 정확하게 유지될지, 아니면 흔들리며 잘못된 방향을 가리킬지를 알고 싶었습니다. 진정으로 신뢰할 수 있는 답을 얻기 위해, 그들은 단 하나의 AI 모델 버전만을 테스트하는 흔한 실수를 피했습니다. 대신, 연구 결과가 특정 훈련 세션의 운 좋은 우연이 아님을 보장하기 위해, 각기 조금씩 다른 무작위 설정을 가진 동일한 보안 시스템의 20가지 서로 다른 버전을 훈련시켰습니다.

연구진은 두 개의 주요 네트워크 트래픽 컬렉션에서 가져온 실제 데이터를 사용하여 이 시스템들을 엄격한 일련의 테스트에 투입했습니다. 그들은 세 가지 유형의 공격을 시뮬레이션했습니다. 실제 네트워크에서는 절대 생성될 수 없는 방식으로 데이터를 변경하는 광범위하고 제한 없는 공격, 공격자가 제어할 수 있는 숫자만을 변경하는 더 현실적인 공격, 그리고 데이터 패킷이 구축되는 물리적 규칙을 준수하는 매우 제약적인 공격입니다. 연구 결과, 패킷에 소수점 단위의 바이트가 포함되는 것과 같이 불가능한 데이터 값을 생성하는 제한 없는 공격은 대부분 오경보인 것으로 나타났습니다. 연구진이 이러한 불가능한 기록들을 실제 유효한 데이터처럼 보이도록 강제했을 때, 뉴럴 네트워크 모델에 대한 공격 성공률은 급격히 떨어졌습니다. 그러나 작동 방식이 다른 트리 기반 모델들은 이러한 유효해 보이는 속임수에 더 취약했습니다.

가장 놀라운 발견은 설명 그 자체에 관한 것이었습니다. AI 모델이 공격을 받을 때, SHAP 방식은 모델의 결정이 바뀌더라도 일관되게 모델의 동작을 반영하며 충실하고 안정적인 설명을 제공했습니다. 반면, LIME 방식은 훨씬 덜 신뢰할 수 있는 것으로 드러났습니다. 공격을 받을 때 LIME의 설명은 시스템이 단순히 정상적으로 작동할 때만큼이나 크게 변했는데, 이는 그 변화가 실제 공격을 반영하기보다는 대부분 무작위 소음에 불과했음을 시사합니다. 실제로 20번의 서로 다른 훈련 세션 전체에 걸친 모든 비교에서 SHAP이 정확도와 안정성 면에서 LIME보다 뛰어난 성능을 보였습니다. 또한 연구진은 보안 시스템의 '경보 임계값'(시스템이 경보를 울리기로 결정하는 지점)의 선택이 모델 자체보다 더 중요하다는 것을 발견했습니다. 매우 민감하게 조정된 시스템은 거의 모든 공격을 잡아낼 수 있지만 보안 팀을 압도할 만큼 많은 오경보를 생성할 수 있는 반면, 더 엄격한 설정은 공격을 놓칠 수는 있지만 소음을 줄일 수 있습니다.

아마도 가장 냉혹한 발견은 어떤 단일 보안 시스템도 무적은 아니라는 점일 것입니다. 한 데이터 세트에서, 가장 진보된 뉴럴 네트워크조차도 단순히 패킷에 추가 데이터를 채워 넣는 기술(방어 체계를 완전히 우회하면서 비용은 거의 들지 않는 기술)을 사용하는 해커에게 거의 완전히 속을 수 있었으며, 모델은 이러한 공격을 최대 3%밖에 탐지하지 못했습니다. 트리 기반 모델은 더 견고했지만, 그 구조에 특화된 정교한 표적 공격은 여전히 상당 부분의 사례에서 방어를 회피할 수 있었습니다. 이 연구는 우리가 스스로의 추론을 설명할 수 있는 AI 시스템을 구축할 수는 있지만, 그 설명의 신뢰도는 시스템이 조작에 저항하는 능력에 달려 있다고 결론짓습니다. 이 연구는 향후 이러한 시스템을 테스트하기 위한 명확한 로드맵을 제공하며, 단순한 정확도 점수를 넘어 시스템이 실제 압박을 받는 상황에서 설명이 어떻게 버텨내는지를 조사해야 한다고 강조합니다. 우리의 디지털 방어력을 이해하기 위해 사용하는 도구는 그 방어력만큼이나 탄력적이어야 합니다.