Evaluation Pitfalls and Multimodal Baselines for the \dataset{} IoT Malware Dataset

디지털 세계에서 보안 연구자들은 컴퓨터를 위한 면역 체계 의사처럼 행동합니다. 그들은 악성 소프트웨어, 즉 멀웨어가 해를 끼치기 전에 이를 포착할 수 있는 도구를 만듭니다. 이러한 도구를 훈련시키기 위해 그들은 방대한 데이터 라이브러리가 필요합니다. 컴퓨터가 건강할 때의 행동 기록과 병들었을 때의 행동 기록입니다. 훈련 데이터의 품질은 결과물인 보안 도구가 얼마나 잘 작동하는지를 결정합니다. 데이터에 결함이 있다면, 도구는 실세계에서 실패하여 위험한 위협을 놓치거나 잘못된 경보를 울리게 됩니다. 이 분야의 주요 과제는 연구자들이 데이터를 훈련 그룹과 테스트 그룹으로 나누는 방식이 의도치 않게 편향을 도입하지 않도록 보장하는 것입니다. 만약 어떤 컴퓨터 프로그램이 훈련 중에 특정 멀웨어를 보고, 테스트 중에 정확히 똑같은 멀웨어를 본다면, 그것은 새로운 위협을 탐지하는 법을 배우는 것이 아니라 단순히 정답을 암기하고 있는 것입니다. 더욱이, 연구자들은 보안 도구를 개별적인 의심스러운 활동 순간을 얼마나 잘 잡아내는지로 판단할 것인지, 아니면 전체 감염된 프로그램을 얼마나 잘 식별하는지로 판단할 것인지를 결정해야 하며, 이는 매우 다른 작업이 될 수 있습니다.

타림 대학교의 연구팀은 최근 CIC-YNU-IoTMal2026이라는 새롭고 이례적으로 상세한 데이터 라이브러리에 주목했습니다. 이 데이터셋은 수천 개의 컴퓨터 프로그램에 대해 세 가지 유형의 정보를 동시에 기록하기 때문에 보안 전문가들에게 보물 창고와 같습니다. 이는 유입되고 유출되는 네트워크 트래픽, CPU 사용량과 같은 시스템 활동, 그리고 프로그램이 운영 체제에 내리는 구체적인 명령 목록을 포착합니다. 이 프로그램들은 서로 다른 네 가지 유형의 컴퓨터 칩에서 실행되어, 보안 도구가 다양한 하드웨어에서 작동할 수 있는지 확인되었습니다. 연구자들은 새로운 보안 도구를 만든 것이 아니라, 감사자로서 행동했습니다. 그들은 이 데이터셋 자체를 조사하여 보안 도구를 테스트하는 표준적인 방식들이 심각한 문제를 숨기고 있지는 않은지 검토했습니다. 그들은 다른 연구자들이 보고한 높은 점수들이 실제인지, 아니면 데이터를 다루는 방식에서의 미묘한 실수 때문인지를 알고 싶었습니다.

감사는 데이터가 어떻게 나뉘었는지를 살펴보는 것으로 시작되었습니다. 가장 흔한 방법은 기록된 모든 활동 순간을 가져와 무작ความ으로 섞은 뒤, 일부는 훈련 더미에, 일부는 테스트 더미에 넣는 것입니다. 연구자들은 이 방식이 이 특정 데이터셋에 대해 근본적으로 결함이 있다는 것을 발견했습니다. 데이터는 전체 프로그램을 기록하므로, 순간들을 섞는다는 것은 테스트 더미에 이미 훈련 더미에 포함된 프로그램의 순간들이 포함되었음을 의미했습니다. 실제로 모든 테스트 순간은 그 부모 프로그램을 훈련 세트와 공유하고 있었으며, 테스트 순간의 적은 비율은 훈련 순간의 정확한 중복이었습니다. 이는 이 방식으로 테스트된 모든 보안 도구가 이미 답을 알고 있는 질문에 대해 채점을 받고 있다는 것을 의미했습니다. 이것이 이 특정 데이터셋에서 점수를 인위적으로 높이지는 않았지만, 결과가 진정으로 새롭고 보지 못한 프로그램에 대해 도구가 얼마나 잘 작동할지를 예측하는 데는 신뢰할 수 없음을 의미했습니다. 연구자들은 이러한 도구를 테스트하는 공정한 유일한 방법은 전체 프로그램을 함께 유지하여, 어떤 프로그램도 훈련과 테스트 그룹 모두에 나타나지 않도록 하는 것이라고 결론지었습니다.

연구자들이 데이터 분할 방식을 수정했을 때에도, 그들은 두 번째의 더 기만적인 문제를 발견했습니다. 데이터셋에는 수천 개의 아주 작은 활동 스냅샷이 포함되어 있으며, 많은 보안 도구는 이러한 개별 스냅샷을 얼마나 잘 잡아내는지로 평가받습니다. 연구자들은 이 방식이 위험한 실패 모드를 숨긴다는 것을 발견했습니다. 데이터셋 내 악성 프로그램의 약 16%가 보안 도구에 의해 완전히 놓쳐졌습니다. 이 놓쳐진 프로그램들은 정교하지 않았습니다. 그들은 단지 휴면 상태였습니다. 그들은 테스트 환경에서 실행되었지만, 악성 활동을 시작하기 위해 깨어나지 못했고, 그래서 정확히 무해한 프로그램처럼 보였습니다. 깨어난 악성 프로그램들은 매우 시끄럽고 수백 개의 활동 스냅샷을 생성했기 때문에 통계를 지배했습니다. 조용한 휴면 프로그램들은 묻혀버렸고, 이는 보안 도구가 실제보다 훨씬 더 잘 작동하는 것처럼 보이게 만들었습니다. 연구자들은 안전에 대한 진정한 그림을 얻으려면, 단순히 시끄러운 순간들이 아니라 전체 프로그램을 잡아내는지에 따라 도구를 판단해야 한다고 강조했습니다.

연구는 또한 도구가 서로 다른 유형의 컴퓨터 칩을 마주했을 때 어떻게 수행되는지를 조사했습니다. 데이터셋에는 네 가지 아키텍처에서 실행되는 프로그램이 포함되어 있었으며, 연구자들은 세 가지 아키텍처에서 훈련된 도구가 네 번째 아키텍처에서도 위협을 탐지할 수 있는지 테스트했습니다. 결과는 극명했습니다. 많은 소형 기기에 흔히 쓰이는 ARM이라는 특정 유형의 칩에 대해 도구를 테스트했을 때, 도구는 무너졌습니다. 도구는 무해한 프로그램을 거의 80%의 확률로 위험하다고 잘못 표시하면서도, 실제 악성 코드는 거의 모두 잡아냈습니다. 이 실패는 도구가 악성 코드를 인식하지 못해서가 아니었습니다. 무해한 프로그램들이 다른 칩에서의 무해한 프로그램들과 다르게 행동했기 때문이었습니다. 도구는 특정 하드웨어에서 무엇이 "정상"인지에 대한 잘못된 패턴을 학습한 것이었습니다. 연구자들은 이 문제가 매우 저렴하게 해결될 수 있음을 발견했습니다. 도구에 새로운 칩의 무해한 프로그램 중 아주 작은 부분, 즉 전체 데이터의 1% 미만을 보여주는 것만으로도, 도구의 성능은 즉시 완벽에 가깝게 회복되었습니다. 이는 교차 칩 보안의 해결책이 복잡한 새로운 알고리즘이 아니라, 단순히 새로운 환경에 대한 몇 가지 사례를 노출시키는 것임을 시사했습니다.

마지막으로, 연구자들은 네트워크 트래픽, 시스템 활동, 명령 추적이라는 서로 다른 유형의 데이터를 조사했습니다. 그들은 통제된 환경에서 이 세 가지 유형의 데이터를 결합하면 보안 도구가 거의 완벽해진다는 것을 발견했습니다. 그러나 이 완벽함은 취약했습니다. 도구가 네트워크 트래픽에만 의존하도록 강제되었을 때, 그들은 휴면 프로그램을 놓쳤습니다. 명령 추적에만 의지했을 때, 그들은 칩 아키텍처가 변할 때 완전히 실패했습니다. 가장 견고한 조합은 네트워크 트래픽과 시스템 활동의 혼합이었으며, 이는 다른 방법들의 특정 약점들을 피할 수 있었습니다. 연구자들은 또한 도구를 구축하는 데 사용되는 구체적인 수학적 모델의 유형은 거의 중요하지 않다는 점을 언급했습니다. 단순한 선형 모델을 사용하든 복잡한 신경망을 사용하든 결과는 거의 동일했습니다. 이는 성공의 가장 큰 요인이 도구의 정교함이 아니라, 데이터를 나누는 방식, 성공을 정의하는 방식, 그리고 서로 다른 유형의 컴퓨터 칩을 다루는 방식에 대한 선택이었다는 것을 증명했습니다.

논문은 이 데이터셋을 사용하는 모든 이들을 위한 명확한 가이드라인을 제시하며 마무리됩니다. 그들은 데이터를 나눌 때 항상 전체 프로그램을 함께 유지할 것, 개별 순간이 아닌 전체 프로그램이 잡혔는지에 기반하여 결과를 보고할 것, 그리고 알려지지 않았거나 분류되지 않은 프로그램이 어떻게 처리되는지에 대해 투명할 것을 권장합니다. 또한 연구자들에게 도구를 서로 다른 컴퓨터 칩에서 테스트하고, 실험을 여러 번 실행했을 때 결과가 어떻게 변하는지 보고할 것을 촉구합니다. 가장 중요한 교훈은 더 나은 보안으로 가는 길이 더 복잡한 모델을 만드는 데 있는 것이 아니라, 더 나은 질문을 던지고 더 깨끗한 데이터를 사용하는 데 있다는 것입니다. 평가 방법을 개선함으로써, 커뮤니티는 자신들이 만든 도구가 실제로 가장 필요할 때 제대로 작동할 수 있도록 보장할 수 있습니다.