How Far Does Entropy Go? Duplicates, Confounding, Drift and Padding in Entropy-Based Detection of Malicious PE Files
이 논문은 엔트로피 기반의 악성 PE 파일 탐지가 데이터 중복, 크기 혼란, 그리고 적대적 패딩에 의해 심각하게 저해된다는 점을 입증하며, 이러한 모델들이 알려진 섹션들을 주로 암기하고 있을 뿐만 아니라 양호해 보이는 바이트를 추가함으로써 쉽게 회피될 수 있음을 밝혀내어, 더욱 강력한 탐지 전략이 필요함을 시사한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
디지털 세계에서 보안 전문가들은 위험한 소프트웨어를 식별하기 위해 엔트로피라는 간단한 수학적 개념에 자주 의존합니다. 하나의 파일을 긴 숫자들의 배열이라고 상상해 보십시오. 만약 그 숫자들이 평이한 영어로 쓰인 이야기나 표준 프로그램처럼 예측 가능한 패턴을 따른다면, 그 문자열은 낮은 엔트로피를 가집니다. 즉, 질서 정연하고 설명하기 쉽습니다. 하지만 그 숫자들이 금고에 잠긴 메시지나 공간을 절약하기 위해 압축된 파일처럼 뒤섞여 있다면, 그 문자열은 높은 엔트로피를 가집니다. 즉, 무작위적이고 혼란스러워 보입니다. 악성 프로그램은 종번 자신의 코드를 뒤섞어 본성을 숨기기 때문에, 보안 도구들은 빈번하게 이 높은 수준의 무작위성을 스캔합니다. 만약 파일이 너무 혼란스러워 보이면, 도구는 이를 의심스러운 것으로 분류합니다. 이 방법은 빠르고 비용이 적게 들며, 수백만 개의 파일을 분류하여 어떤 것을 자세히 살펴보고 어떤 것을 무시할지 결정하는 데 널리 사용됩니다.
하지만 피렌체 대학교와 피사 대학교 연구진의 새로운 연구는 다음과 같은 중요한 질문을 던집니다. 우리가 이 혼돈의 척도를 얼마나 신뢰할 수 있는가 하는 점입니다. 연구팀은 윈도우 실행 파일의 특정 부분, 즉 코드의 첫 번째 섹션의 무작위성이 실제로 위험의 신뢰할 수 있는 징후인지, 아니면 쉽게 속을 수 있는 속임수인지 조사했습니다. 그들은 43,000개에 달하는 파일 헤더와 주요 보안 데이터셋의 거의 800,000개에 달하는 레이블이 지정된 샘플을 분석했습니다. 그들의 연구는 이 단일 척도에 대한 현재의 의존도가 생각보다 훨씬 더 취약하며, 종종 반복을 위험으로 오인하고 새로운 미지의 위협 앞에서는 완전히 실패한다는 사실을 밝혀냈습니다.
연구진은 먼저 이러한 보안 도구들이 테스트되는 방식에 숨겨진 결함을 살펴보았습니다. 그들은 두 데이터셋 모두에서 악성 파일의 약 64%가 적어도 하나의 다른 파일과 첫 번째 코드 섹션을 공유한다는 것을 발견했습니다. 이는 많은 서로 다른 악성 프로그램들이 정확히 동일한 뒤섞인 템플릿으로부터 만들어졌음을 의미합니다. 보안 도구가 무작위 셔플링을 사용하여 테스트될 때, 동일한 템플릿이 훈련 그룹과 테스트 그룹 모두에 나타나는 경우가 많습니다. 이 경우 도구는 위험을 인식하는 법을 배우는 것이 아니라, 단순히 그 특정 템플릿을 암기하는 것입니다. 연구진이 동일한 파일들을 그룹화하여 이를 바로잡았을 때, 새로운 위협을 탐지하는 도구의 능력은 현저히 떨어졌습니다. 도구가 이전에 접해보지 못한 파일을 마주하게 되는 실제 환경을 모방하도록 설계된 테스트에서, 엔트로피 기반 탐지기는 안전한 오류율 내에서 악성 코드의 1% 미만을 포착하며 거의 무용지물이 되었습니다.
이 연구는 또한 도구들이 혼돈보다는 파일의 크기에 의존하고 있었다는 사실을 밝혀냈습니다. 한 데이터셋에서는 악성 파일이 안전한 파일보다 큰 경향이 있었기에, 탐지기는 큰 파일을 위험한 것으로 분류하는 법을 배웠습니다. 그러나 연구진이 이를 더 큰 규모의 다른 데이터셋에서 테스트했을 때, 이 크기 차이는 사라졌고 도구의 성능은 무너졌습니다. 이는 탐지기가 악성 코드에 대한 보편적인 규칙을 찾아낸 것이 아니라, 특정 데이터 수집물에 국한된 우연을 이용했다는 것을 증명했습니다. 더욱이, 연구진은 코드를 숨기기 위해 사용되는 패킹 소프트웨어의 흔한 징후인 '비어 있는 첫 번째 섹션'을 가진 파일들이 안전한 프로그램에서도 빈번하게 발견된다는 점을 발견했습니다. 이는 이 특징만으로는 바이러스와 정상적인 애플리케이션을 구별할 수 없음을 의미합니다.
아마도 가장 놀라운 발견은 이러한 탐지기들이 얼마나 쉽게 우회될 수 있는지에 관한 것입니다. 연구진은 공격자가 파일의 첫 번째 섹션 끝에 해롭지 않은 추가 바이트를 더할 때 발생하는 수학적 한계를 계산했습니다. 그들은 공격자가 프로그램의 기능을 깨뜨리지 않으면서도 탐지기를 속일 수 있을 만큼 충분히 많은 패딩(padding)을 추가하여 파일의 외형을 바꿀 수 있는 방법이 거의 항상 존재한다는 것을 발견했습니다. 만약 공격자가 대량의 패딩을 추가할 수 있다면, 탐지기가 위협을 놓치게 만드는 것을 보장할 수 있습니다. 공격자가 미세하게 접근하여 소량의 패딩만 추가하더라도, 특히 패딩을 일반적이고 안전한 데이터처럼 보이도록 정교하게 선택한다면 상당한 수의 경우에서 탐지를 회피할 수 있습니다.
연구진은 또한 이러한 속임수에 면역이 있는 탐지기를 구축할 수 있는지 탐구했습니다. 그들은 파일에 바이트가 추가될 때 전체 정보량이 감소할 수 없다는 엄격한 수학적 규칙에 기반한 모델이 패딩 추가에 의해 속임을 당하는 것이 불가능하다는 것을 발견했습니다. 그러나 이 "해킹 불가능한" 모델은 너무나 신중한 나머지 악성 코드를 거의 탐지하지 못했습니다. 그것은 회피 공격에 대해서는 완벽한 방어였지만, 위협을 찾는 데 있어서는 형편없는 도구였습니다. 이 연구는 엔트로피가 유용한 단서이기는 하지만, 그것에만 의존하는 것은 실수라는 결론을 내립니다. 엔트로피가 제공하는 신호는 진정한 악의라기보다 반복된 코드나 파일 크기를 반영하는 경우가 많으며, 이는 예측 가능한 단순한 변화로 제거될 수 있습니다. 보안이 효과적이려면 전문가들은 이 단일 척치를 넘어 더 많은 요소와 결합하여 전체적인 그림을 보아야 합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.