Building an Adversarial Malware Dataset by Family and Type: Generation, Evasion, and Poisoning Evaluation

기술 요약: 패밀리 및 유형별 적대적 멀웨어 데이터셋 구축

문제 제기
멀웨어 탐지 분야는 기계 학습 (ML) 분류기에 점점 더 의존하고 있지만, 이러한 시스템은 악의적인 행위자가 실행 파일을 수정하여 탐지를 회피하면서도 기능을 유지하는 적대적 공격에 취약합니다. 연구 커뮤니티에는 중요한 격차가 존재합니다: 현실 세계의 멀웨어 바이너리를 체계적으로 적대적 샘플로 변환한 대규모 공개 데이터셋이 부족하다는 점입니다. 기존 적대적 생성기들은 종종 복잡한 설정, 상당한 컴퓨팅 자원, 또는 의미 있는 데이터셋 규모로 확장되지 못하는 문제를 겪습니다. 더 나아가, 훈련 데이터가 오라벨링된 샘플로 오염되는 데이터 중독 공격에 대한 ML 기반 탐지 파이프라인의 취약성은 대규모로 아직 충분히 탐구되지 않았습니다.

방법론
저자들은 RawMal-TF 공개 컬렉션에서 파생된 포괄적인 적대적 멀웨어 데이터셋을 구축했는데, 이 컬렉션은 패밀리(17 개 고유 패밀리) 또는 유형(트로이, 스파이웨어 등 14 가지 유형) 으로 레이블이 지정된 현실 세계의 포터블 실행 파일 (PE) 을 포함합니다.

1. 생성기 선정 및 배포:
   본 연구는 Pesidious, MAB-Malware, AMG, GAMMA Sections(SecML Malware 에서 제공), MalwareTotal 등 다섯 가지 자동화 적대적 멀웨어 생성기 세트를 활용했습니다.

   • 타겟 분류기: 대부분의 생성기는 EMBER(2018) 분류기를 타겟으로 했습니다. 다양성과 도전을 높이기 위해 MalwareTotal은 더 새롭고 강력한 특징 집합 및 모델인 EMBER2024를 타겟으로 하도록 적응시켰습니다.
   • 인프라: 저자들은 NVIDIA DGX Station A100 서버의 컨테이너화 환경 (Docker) 에서 이러한 생성기를 배포했습니다. 병렬 실행 관리, 프로세스 정지 모니터링, 리소스 제약 처리를 위해 맞춤형 '하네스' 스크립트를 개발했습니다.
   • 수정: 여러 생성기는 Linux 환경에서 작동하도록 코드 조정이 필요했는데, 여기에는 Windows 전용 패커를 크로스 플랫폼 PEzor로 교체하고 새로운 타겟 분류기를 지원하도록 에이전트를 재학습시키는 작업이 포함되었습니다.

2. 샘플 선택 및 필터링:

   • 파이프라인은 소스 샘플을 처리하여 적대적 변형을 생성했습니다.
   • 선택 알고리즘 (알고리즘 1) 은 소스 파일당 단일 최상의 적대적 변형을 선택하는 데 사용되었습니다. 주요 기준은 EMBER 점수(낮을수록 회피에 유리) 였으며, 부차적 제약 조건으로 파일 크기 증가 비율을 두었습니다 (비율 $\le$ 1.5 배 선호, 25 MB 를 하드 캡으로 설정).
   • 데이터셋은 원래 분류 상태 (악성 또는 정상) 와 관계없이 성공적으로 수정된 경우 다양성을 보장하기 위해 샘플을 포함합니다.
   • 병리적 사례 (예: 수정되지 않은 출력, 서로 다른 입력이 동일한 출력을 생성하는 붕괴된 샘플) 는 감지되어 필터링되었습니다.

3. 평가 지표:

   • 회피 성능: EMBER 점수 감소와 정상으로 분류된 샘플의 백분율로 측정합니다.
   • 안티바이러스 회피: VirusTotal(VT) 을 대상으로 평가하며, 모든 사용 가능한 엔진과 선별된 상업용 AV 'Top 10' 목록에 대한 탐지율을 분석합니다.
   • 오버헤드: 파일 크기 증가로 측정합니다.

4. 데이터 중독 실험:
   저자들은 데이터 중독의 영향을 평가하기 위해 훈련 실험을 수행했습니다. RawMal-TF 특징으로 훈련된 LightGBM 분류기의 훈련 세트에 다양한 조건 하에서 적대적 샘플을 주입했습니다:

   • 중독 비율: 적대적 샘플로 대체된 훈련 데이터의 백분율 (0.1% 에서 20% 까지).
   • 전이율 ($\tau$): 주입된 악성 샘플 중 정상으로 오라벨링된 비율입니다. $\tau=0$은 적대적 훈련 (올바른 레이블) 을 나타내고, $\tau=1$은 최대 중독 (잘못된 레이블) 을 나타냅니다.

주요 기여

• AdvMal-TF 데이터셋: 두 가지 대규모 공개 데이터셋 출시:
  • 패밀리 레이블: 44,347 개의 적대적 샘플.
  • 유형 레이블: 33,596 개의 적대적 샘플.
  • 두 데이터셋 모두 EMBER 점수, EMBER2024 점수, VirusTotal 분류를 포함한 풍부한 메타데이터를 포함합니다.
• 확장 가능한 생성 파이프라인: 연구급 멀웨어 도구에서 흔히 발생하는 신뢰성 문제를 해결하기 위해 여러 적대적 생성기를 병렬로 실행할 수 있는 견고한 컨테이너화 프레임워크.
• 중독 분석: 소규모 데이터 중독 공격에 대한 멀웨어 분류기의 취약성과 올바르게 레이블링된 적대적 훈련의 효능을 정량화한 경험적 증거.

결과

• 회피율:
  • EMBER 분류기에 대해 패밀리 레이블 데이터셋은 원래 탐지된 샘플에 대해 **98.35%**의 회피율을 달성했고, 유형 레이블 데이터셋은 **92.20%**를 달성했습니다.
  • GAMMA Sections와 Pesidious는 VirusTotal 의 상업용 AV 에 대해 특히 효과적이었으나, 회피율은 생성기와 타겟에 따라 크게 달라졌습니다.
  • EMBER2024를 타겟으로 하는 생성기는 더 낮은 성공률을 보였는데, 이는 더 새로운 모델의 향상된 견고성을 강조합니다.
• 파일 크기 오버헤드: GAMMA Sections는 가장 큰 파일 크기 증가 (종종 1000% 초과) 를 생성한 반면, MalwareTotal은 점수 감소 대비 크기 증가 측면에서 가장 좋은 균형을 제공했습니다.
• 중독 영향:
  • 높은 취약성: 훈련 데이터의 **0.5%**만을 차지하는 완전히 오라벨링된 샘플 ($\tau=1.0$) 을 주입한 결과, 패밀리 레이블 데이터셋에서 재훈련된 분류기의 회피율이 기준선 **26.1%**에서 **92.8%**로 증가했습니다.
  • 적대적 훈련: 반대로, 올바르게 레이블링된 적대적 샘플 ($\tau=0$) 을 주입하면 회피율이 기준선 아래로 일관되게 감소하여 효과적인 적대적 훈련으로 작용했습니다.
  • 지표 안정성: 회피율이 붕괴됨에도 불구하고 F1 점수는 오해의 소지가 있을 정도로 안정적으로 유지되어, 표준 지표가 적대적 견고성의 중독 유발 저하를 감지하지 못할 수 있음을 나타냈습니다.
• 데이터셋 특성: 패밀리 레이블 데이터셋은 과적합 징후 (높은 기준선 F1 이지만 데이터셋 간 일반화 능력 저하) 를 보인 반면, 유형 레이블 데이터셋은 더 큰 다양성과 더 현실적인 기준선 성능을 보여주었습니다.

의의
이 논문은 AdvMal-TF 데이터셋이 규모가 있는 현실 세계의 기능 보존 적대적 바이너리를 제공함으로써 중요한 자원 격차를 메운다고 주장합니다. 저자들은 이 자원이 향후 연구에 다음과 같은 분야를 촉진할 것이라고 주장합니다:

1. 적대적 멀웨어: 현재 회피 기술의 능력과 한계를 이해하는 것.
2. 데이터 중독: 훈련 데이터 오염에 대한 탐지 파이프라인의 견고성을 평가하는 것.
3. 방어적 견고성: 올바르게 레이블링된 샘플을 통한 적대적 훈련을 통해 더 회복력 있는 분류기를 개발하는 것.

이 연구는 현재 생성기가 EMBER2024 와 같은 고급 분류기에 대해 어려움을 겪고 있지만, 다양한 대규모 데이터셋의 가용성이 방어 전략을 발전시키는 데 필수적임을 강조합니다. 저자들은 분류기 견고성을 결정하는 데 데이터의 양만큼 훈련 데이터의 품질 (특히 레이블의 정확성) 이도 결정적으로 중요하다고 결론지었습니다.