LLM-Generated Samples for Android Malware Detection

기술 요약: 안드로이드 악성코드 탐지를 위한 LLM 생성 샘플

문제 정의
안드로이드 악성코드는 난독화와 다형성을 통해 빠르게 진화하고 있으며, 이는 시그니처 기반 방어 체계와 머신러닝(ML) 모델 모두에 도전 과제가 되고 있습니다. 강력한 탐지 시스템을 개발하는 데 있어 핵심적인 병목 현상은 데이터 부족, 특히 특정 악성코드 제품군(family) 및 동작에 대한 데이터 희소성입니다. 이는 데이터 불균형을 초고하고 분류기의 일반화 능력을 저해합니다. 합성 데이터가 해결책으로 제안되어 왔으나, 구조화되고 효과적인 악성코드 레코드를 생성하여 탐지 모델 학습에 활용하는 데 있어 대규모 언어 모델(LLM)의 구체적인 효용성은 아직 충분히 연구되지 않았습니다. 기존 문헌에는 LLM이 생성한 합성 안드로이드 악성코드가 증강(augmentation) 또는 단독 학습 소스로 사용될 때 탐지 성능에 미치는 영향에 대한 실증적 평가가 부족합니다.

연구 방법론
본 연구는 하이브리드 정적-동적 특징 공간, 균형 잡힌 악성/정상 샘플 비율, 그리고 인간이 해석 가능한 특징을 갖춘 KronoDroid 데이터셋을 활용합니다. 연구는 세 가지 뚜렷한 악성코드 제품군에 집중합니다: BankBot(뱅킹 트로이목마), Locker/SLocker(랜섬웨어), 그리고 Airpush/StopSMS(애드웨어/SMS 트로이목마).

핵심 방법론은 다음과 같은 3단계 과정으로 구성됩니다:

1. 데이터 준비: 저자들은 KronoDroid에서 실제 기기 서브셋을 선택하였으며, 악성 샘플과 정상 샘플의 비율을 1:1로 유지했습니다. 식별자와 메타데이터를 제거하기 위해 특징을 전처리하였고, 'None' 값을 0으로 임퓨테이션(imputing)하고 희소한 열을 필터링하여 최종적으로 387개의 수치형 특징 세트를 도출했습니다.
2. LLM 미세 조정(Fine-Tuning) 및 생성: 저자들은 구조화된 악성코드 레코드를 생성하기 위해 GPT-4.1-mini를 미세 조정했습니다. "malware"와 같은 용어에 대한 안전 필터를 우회하기 위해 특징 명칭을 정제(예: "malware" $\to$ "app")했습니다. 연구팀은 처음에 CSV 생성을 시도했으나 구조적 불일치 문제에 직면하였고, 결과적으로 LLM에 더 안정적인 JSON/JSONL 형식으로 전환했습니다.
   • 미세 조정 전략: 두 가지 구성을 테스트했습니다. BankBot과 Locker/SLocker의 경우, 한 에포크(epoch) 동안 제품군당 50개의 대표 샘플을 사용했습니다. Airpush/StopSMS의 경우, 데이터 볼륨과 학습 깊이에 대한 민감도를 테스트하기 위해 샘플 수를 150개로 늘리고 3 에포크를 적용했습니다.
   • 프롬프트 엔지니어링: 구조적 사실성, 고유성 및 올바른 레이블링을 강제하도록 프롬프트를 최적화했습니다. 후처리 과정에서는 중복을 제거하고 환각 현상(예: 비현실적인 시스템 호출 패턴)을 처리했습니다.
3. 실험적 평가: 다섯 가지 분류기(k-최근접 이웃, 의사결정 나무, 로지스틱 회귀, 다층 퍼셉트론, 랜덤 포레스트)를 사용하여 세 가지 시나리오에 대해 평가했습니다:
   • Real-only (실제 데이터만 사용): 실제 악성 데이터와 정상 데이터를 사용하여 학습.
   • Real + Synthetic (실제 + 합성 데이터): 실제 악성 데이터에 LLM 생성 샘플을 추가하여 증강.
   • Synthetic-only (합성 데이터만 사용): 합성 악성 데이터와 실제 정상 데이터를 사용하여 학습한 후, 실제 악성 데이터로 테스트.

주요 결과
45가지 조합(3개 제품군 $\times$ 5개 분류기 $\times$ 3개 시나리오)을 통해 검증된 실험 결과는 뚜렷한 성능 계층을 보여줍니다:

• Real-Only 학습: 모든 제품군에서 완벽에 가까운 탐지 성능을 달いました. BankBot의 경우, 로지스틱 회귀 및 랜덤 포레스트 모델이 정확도와 ROC AUC 1.000을 달성했습니다. Locker 및 Airpush 제품군 역시 높은 성능(정확도 $\approx$ 0.97–0.99)을 보였으며, 이는 충분한 실제 데이터가 탁월한 판별력을 제공함을 확인시켜 줍니다.
• Real + Synthetic 증강: LLM 생성 샘플을 추가해도 높은 성능이 유지되었으나, 실제 데이터만 사용했을 때보다 미세하고 일관된 성능 저하가 관찰되었습니다. 예를 들어, BankBot의 정확도는 1.000에서 약 0.99로 약간 감소했습니다. 결정적으로, 오탐률(False Positive Rate)은 매우 낮은 수준(<0.04)을 유지하여, 합성 증강이 특이도(specificity)를 저해하지 않음을 입증했습니다.
• Synthetic-Only 학습: 성능은 혼재되어 나타났으며, 악성코드 제품군과 미세 조정 전략에 따라 크게 좌우되었습니다:
  • BankBot & Locker/SLocker: 합성 데이터로만 학습된 모델은 실제 데이터로 테스트했을 때 성능이 저조했습니다. 정확도는 0.50에서 0.74 사이였으며, 재현율(recall)이 극도로 낮았습니다(예: Locker의 경우 0.05). 이는 합성 데이터가 이러한 제품군의 필수적인 분포 특성을 포착하는 데 실패했음을 시사합니다.
  • Airpush/StopSMS: 이 제품군은 훨씬 더 나은 일반화 성능을 보였습니다(정확도 $\approx$ 0.80–0.89, 재현율 $\approx$ 0.61–0.79). 이러한 개선은 더 큰 미세 조정 세트(150개 샘플) 및 더 깊은 학습(3 에포크)과 상관관계가 있었으며, 이는 데이터 볼륨과 학습 깊이가 증가할수록 합성 데이터의 충실도가 향상됨을 시사합니다.

주요 기여
본 논문은 두 가지 주요 기여를 합니다:

1. 증강 유용성: 희소한 실제 데이터셋을 LLM 생성 악성코드로 증강함으로써, 탐지 정확도나 특이도를 크게 훼손하지 않으면서 데이터셋의 크기를 확장할 수 있음을 입증했습니다.
2. Synthetic-Only 실행 가능성의 한계: LLM이 구조적으로 일관된 레코드를 생성할 수는 있지만, 현재로서는 악성코드 탐지를 위한 단독 학습 소스로서 불충분하다는 실증적 근거를 제시했습니다. 합성 데이터의 효과는 악성코드 제품군의 특성과 미세 조정 과정의 깊이에 매우 민감합니다.

의의 및 주장
저자들은 본 연구를 단순한 탐지 지표의 돌파구가 아닌, 사이버 보안 분석에서의 LLM 활용에 대한 실질적인 탐색으로 규정합니다. 연구의 주장은 다음과 같습니다:

• 합성 데이터는 대체재가 아닌 보완재이다: LL0M 생성 악성코드는 희귀 제품군을 위한 데이터 부족 문제를 효과적으로 해결할 수 있으나, 아직 견고한 분류기 학습을 위한 실제 데이터를 대체할 수는 없습니다.
• 방법론적 엄밀함이 요구된다: 합성 생성의 성공 여부는 프롬프트 엔지니어링, 후처리, 그리고 구체적인 미세 조정 체계(샘플 크기 및 에포크)에 달려 있습니다.
• 미래 잠재력: 본 연구 결과는 더 큰 규모의 제품군에 대해 미세 조정 코퍼스와 에포크를 늘린다면 일반화 격차를 좁힐 수 있음을 시사합니다. 저자들은 합성 데이터가 민감한 실제 세계의 데이터셋 접근이 제한적인 환경에서의 적대적 학습(adversarial training), 레드팀 수행(red-teaming), 벤치마킹 작업 등에 보완적으로 적용되는 것이 가장 적절하다고 제안합니다.

결론적으로, 본 논문은 LLM이 악성코드 데이터셋을 풍부하게 하는 유망한 방안을 제공하지만, 현재의 출력물은 단독 탐지 모델을 위한 현실성과 다양성이 부족하므로 실제 데이터 검증을 우선시하는 하이브리드 접근 방식이 필요하다고 주장합니다.