Towards Automated Pentesting with Large Language Models

논문 요약: 대규모 언어 모델 (LLM) 을 활용한 자동화된 펜테스팅 (RedShell)

1. 문제 정의 (Problem)

• 악성 코드 생성의 자동화: 공격자들은 XXXGPT, WolfGPT 와 같은 '다크 LLM(Dark LLM)'을 활용하여 최소한의 인간 개입으로 악성 코드를 생성하고 있습니다.
• 윤리적 해커의 한계: 윤리적 해커 (화이트 해커) 도 유사한 자동화 접근 방식을 통해 기존 펜테스팅 워크플로우를 개선할 수 있지만, 오펜시브 (공격적) 훈련 데이터의 부족과 LLM 의 제한된 오펜시브 능력으로 인해 자동화가 어렵습니다.
• 기존 솔루션의 결함:
  • 데이터 부족: PowerShell 과 같은 특정 도메인 언어의 악성 코드 데이터셋이 Java 나 Python 에 비해 매우 부족합니다.
  • 리소스 소모: 기존 연구 (GAN 이나 대규모 사전 학습) 는 막대한 컴퓨팅 자원과 시간을 요구합니다.
  • 프라이버시 및 윤리적 제약: 상용 LLM 은 데이터 프라이버시 보장이 어렵고, 윤리적 안전장치 (Ethical Boundaries) 로 인해 악성 코드 생성이 제한되거나 우회 (Jailbreak) 에 많은 노력이 필요합니다.

2. 방법론 (Methodology)

저자들은 RedShell이라는 프레임워크를 제안하며, 이는 프라이버시를 보호하고 하드웨어 효율성을 갖춘 로컬 파인튜닝 (Fine-tuning) 기반 솔루션입니다.

• 데이터셋 구축 (Ground Truth Dataset):
  • 기존 문헌의 악성 PowerShell 데이터셋을 기반으로 하되, Nishang, PowerUpSQL, MicroBurst 등 다양한 사이버보안 프레임워크와 CTF(Capture The Flag) walkthrough 에서 1,135 개의 새로운 악성 PowerShell 샘플을 수집하여 확장했습니다.
  • 총 2,262 개의 샘플로 구성된 데이터셋을 생성하였으며, MITRE ATT&CK 프레임워크의 14 가지 전술 (Tactics) 을 모두 커버하도록 분류했습니다.
• 모델 선택 및 파인튜닝:
  • 모델: Qwen2.5-7B, Qwen2.5-Coder-7B-Instruct, Llama3.1-8B 등 오픈 가중치 (Open-weights) 기반의 최신 LLM 3 종을 선택했습니다.
  • 기술 스택: Unsloth 프레임워크와 LoRA(Low-Rank Adaptation) 기술을 사용하여 단일 GPU(NVIDIA RTX 4090) 환경에서 효율적으로 파인튜닝을 수행했습니다.
  • 프라이버시: 모든 파인튜닝과 추론 (Inference) 을 로컬에서 수행하여 민감한 펜테스팅 데이터가 외부로 유출되지 않도록 보장했습니다.
  • 프롬프트: 모델이 "악성 PowerShell 생성기"로 행동하도록 컨텍스트를 설정하고, 한 줄 명령어 생성을 지시했습니다.
• 평가 지표:
  • 구문적 유효성 (Syntactic): PSScriptAnalyzer 를 사용하여 파싱 오류, 경고, 에러를 측정.
  • 의미적 정렬 (Semantic): ROUGE-L, METEOR, BLEU, 편집 거리 (Edit Distance), 정밀 일치 (Exact Match) 등을 통해 참조 코드와의 유사성 평가.
  • 기능적 신뢰성 (Functional): 격리된 가상 환경 (Windows 10 VM) 에서 실제 공격 시나리오 (MITRE ATT&CK 전술 기반) 를 수행하여 코드가 의도한 대로 실행되는지 검증.

3. 주요 기여 (Key Contributions)

1. RedShell 프레임워크 제안: 오펜시브 PowerShell 코드 생성에 특화된 경량화되고 프라이버시를 보호하는 LLM 파인튜닝 프레임워크를 개발했습니다.
2. 확장된 오펜시브 데이터셋: 기존 데이터셋의 한계를 극복하고 MITRE ATT&CK 전술을 충실히 반영한 대규모 악성 PowerShell 데이터셋을 구축하고 공개했습니다.
3. 하드웨어 효율성: 고사양 GPU 클러스터 없이 단일 GPU 로도 고품질의 오펜시브 LLM 을 훈련할 수 있음을 입증했습니다.
4. 상용 모델 대비 성능 우위: 데이터 프라이버시 보장과 함께, 상용 LLM(ChatGPT 등) 및 기존 오픈소스 모델보다 뛰어난 오펜시브 코드 생성 능력을 입증했습니다.

4. 실험 결과 (Results)

• 구문적 유효성: 생성된 PowerShell 스크립트의 90% 이상이 구문 오류 없이 성공적으로 파싱되었습니다. 특히 Qwen2.5-Coder 모델은 95% 이상의 정확도를 보였습니다.
• 의미적 유사성:
  • 생성된 코드는 참조 코드와 높은 의미적 정렬을 보였으며, 편집 거리 (Edit Distance) 기준 평균 50% 이상의 코드 유사성을 달성했습니다.
  • 기존 연구 (CodeT5+, CodeGen 등) 와 비교했을 때, 사전 학습 없이 파인튜닝만으로도 더 높은 성능을 기록했습니다.
  • ChatGPT-3.5 및 DeepSeekChat-V3 와 비교 시, 모든 의미적 지표에서 상용 모델을 능가하는 성능을 보였습니다.
• 기능적 실행:
  • 통제된 펜테스팅 시나리오 (10 단계 공격 파이프라인) 에서 **100% 의 정확도 (Correctness)**를 달성했습니다.
  • 생성된 코드는 메모리 내 실행 (Fileless malware), 포트 스캔, 자격 증명 탈취 등 실제 공격 시나리오에서 의도한 대로 실행되었습니다.
  • ChatGPT 는 윤리적 안전장치로 인해 일부 공격 단계에서 실패하거나 제한된 반면, RedShell 은 안전장치 없이 의도된 공격 코드를 생성했습니다.

5. 의의 및 결론 (Significance)

• 자동화된 펜테스팅의 새로운 패러다임: LLM 을 활용하여 오펜시브 보안 테스트의 자동화 수준을 획기적으로 높였으며, 이는 실제 공격자들의 위협을 모방하여 방어 체계를 강화하는 데 기여합니다.
• 윤리적 사용과 위험 인식: 악성 AI 의 남용 위험을 인정하면서도, 윤리적 해커들이 이러한 도구를 활용하여 LLM 기반의 새로운 사이버 위협에 대비할 수 있어야 함을 강조합니다.
• 확장성: RedShell 의 아키텍처는 PowerShell 외에도 어셈블리 셸코드 등 다른 악성 코드 도메인으로 쉽게 확장 가능하도록 설계되었습니다.

이 연구는 생성형 AI 를 활용한 악성 코드 생성과 자동화된 보안 테스트 분야에서 LLM 의 잠재력을 입증하고, 통제된 환경에서의 윤리적 활용을 위한 실질적인 프레임워크를 제시했다는 점에서 의의가 큽니다.