Evaluating Endpoint Detection Robustness Against Genetic Algorithm Driven Code Transformations

기술 요약: 유전 알고리즘 기반 코드 변형에 대한 엔드포인트 탐지 견고성 평가

문제 정의
현대의 엔드포인트 탐지 및 대응(EDR) 및 안티바이러스(AV) 시스템은 시그네처 기반 스캐닝과 행동 텔레메트리를 결합한 하이브리드 접근 방식에 점점 더 의존하고 있다. 그러나 적응형이며 자동 변이되는 코드 변형에 대한 이러한 방어 체계의 견고성은 여전히 충분히 이해되지 않고 있다. MsfVenom, Veil, TheFatRat와 같은 기존 도구들은 난독화된 페이로드를 생성하지만, 이는 현대적 탐지 시스템에서 베이스라인 경보를 트리거하는 고정된 템플릿이나 알려진 인코딩 방식에 의존하는 경우가 많다. 또한, 기존 연구는 주로 웹 기반 페이로드(예: XSS)나 정적 바이너리 변형에 집중해 왔으며, 이는 포스트 컴프로마이즈(post-compromise) 동작, 특히 리버스 쉘(reverse shell)을 정적 및 행동 탐지 계층 모두에 대해 체계적으로 평가하는 데 있어 공백을 남겼다. 따라서 의미론적으로 보존되는 변형이 탐지 신뢰성에 미치는 영향을 벤치마킹하고, 현재의 방어 파이프라인 내의 커버리지 격차를 식별하기 위한 통제된 프레임워크가 필요하다.

방법론: ShellForge 프레임워크
저자들은 방어 벤치마킹을 위해 기능적으로 동일한 포스트 컴프로마이즈 테스트 변형(구체적으로 Python 기반 리버스 쉘)을 진화시키도록 설계된 유전 알고리즘(GA) 기반 프레임워크인 ShellForge를 소개한다. 이 시스템은 세 가지 통합된 서브시스템으로 구성된 폐쇄형 피드백 루프로 작동한다:

1. 유전 알고리즘 엔진:

   • 염색체 표현: 각 염색체는 두 개의 세그먼트로 나뉜 완전한 변형 전략을 인코딩한다: 정적 변형(예: XOR 인코딩, Base64 래핑, ROT, 문자열 분할, 데드 코드 삽입) 및 행동 파라미터(예: 실행 지연, 리소스 임계값, VM 탐지와 같은 환경 체크).
   • 진화 연산자: 시스템은 토너먼트 선택($k=3$), 균등 교차($p_c=0.7$), 무작위 변이($p_m=0.2$)를 사용한다. 엘리티즘(Elitism)은 상위 10%의 개체를 보존한다.
   • 탐색 공간: GA는 탐지를 회피하면서 기능을 유지하는 조합을 찾기 위해 난독화 연산자와 그 순서의 조합을 탐색한다.

2. 페이로드 변환 파이프라인:

   • 이 모듈은 염색체를 디코딩하고 지정된 연산자를 베이스 리버스 쉘 템플릿(MsfVenom으로 생성됨)에 적용한다. 이는 구문론적 정확성과 운영 타당성을 보장하며, 변형된 파편들을 실행 가능한 페이로드로 병합한다.

3. 평가 프레임워크:

   • 정적 분석: 페이로드는 ClamAV 및 Windows Defender를 포함한 여러 엔진과 VirusTotal API(상위 20% 후보군)를 대상으로 스캔된다.
   • 행동 분석: 페이로드는 CAPE/Cuckoo 샌드박스에서 실행되어 런타임 동작, 프로세스 트리, 네트워크 트레이스 및 파일 시스템 상호 작작용을 모니터링한다.
   • 기능성 체크: 리스너는 성공적인 TCP 콜백 수립, 명령 실행(예: whoami, pwd), 세션 안정성을 검증한다.
   • 적합도 함수: 적합도 점수($F$)는 네 가지 가중치 기준의 균형을 맞춘다:
     • 정적 견고성 (40%): AV 시그니처에 대한 저항성.
     • 행동 견고성 (35%): 샌드박스 텔레메트리에서의 은밀함.
     • 기능성 (20%): 리버스 쉘의 이진 성공 여부.
     • 효율성 (5%): 페이로드 크기 및 오버헤드.

실험 설정
실험은 세 대의 가상 머신을 사용하는 격리된 가상 테스트베드에서 수행되었다: 생성/오케스트레이션 머신(Kali Linux), 타겟 머신(AV 엔진이 설치된 Windows 11), 분석 머신(Ubuntu 기반 CAPE Sandbox). ShellForge는 베이스라인 프레임워크인 MsfVenom(unencoded), MsfVenom (shikata_ga_nai 적용), Veil-Evasion, TheFat-Rat를 대상으로 벤치마킹되었다.

주요 결과

• 수렴: GA는 5세대 만에 최적의 개체가 적합도 점수 0.906에 도달하며 빠르게 수렴했다. 탐색 공간은 잘 형성되어 있어 강력한 솔루션을 빠르게 발견할 수 있었다.
• 탐지 회피:
  • 베이스라인 프레임워크: MsfVenom(62개 중 19개 탐지), shikata_ga_nai(62개 중 44개 탐지), Veil(62개 중 2개 탐지), TheFatRat(62개 중 27개 탐지)은 모두 상당한 탐지율을 기록했으며 샌드박스에서 일관되게 "악성(Malicious)" 판정을 받았다.
  • ShellForge: 가장 잘 진화된 변형은 VirusTotal에서 62개 중 0개의 탐지를 기록했으며, 행동 샌드박스로부터 "판단 불가(Inconclusive)" 판정을 받았다.
• 최적 전략: GA는 **XOR 인코딩(key=42)**과 단일 반복 Base64 래핑을 결로한 전략을 진화시켰다. 주목할 점은, 가장 견고한 구성은 모든 환경 체크(VM 탐지, 디버거 프로빙)를 비활성화하고 오직 정적 난독화에만 의존했다는 것이다.
• 기능성: 진화된 페이로드는 100%의 기능성을 유지하며, 리버스 쉘을 성공적으로 수립하고 명령을 실행했다. 파일 크기는 약 3KB였다(베이스라인의 약 450바이트와 비교).

의의 및 기여
본 논문은 방어 보안 연구 분야에 다음과 같은 몇 가지 핵심적인 기여를 주장한다:

1. 통합 프레임워크: ShellForge는 유전 알고리즘을 적용하여 정적 AV와 행동 EDR 스타일 분석을 동시에 평가하는 통합 프레임워크 하에서 포스트 컴프로마이즈 리버스 쉘 변형을 진화시킨 첫 번째 연구이다.
2. 자동화된 발견: 본 연구는 자동화된 진화 탐색이 (특히 XOR + Base64 시퀀스와 같이) 미리 설정된 난독화 라이브러리에 없는 새로운 변형 조합을 발견할 수 있음을 입증하였으며, 이는 고정 템플릿 도구보다 낮은 베이스라인 경보를 결과로 가져왔다.
3. 견고성에 대한 통찰: 주요 발견은 최소한의 행동 복잡성과 강력한 정적 변형의 결합이 가장 높은 탐지 견고성을 제공한다는 것이다. 결과는 시그니처 기반 탐지 환경에서 정적 변형의 품질이 복잡한 행동 회피 기술보다 더 강력한 결정 요인임을 시사한다.
4. 방어 벤치마킹: 본 연구는 현재 시스템의 실질적인 사각지대(정적 시그니처에 과도하게 의존하는 부분)를 강조하며, 엔드포인트 탐지 견고성을 평가하기 위한 재현 가능한 벤치마크를 제공한다.

결론
저자들은 ShellForge가 공격 도구는 아니지만, 의미론적으로 보존되는 적응형 코드 변형에 직면했을 때 순수 시그니처 지향적 탐지의 한계를 효과적으로 보여준다고 결론짓는다. 본 연구는 시그니처 기반 탐지의 격차를 해결하기 위해 의미론적 코드 분석, 행동 상관관계, 그리고 머신러닝 기반 분류기를 포함하는 방어 전략의 필요성을 제기한다. 향후 연구는 다양한 실행 형식 및 프로그래밍 언어로 이 프레임워크를 확장하는 것을 목표로 한다.