Leveraging Large Language Models to Obscure Code Stylometry: A Comparative Study of GPT-3.5 and GPT-4

기술 요약: 대규모 언어 모델을 활용한 코드 스타일로메트리 은닉

문제 정의
코드 스타일로메트리(Code stylometry)는 소스 코드의 고유한 스타일적 특징을 분석하여 저자를 식별하는 기법으로, 사이버 보안 및 악성 소프트웨어의 기원 추적에 있어 매우 중요한 기술이다. 전통적인 스타일로메트리 방식은 프로그래머를 식별하기 위해 어휘적(lexical), 레이아웃(layout), 구문적(syntactic) 특징(주로 추상 구문 트리(AST)에서 파생된 특징)에 의존한다. 그러나 GPT-3.5 및 GPT-4와 같은 대규모 언어 모델(LLM)의 등장은 중대한 도전 과제를 제기한다. 이러한 모델들은 기능은 유지하면서도 스타일적 지문(stylistic fingerprints)을 변화시키며 코드를 생성하거나 변형할 수 있기 때문이다. 이러한 능력은 악의적인 행위자가 스타일로메트리 탐지를 회피하여 사이버 보안 노력을 복잡하게 만들 가능성을 시사한다. 본 연구는 LLM이 코드의 기능을 유지하면서도 머신러닝 분류기를 회피할 수 있을 만큼 성공적으로 코드 스타일로메트리를 은닉할 수 있는지 그 범위를 조사한다.

연구 방법론
본 연구는 데이터셋 준비, 특징 추출, 평가 모델 학습, 프롬프트 엔지니어링의 네 가지 주요 단계를 포함하는 구조화된 실험 설계를 채택하였다.

1. 데이터셋: 본 연구는 Java 코드 스니펫과 단위 테스트가 쌍을 이루고 있는 대규모 코퍼스인 Methods2Test 데이터셋을 활용하였다. 실험을 위해 테스트 세트의 일부(78,388개 쌍)를 선택하였다. 데이터는 JSON에서 CSV로 변환되었으며, 결측치를 제거하고 포컬 클래스(focal class)와 테스트 클래스 코드를 단일 컬럼에 포함하도록 구성되었다.
2. 특特征 추출: Python 기반 도구를 사용하여 세 가지 범주로 분류된 109개의 스타일로메트리 특징을 추출하였다:
   • 어휘적(Lexical): 키워드 수, 토큰 수, 리터럴 값, 라인 길이 통계.
   • 레이아웃(Layout): 들여쓰기 패턴(탭 vs 공백), 빈 줄, 공백 비율.
   • 구문적(Syntactic): 최대 노드 깊이 및 특정 Java 키워드 발생 빈도를 포함하여 AST에서 파생된 특징.
3. 평가 모델: 추출된 특징을 바탕으로 저장소 ID(저자)를 예측하도록 Random Forest 분류기를 학습시켰다. 이 모델은 홀드아웃 테스트 세트에서 95.18%의 높은 베이스라인 정확도를 달 달성하였으며, 교차 검증 점수는 평균 0.95를 기록하여 스타일적 특징을 탐지하기 위한 견고한 베이스라인을 구축하였다.
4. 프롬프트 엔지니어링 및 LLM 상호작용: GPT-3.5와 GPT-4를 대상으로 네 가지 별도의 프롬프트 전략을 테스트하였으며, 각 전략은 싱글샷(Single-Shot)(직접 명령)과 멀티샷(Multi-Shot)(단계별 대화형 가이드)의 두 가지 방식으로 구현되었다.
   • 전략 1 (스타일만 변경): 특정 목표 없이 스타일을 변경하라는 일반적인 지시.
   • 전략 2 (특정 스타일 모방): 특정 프로그래머나 지역적 관습을 모방하도록 지시.
   • 전략 3 (예시를 통한 스타일 적용): 모델이 모방할 수 있도록 샘한 코드 스니펫 제공.
   • 전략 4 (교차 언어 변환): 스타일 변화를 강제하기 위해 Java를 C++로 번역한 후 다시 Java로 변환.
5. 평가: LLM이 생성한 코드는 두 가지 지표로 평가되었다:
   • 회피 성공 여부(Evasion Success): Random Forest 분류기가 원래의 저장소 ID를 올바르게 식별하지 못했는지 여부(결과 테이블의 "0").
   • 기능 유지 여부(Functionality Preservation): 수정된 코드가 성공적으로 컴파일되고 원래의 모든 단위 테스트를 통과했는지 여부.

주요 결과
실험 결과, 기능을 유지하면서 탐지를 회피하는 LLM의 능력에 대해 엇갈린 결과가 나타났다.

• 모델 성능: GPT-4는 GPT-3.5(24%)에 비해 평균 29%의 회피 성공률을 달성하며 일반적으로 더 우수한 성능을 보였다. 특히 GPT-4는 특정 스타일 모방(전략 2)을 사용하는 싱글샷 방식에서 40%의 성공률을 보이며 강점을 나타냈다.
• 프롬프트 전략의 효과성:
  • 멀티샷 vs 싱글샷: 멀티샷 방식(평균 28% 성공)이 싱글샷 방식(평균 14% 성공)보다 일반적으로 더 효과적이었다. 상세한 단계별 가이드는 특히 전략 1에서 GPT-3.5의 성능을 크게 향상시켰다(60% 성공).
  • 전략 비교: **교차 언어 변환(전략 4)**이 전체적으로 가장 효과적이었다(평균 35% 성공). **특정 스타일 모방(전략 2)**이 30%로 그 뒤를 이었다. **단순히 스타일 변경 요청(전략 1)**은 사용된 방식에 따라 결과가 크게 달랐다(25%). **예시를 통한 스타일 적용(전략 3)**은 가장 효과가 낮았다(15%).
• 기능 유지: 핵심적인 발견은 코드 무결성을 유지하는 데 어려움이 있다는 점이었다. 테스트된 80개의 샘플 중 58%(46개 샘플)만이 컴파일에 성공하고 모든 단위 테스트를 통과했다. 상당 부분(41%)은 클래스 이름이나 데이터 타입의 변경으로 인해 컴파일에 실패하였다.
• 이중 성공(Dual Success): 테스트된 전체 샘플 중 단 10%(80개 중 8개)만이 스타일로메트리 분류기를 성공적으로 회피하는 동시에 완전한 기능을 유지하는 이중 목표를 달성하였다.

의의 및 기여
본 논문은 고급 AI 역량에 대한 현재의 저자 식별 기술의 견고성에 대한 비판적인 통찰을 제공한다는 점에서 주요 기여를 한다고 주장한다. LLM이 스타일적 특징을 부분적으로 은닉할 수 있음을 입증함으로써, 본 연구는 스타일로메트리에 의존하는 전통적인 사이버 보안 조치의 취약성을 강조한다.

본 연구는 프롬프트 엔지니어링의 중요성을 강조하며, 상세하고 구조화된 프롬프트(멀티샷)가 단순한 지시보다 훨씬 더 효과적임을 밝혀냈다. 또한, 스타일 은닉과 코드 기능 사이의 트레이드오프(trade-off)를 드러냈다. 즉, LLM이 스타일을 변경할 수는 있지만, 코드를 깨뜨리지 않고 이를 수행하는 것은 여전히 큰 과제이다.

한계 및 향후 연구 방향
저자들은 데이터셋의 제약(오픈 소스 Java 프로젝트에 의존), 계산 자원의 제약, 기능 검증의 수동적 특성 등 몇 가지 한계점을 인정하였다. 향후 연구로는 더 크고 다양한 데이터셋의 활용, 기능 테스트를 위한 자동화된 파이프라인 개발, 평가 모델을 위한 다른 머신러닝 알고리즘(예: LSTM) 탐색, 그리고 비교 분석을 위한 다른 기업용 LLM(예: Gemini, Claude)의 포함 등이 제안되었다.

결론적으로, GPT-4와 고급 프롬프트 전략이 코드 스타일로메트리를 은닉하는 데 유망한 모습을 보이지만, 현재 기술 수준으로는 대규모로 매끄럽고 탐지 불가능하며 완전히 기능적인 코드 변환을 수행하기에는 아직 부족하다. 이는 저자 식별 기술이 위협받고 있으나, 더 강력한 탐지 기술의 지속적인 개발이 필요한, 여전히 유효하지만 도전적인 분야임을 시사한다.