Detection of LLM-assisted Code Plagiarism Using k-gram Software Birthmarks

기술 요약: k-gram 소프트웨어 버스마크를 이용한 LLM 지원 코드 표절 탐지

문제 정의
대규모 언어 모델(LLM)의 급격한 발전은 소프트웨어 표절의 기술적 장벽을 낮추었습니다. 직접적인 코드 복제를 포함하는 전통적인 표절과 달리, 현대의 위협은 "코드 패러프레이징(code paraphrasing)"을 포함합니다. 이는 LLM이 기존 소스 코드를 재작성하여 기능은 유지하면서도 구문, 구조, 식별자 및 포맷을 크게 변경하는 것을 의미합니다. 이러한 능력은 공격자가 전통적인 소스 코드 유사도 탐지 기법을 회피할 수 있는 의미론적으로 동일한 프로그램을 생성할 수 있게 합니다. 또한, 실제 환경에서의 표절은 소스 코드가 아닌 실행 가능한 아티팩트(artifact)의 재배포를 포함하는 경우가 많아, 소스 코드 기반의 탐지 방법을 무력화합니다. 본 논문은 소프트웨어 버스마크(software birthmarks)—실행 파일에서 추출된 특징적 요소—가 LLM 지원 코드 패러프레이징에 대해 여전히 효과적인지에 대한 중요한 질문을 다룹니다.

연구 방법론
본 연구는 프로그램을 $k$개의 고유한 연속적인 Java 바이트코드 명령어(opcode) 시퀀스로 표현하는 k-gram 소프트웨어 버스마크 기법을 사용합니다. 실험 설계는 다음 구성 요소를 포함합니다:

• 데이터셋: 연구진은 GitHub에서 활발히 유지 관리되는 BSD-2-Clause 라이선스의 Java 프로젝트들로부터 데이터셋을 큐레이션했습니다. 모듈 단위의 표절 탐지를 보장하기 위해, 논리적 라인 수(LLC)가 30에서 1,000 사이인 개별 컴파일 가능한 소스 파일들을 필터링했습니다. 최종 데이터셋은 352개의 소스 파일로 구성되었습니다.
• LLM 모델: 세 가지 최신 모델이 소스 파일의 패러프레이즈 버전을 생성하는 데 사용되었습니다:
  • ChatGPT-5.1-Codex-Mini (OpenAI)
  • DeepSeek-V4-Flash (DeepSeek)
  • Claude-Haiku-4.5 (Anthropic)
  • 프롬프팅 전략: 모델들은 기능은 유지하면서 새로운 의존성 없이 출력이 컴파일 가능한 상태를 유지하도록 구문, 포맷, 구조를 수정하라는 명시적인 지침을 받았습니다.
• 버스마크 추출: 각 파일에 대해 Java 컴파일러와 javap 도구를 사용하여 바이트코드를 추출한 후, 이를 opcode 시퀀스로 변환했습니다. $k$ 값이 1에서 6까지인 고유한 k-gram을 생성했습니다.
• 유사도 측정 방식: 버스마크를 비교하기 위해 다섯 가지 유사도 함수를 평가했습니다:
  • 벡터 기반: 코사인 유사도 (Count 및 TF-IDF).
  • 집합 기반: Dice 지수, Jaccard 계수, Simpson 지수.
  • 시퀀스 기반: 편집 거리 (Levenshtein distance).
• 평가 지표: 성능은 회복력(Resilience, 표절 코드를 탐지하는 능력)과 신뢰성(Credibility, 독립적인 코드를 구별하는 능력)의 조화 평균(Hmean)을 사용하여 측정되었습니다.

주요 기여

1. 경험적 조사: 본 논문은 LLM 생성 코드 클론(패러프레이징을 통해 생성된)에 대해 k-gram 소프트웨어 버스마크를 구체적으로 평가한 첫 번째 경험적 연구를 제공합니다.
2. 비교 분석: 현대의 AI 지원 표절 맥락에서 서로 다른 $k$-gram 구성($k=1$ ~ $6$)과 다양한 유사도 함수의 효과를 체계적으로 비교합니다.
3. 모델별 통찰: 서로 다른 LLM이 가진 코드 변환 능력의 차이를 강조하며, 각 LLM이 생성한 표절의 탐지 난이도를 분석합니다.

실험 결과

• $k$의 영향 (RQ1): 탐지 성능은 $k$의 선택에 크게 의존합니다.
  • 1-gram: 구조적 정보가 불충분하여 낮은 신뢰성을 보였으며, 성능이 저조했습니다.
  • 2-gram: 가장 높은 평균 성능(Hmean = 0.830)을 달 기록하며, 회복력과 기술력 사이의 최적의 균형을 제공했습니다.
  • 3-gram: 2-gram에 근접한 성능(Hmean = 0.822)을 보였습니다.
  • 4-6-gram: $k$ 값이 커질수록 LLM에 의해 도입된 구조적 변경에 너무 민감하게 반응하여 성능이 점진적으로 하락했습니다.
• 유사도 함수의 영향 (RQ2):
  • 집합 기반 방법(Dice, Simpson, Jaccard)이 다른 접근 방식보다 유의미하게 우수한 성능을 보였습니다. 특히 Dice 지수가 가장 높은 평균 Hmean(0.946)을 달성했습니다.
  • **편집 거리 (시퀀스 기반)**는 성능이 저조했습니다(Hmean = 0.276). 이는 코드 패러프레이징이 명령어의 순서를 자주 변경하기 때문에 시퀀스 기반 비교가 비효과적임을 나타냅니다.
  • 코사인 유사도(Count 및 TF-IDF 모두)는 강력한 결과를 보여주었으나, 일반적으로 Dice 지수보다 약간 낮았습니다.
• LLM 선택의 영향 (RQ3):
  • ChatGPT-5.1-Codex-Mini는 가장 탐지하기 어려운 클론을 생성했습니다(가장 낮은 평균 Hmean 0.8603). 이는 해당 모델이 컴파일 가능성을 유지하면서 더 광범-한 변환을 수행함을 시사합니다.
  • Claude-Haiku-4.5(Hmean = 0.9322)와 DeepSeek-V4-Flash(Hmean = 0.9258)는 상대적으로 탐지하기 쉬운 패러프레이즈 코드를 생성했습니다.
  • 주목할 점은, 가장 탐지하기 어려운 코드를 생성한 모델(ChatGPT)이 컴파일 에러도 가장 적었다는 것이며, 이는 높은 품질의 변환 능력을 나타냅니다.

의의 및 주장
본 논문은 적절한 구성이 선택된다면 k-gram 소프트웨어 버스마크가 LLM 지원 표절을 탐지하는 데 여전히 효과적임을 주장합니다. 구체적으로 저자들은 다음과 같이 결론짓습니다:

• 짧은 opcode 시퀀스(특히 $k=2$)가 변형에 대한 회복력과 독립 소프트웨어를 구별하는 능력 사이의 최적의 절충안을 제공합니다.
• 집합 기반 유사도 측정 방식(특히 Dice 지수)은 시퀀스 기반 측정 방식보다 이 작업에 더 우수합니다. 이는 시퀀스 기반 방식이 쉽게 깨질 수 있는 '순서'보다는 '공유된 요소의 존재 여부'에 집중하기 때문입니다.
• LLM의 선택은 탐지 가능성에 큰 영향을 미치며, 이는 향후 탐지 시스템이 다양한 모델의 변환 능력을 고려해야 함을 시사합니다.

저자들은 본 연구의 결과가 BSD-2-Clause Java 프로젝트의 맥락 내에서 견고하지만, 다른 라이선스나 더 복잡한 표절 전략으로 일반화하기 위해서는 추가적인 조사가 필요하다는 신중한 입장을 유지합니다. 그들은 소스 코드의 유사성이 더 이상 절도의 신뢰할 수 있는 지표가 아닌 시대에, 자신들의 연구가 실행 파일 기반 표절 탐지의 토대를 제공한다고 강조합니다.