FMI_SU_Yotkova_Kastreva at SemEval-2026 Task 13: Lightweight Detection of LLM-Generated Code via Stylometric Signals

기술 요약: 스타일메트릭 신호를 통한 경량 LLM 생성 코드 탐지

문제 제기
본 논문은 SemEval-2026 태스크 13 서브태스크 A 의 맥락에서, 기계 생성 코드 (LLM 생성) 와 인간 작성 코드를 구분하는 탐지 과제의 난제를 다룹니다. 이 과제는 Go, PHP, C#, C, JavaScript 와 같은 미처 보지 못한 프로그래밍 언어와 연구용 및 생산용 코드와 같은 응용 도메인 전반에 걸쳐 일반화되는 이진 분류를 요구합니다. 저자들은 대규모 언어 모델 (LLM) 이 소프트웨어 개발을 혁신시켰지만, 그 사용은 교육적 정직성, 기술적 채용, 소프트웨어 보안 (예: 불안전한 논리 또는 숨겨진 백도어) 에 관한 우려를 제기한다고 강조합니다. 자연어와 달리 소스 코드는 엄격한 구문과 의미에 의해 제약받기 때문에, 기계 생성 텍스트 탐지에 일반적으로 사용되는 스타일적 차이를 흐리게 할 수 있습니다. 또한, 대규모 사전 훈련 모델에 의존하는 기존 접근법들은 미처 보지 못한 언어나 도메인을 마주할 때와 같은 분포 변화 하에서 성능이 저하되는 경향이 있습니다.

방법론
저자들은 고용량의 신경 표현보다는 비율 기반 스타일메트릭 특징과 휴리스틱 규칙을 우선시하는 경량이고 해석 가능한 탐지 파이프라인을 제안합니다. 시스템 아키텍처는 다음과 같은 구성 요소로 이루어집니다:

1. 특징 추출 및 공학:

   • 비율 기반 기술자: 이 접근법의 핵심은 스니펫 길이에 덜 민감하도록 설계된 길이 정규화 비율 기반 특징입니다. 주요 특징으로는 주석 비율(전체 줄 대비 주석 줄), 동사 주석 비율(주석 내 단어 토큰 대비 동사 토큰), 텍스트 유사 비율(자연어로 분류된 줄 대비 전체 코드 줄), 그리고 식별자 동사 비율이 포함됩니다.
   • 구문 및 구조적 특징: Tree-Sitter 증분 파서를 사용하여 완전성 점수(구문적 완전성), 파일 끝 근처 오류 노드(파일 끝 근처의 파싱 오류), 순환 복잡도, 그리고 문장 수 대비 LOC 비율과 같은 특징을 추출합니다.
   • 언어 식별: Rosetta Code 데이터셋에서 문자 n-gram TF-IDF 특징을 사용하여 훈련된 전용 다항식 나이브 베이즈 분류기가 프로그래밍 언어를 식별하여 언어별 파싱을 가능하게 합니다.

2. 보조 분류기:

   • 코드 대 텍스트 줄 분류기: 원시 자연어가 코드와 혼합된 샘플을 처리하기 위해, Stack Overflow 코드 스니펫과 Twitch 채팅 데이터를 결합한 사용자 정의 데이터셋에서 이진 분류기를 훈련합니다. 이는 개별 줄의 세분성에서 코드 줄과 텍스트 줄을 구분하기 위해 문자 n-gram 을 사용하는 TF-IDF 벡터화를 활용합니다.

3. 분류 및 의사결정 논리:

   • 얕은 분류기: 시스템은 추출된 특징으로 훈련된 로지스틱 회귀와 깊이 2 의 얕은 결정 트리를 사용합니다.
   • 휴리스틱 규칙: 최종 예측은 데이터 분석에서 도출된 특정 휴리스틱과 분류기 출력을 통합합니다:
     • 언어 마커: 코드에 앞서 독립된 줄로 나타나는 프로그래밍 언어 이름 (일반적인 LLM 인공물) 이 있는 인스턴스는 플래그가 지정됩니다.
     • 텍스트 유사 비율 임계값: 텍스트 유사 비율에 0.3 의 임계값이 적용됩니다. 이 값을 초과하는 샘플은 민감도보다 특이성을 우선시하여 직접 LLM 생성으로 분류됩니다.
   • 버킷화 스케일링: 길이 변이를 고려하기 위해 코드 샘플은 줄 수에 따라 소규모, 중규모, 대규모 버킷으로 분할되며, 각 버킷에 대해 별도의 특징 스케일링과 의사결정 임계값이 적용됩니다.

주요 기여
본 논문은 네 가지 주요 기여를 제시합니다:

1. 사전 훈련 인코더 분석: 분포 변화 하에서 GraphCodeBERT, CodeT5+ 와 같은 사전 훈련 코드 인코더의 한계를 조사하여, 특징 기반 방법에 비해 미처 보지 못한 언어에 대한 일반화 성능이 낮음을 입증합니다.
2. 해석 가능한 비율 기반 특징: LLM 생성 코드에서 흔히 발견되는 상세한 설명과 스타일적 누출 (예: 장황한 주석, 설명적 텍스트) 을 포착하는 특정 비율 기반 기술자의 도입.
3. 코드 대 텍스트 데이터셋: 자연어와 소스 코드 간의 줄 단위 분류를 위한 데이터셋 구축으로, 코드 샘플 내에 포함된 자연어 인공물을 탐지할 수 있게 함.
4. 경량 파이프라인: CPU 리소스만 사용하여 경쟁력 있는 성능을 달성하고 대규모 신경 모델의 높은 계산 비용과 대비되는 거의 즉각적인 추론을 제공하는 계산 효율적인 탐지 시스템.

결과
시스템은 일곱 가지 프로그래밍 언어와 다양한 도메인을 포함하는 SemEval-2026 태스크 13 공식 테스트 세트에서 평가되었습니다.

• 사전 훈련 인코더: GraphCodeBERT 와 CodeT5+ 와 같은 모델은 높은 검증 점수 (예: 매크로-F1 98.21% 및 97.46%) 를 달성했으나, 테스트 세트에서는 일반화에 실패하여 각각 25.11% 와 49.39% 로 떨어졌습니다. 저자들은 이를 다른 언어로 전이되지 않는 언어별 단서 (예: Python 들여쓰기) 에 대한 과적합 때문이라고 귀인합니다.
• 특징 기반 접근법: 휴리스틱과 결합된 깊이 2 의 결정 트리를 포함한 최종 시스템은 매크로-F1 점수 67.35를 달성했습니다.
  • 결정 트리 단독은 65.62 점.
  • 임계값 튜닝이 적용된 로지스틱 회귀는 63.16 점.
  • 휴리스틱 추가는 약 2% 의 절대적 개선을 제공했습니다.
• 보조 구성 요소: 코드 대 텍스트 분류기는 검증 세트에서 96.07% 의 매크로-F1 을 달성했으며, 언어 식별 분류기는 95.10% 의 정확도에 도달했습니다.
• 순위: 이 접근법은 공식 리더보드에서 모든 제출작 중 상위 15% 내에 랭크되었습니다.

의의 및 주장
저자들은 코드 저자 탐지를 위한 복잡한 신경 모델에 대한 견고하고 해석 가능한 대안으로 그들의 작업을 위치시킵니다. 그들은 GPU 리소스나 대규모 훈련 없이도 언어와 도메인 전반에 걸친 일반화 난제를 효과적으로 해결한다고 주장합니다. 장황한 주석, 설명적 텍스트, 독립된 언어 마커와 같은 구조적 인공물과 같은 스타일메트릭 신호에 초점을 맞춤으로써, 시스템은 LLM 출력에 종종 내재된 "기술적 설명성"을 포착합니다. 논문은 딥러닝 모델이 강력한 의미 표현을 제공하지만 분포 변화에 취약하고 해석 가능성이 부족하다고 강조합니다. 반면, 제안된 경량 파이프라인은 계산 효율성, 해석 가능성, 그리고 언어 간 견고성이 중요한 시나리오에 대한 실용적인 솔루션을 제공하며, 표준 CPU 하드웨어에서 거의 즉각적인 추론 시간을 달성합니다.