1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 발전으로 인해 인간이 작성한 코드와 기계가 생성한 코드를 구별하는 것이 점점 더 어려워지고 있습니다. SemEval-2026 Task 13은 이 문제를 해결하기 위해 다음과 같은 복잡한 환경에서 기계 생성 코드 탐지 및 출처 추적을 수행하는 것을 목표로 합니다.

• 다양한 설정: 여러 생성자 (Multi-generator), 여러 도메인 (Multi-domain), 여러 프로그래밍 언어 (Multi-programming-language) 를 포함합니다.
• 세 가지 하위 작업 (Subtasks):
  • Subtask A (이진 분류): 코드가 인간이 작성했는지 기계가 생성했는지를 이진으로 분류합니다. (C++, Python, Java 등 포함)
  • Subtask B (다중 클래스 분류): 생성된 코드의 출처가 어떤 LLM 계열 (10 개 계열 중 하나) 이거나 인간인지 11 개의 클래스로 분류합니다.
  • Subtask C (혼합/적대적 코드 탐지): 4 가지 클래스 (인간 작성, 기계 생성, 인간과 기계의 혼합, 인간을 모방하도록 설계된 적대적 코드) 를 구분합니다.

2. 방법론 (Methodology)

저자들은 기존에 텍스트 탐지에 사용되던 mdok 시스템을 코드 탐지용으로 적응시킨 mcdok 시스템을 제안했습니다. 주요 방법론은 다음과 같습니다.

• 기반 모델 선택: 기존 텍스트 중심 모델 대신 코드 이해에 특화된 다양한 베이스 모델을 탐색하여 파인튜닝했습니다.
  • Subtask A: 범용 모델인 Gemma-3-27B-PT를 사용 (예상과 달리 코드 특화 모델보다 성능이 우수함).
  • Subtask B: 코드 특화 모델인 CodeGemma-7B를 사용.
  • Subtask C: 코드 특화 모델인 Qwen2.5-Coder-14B를 사용.
• 파인튜닝 전략:
  • QLoRA (Quantized Low-Rank Adaptation): 4 비트 양자화를 사용하여 파라미터 효율적인 파인튜닝 (PEFT) 을 수행했습니다.
  • 하이퍼파라미터: LoRA 설정 ($r=64, \alpha=16, dropout=0.1$), 배치 크기 1, 학습률 $2e-5$, Cosine 스케줄러 사용.
  • 손실 함수: 클래스 불균형을 보정하기 위해 클래스 분포의 역수를 가중치로 한 가중 교차 엔트로피 (Weighted Cross Entropy) 손실 함수를 사용했습니다.
  • 전처리: 코드의 무결성을 해치지 않기 위해 기존 텍스트 탐지 시스템에서 사용하던 익명화, 소문자 변환, 동형 문자 (homoglyph) 변환 등의 전처리는 배제했습니다.
• 데이터 처리:
  • 공식 훈련 데이터를 클래스 균형을 맞추기 위해 재샘플링 (Subsampling) 했습니다.
  • 검증 (Validation) 및 OOD(Out-of-Distribution) 테스트를 위해 test_sample 데이터를 활용했습니다.
  • 분류 임계값 (Threshold) 조정: Subtask A 의 경우, 기본 임계값 (0.5) 대신 1.0 (100% 확신) 으로 고정하여 성능을 크게 향상시켰습니다.

3. 주요 기여 (Key Contributions)

1. 코드 특화 LLM 파인튜닝 프레임워크: 텍스트 기반 기계 생성 탐지 시스템 (mdok) 을 코드 도메인으로 성공적으로 확장하고, 각 하위 작업에 최적화된 서로 다른 베이스 모델을 선정했습니다.
2. 임계값 조정 기법: 기계 생성 코드 탐지 시 확률 임계값을 높게 설정 (1.0) 함으로써 성능을 획기적으로 개선하는 것을 입증했습니다.
3. 다양한 모델 아키텍처 비교: 0.5B 에서 70B 에 이르는 다양한 크기의 모델과 코드 특화/범용 모델을 비교 분석하여, 작업별 최적 모델을 도출했습니다.
4. 오픈 소스 및 재현성: 훈련 및 추론을 위한 전체 소스 코드를 공개하여 시스템의 완전한 재현을 가능하게 했습니다.

4. 실험 결과 (Results)

공식 평가 지표인 Macro F1을 기준으로 한 결과는 다음과 같습니다.

• Subtask A (이진 분류):
  • 제출된 Gemma-3-27B-PT 모델이 Macro F1 0.697로 가장 좋은 성능을 보였습니다.
  • 흥미롭게도 범용 모델이 코드 특화 모델 (CodeGemma, Qwen 등) 보다 높은 성능을 기록했습니다.
  • 임계값을 1.0 으로 조정하지 않은 경우 성능이 크게 저하됨을 확인했습니다.
• Subtask B (출처 추적):
  • CodeGemma-7B가 Macro F1 0.396으로 가장 우수했습니다.
  • 11 개의 클래스 분류는 어려웠으나, CodeBERT 베이스라인과 무작위 베이스라인을 모두 능가했습니다.
  • 인간 작성, OpenAI, Bigcode 계열은 잘 탐지했으나, 다른 계열들 간의 혼동 (Confusion) 이 발생했습니다.
• Subtask C (혼합/적대적 코드):
  • Qwen2.5-Coder-14B가 Macro F1 0.686으로 최상의 성능을 기록했습니다.
  • '기계 생성'과 '혼합 (Hybrid)' 클래스 간의 혼동이 가장 컸습니다.
• 랭킹:
  • Subtask A: 81 개 제출 중 10 위 (88 백분위수)
  • Subtask B: 34 개 제출 중 13 위 (62 백분위수)
  • Subtask C: 32 개 제출 중 5 위 (84 백분위수)

5. 의의 및 결론 (Significance & Conclusion)

• 범용 모델의 가능성: 기계 생성 텍스트 탐지 시스템이 코드 도메인으로 성공적으로 이전될 수 있음을 입증했습니다. 특히, Subtask A 에서 범용 모델 (Gemma-3) 이 코드 특화 모델보다 우수한 성능을 보인 점은 주목할 만합니다.
• 향후 과제: 현재 시스템은 상위권 시스템과 유의미한 격차가 존재하므로, 데이터 샘플링 및 균형 조정, 파인튜닝 하이퍼파라미터 최적화 등을 통해 추가 개선이 가능하다고 결론지었습니다.
• 한계: 실험은 제한된 공식 데이터와 특정 샘플링 기법에 의존했으며, 테스트된 모델 외의 다른 모델들은 다른 성능을 보일 수 있습니다.

이 논문은 기계 생성 코드 탐지라는 새로운 도메인에서 LLM 파인튜닝의 유효성을 입증하고, 각 작업 유형에 맞는 모델 선택의 중요성을 강조한다는 점에서 의의가 있습니다.