Dream at SemEval-2026 Task 13: SALSA for Single-Pass Machine-Generated Code Detection

기술 요약: 단일 패스 기계 생성 코드 탐지를 위한 SALSA

문제 정의
본 논문은 대규모 언어 모델(LLM)에 의해 생성된 코드를 탐지하는 중대한 과제를 다루며, 이는 평가의 무결성과 소프트웨어 신뢰성을 유지하는 데 필수적입니다. 구체적으로, 저자들은 문제를 코드 스니펫에 대한 이진 분류 작업(사람이 작성한 코드 vs. 기계가 생성한 코드)으로 정의하는 SemEval-2026 Task 13 Subtask A를 해결합니다. 주요 어려움은 OOD(Out-of-Distribution, 분포 외) 일반화에 있습니다. 즉, 시스템은 본 적 없는 프로그래밍 언어와 애플리케이션 도메인(예: 알고리즘 중심의 훈련 데이터에서 연구/생산 환경의 평가 시나리오로 이동하는 경우)에서도 견고하게 작동해야 합니다. 수작업으로 만든 특징(feature)이나 결정 규칙에 의존하는 전통적인 방식은 필요한 도메인 커버리지와 견고성이 부족한 경우가 많습니다.

방법론: SALSA
저자들은 분류 문제를 표준적인 시퀀스-투-시퀀스(sequence-to-sequence) 또는 특징 기반 문제가 아닌, 제약된 토큰 생성 작업으로 재구성하는 SALSA(Single-pass Autoregressive LLM Structured Classification)를 제안합니다.

1. 구조화된 프롬프팅 및 토큰 매핑:

   • 모델이 장황한 설명이나 일관성 없는 형식을 생성하도록 허용하는 대신, SALSA는 각 클래스를 단일 전용 출력 토큰(예: 인간은 "0", 기계는 "1")에 매핑합니다.
   • 프롬프트는 명확한 구분자와 직접적인 지시 사항(예: "is the code machine generated?")을 포함하여 구조화되며, 특정 형식(<ANSWER>#</ANSWER>)으로 답변할 것을 요구합니다.
   • 지연 시간과 형식의 가변성을 초래하는 사고 사슬(chain-of-thought) 추론을 방지하기 위해, 저자들은 /no_think 플래그와 빈 <thought> 블록(특히 Qwen3 모델용)을 사용하여 단일 토큰 출력을 강제합니다.

2. OOD 견고성을 위한 훈련 전략:

   • 목표: 모델은 인과적 언어 모델링(causal language modeling) 목표를 사용하여 훈련되지만, 손실(loss)은 오직 레이블 토큰의 위치에서만 평가됩니다. 이는 그래디언트 업데이트를 타겟 클래스의 다음 토큰 분포에 집중시킵니다.
   • 매개변수 효율적 미세 조정(PEFT): 저자들은 과적합 위험을 줄이고 훈련 속도를 높이기 위해 LoRA(Low-Rank Adaptation)를 채택했습니다.
   • 보수적 훈련 체계: 모델이 훈련 도메인에 과도하게 특화되어 OOD 성능이 저하되는 것을 방기하기 위해, 저자들은 다음과 같은 보수적인 접근 방식을 채택했습니다:
     • 단일 에포크(Single Epoch): 훈련은 1 에포크로 제한됩니다.
     • 낮은 학습률: $5 \times 10^{-6}$의 학습률을 사용합니다.
     • 균형 잡힌 샘플링: 훈련 데이터셋이 파이썬(Python)에 크게 치우쳐 있음(91.5%)을 고려하여, 저자들은 (언어, 레이블) 그룹 간의 균형 잡힌 샘를 구현했습니다. 이는 모델이 일반적인 작업 정렬을 희생하면서 파이썬 특유의 패턴을 학습하는 것을 방지합니다.

3. 추론:

   • 추론은 단일 순전파(forward pass) 과정으로 이루어집니다. 시스템은 타겟 클래스 토큰("0" 및 "1")에 대한 로짓(logits)만을 추출하고 소프트맥스(softmax)를 적용하여 예측 레이블을 결정함으로써 디코딩 오버헤드를 최소화합니다.

주요 기여

• 정식화: 분류를 신뢰할 수 있는 단일 토큰 예측 작업으로 변환하여, 개방형 LLM 생성의 취약성을 제거한 SALSA를 도입했습니다.
• OOD 최적화: 보수적인 미세 조정(낮은 학습률, 단일 에포크, 균형 잡힌 샘플링)이 베이스 모델의 일반적인 능력을 보존하며, 이는 공격적인 훈련 전략보다 OOD 설정에서 훨씬 더 우수한 성능을 보임을 입증했습니다.
• 성능: 본 시스템은 공식 베이스라인을 크게 상회하며, 다국어 및 교차 도메인 코드 탐지의 격차를 해소했습니다.

결과
저자들은 SemEval-2026 Task 13 리더보드에서 시스템을 평가했습니다:

• 베이스라인 비교: 공식 CodeBERT 베이스라인은 0.305의 OOD F1 점수를 기록했습니다.
• SALSA 성능: SALSA로 미세 조정된 Qwen2.5-72B-Instruct를 활용한 최상의 시스템은 0.789의 OOD F1 점수를 달성했습니다.
• 제로샷 vs. 미세 조정: 제로샷 성능은 모델 크기와 아키텍처에 따라 크게 달랐으며, 일부 모델은 "사람이 작성한" 코드로 예측하는 강한 편향(높은 정밀도, 매우 낮은 재현율)을 보였습니다. 제안된 보수적 전략을 통한 미세 조정은 이러한 편향을 해결하여, 강력한 OOD 일반화 능력을 유지하면서도 거의 완벽한 검증 F1 점수(0.996)를 달성했습니다.
• 모델 스케일링: 성능은 일반적으로 모델 크기에 따라 확장되었으며, 72B 파라미터 모델이 32B 및 8B 변체보다 우수한 성능을 보였습니다.

의의
본 논문은 SALSA가 기계 생성 코드 탐지를 위한 견고하고 효율적이며 확장 가능한 솔루션을 제공한다고 주장합니다. 구조화된 프롬프팅을 통해 모델에 저작권 결정을 위임하고, 과적합을 피하기 위해 미세 조정 과정을 세심하게 관리함으로써, 이 접근 방식은 보지 못한 언어와 도메인에 성공적으로 일반화되었습니다. 결과는 도메인 내 정확도를 극대화하는 것보다 보수적인 훈련을 통해 베이스 모델의 범용적 특징을 보존하는 것이 OOD 작업에 더 효과적임을 시사합니다. 저자들은 자신들의 코드가 공개되어 있어 이 분야의 추가적인 연구를 촉진할 수 있다고 언급했습니다.