기술 요약: SemEval-2026 태스크 13의 고고학 (Archaeology)

문제 정의

본 논문은 학술적 정직성, 소프트웨어 공급망 보안, 지적 재산권 귀속을 위한 핵심 쟁점인 AI 생성 소스 코드 탐지의 과제를 다룹니다. 저자들은 세 개의 하위 태스크로 구성된 SemEval-2026 태스크 13 에 참여했으며, 그들의 시스템인 "Archaeology"는 첫 번째 두 가지 하위 태스크에 집중했습니다:

• 하위 태스크 A: 인간이 작성한 코드와 AI 가 생성한 코드를 구분하는 이진 분류.
• 하위 태스크 B: 11 개 클래스 (인간 작성 코드 포함 및 10 가지 고유 AI 모델) 중 주어진 코드 스니펫을 생성한 특정 대형 언어 모델 (LLM) 계열을 식별하는 다중 클래스 귀속.

두 하위 태스크 모두 매크로 평균 F1 점수를 주요 평가 지표로 사용합니다. 이러한 태스크는 고유한 도전을 제시합니다: 하위 태스크 A 는 훈련 중 접하지 않은 도메인 외 (OOD) 프로그래밍 언어에 대한 일반화가 필요하며, 하위 태스크 B 는 극도로 불균형한 클래스 분포 (가장 큰 클래스와 가장 작은 클래스 간의 225:1 비율) 와 긴 코드 시퀀스를 처리해야 합니다.

방법론

베이스라인

팀은 TF-IDF 특징(빅그램부터 5-그램까지의 문자 n-그램) 과 로지스틱 회귀를 결합하여 베이스라인을 수립했습니다. 코드는 처음 10,000 자로 잘렸습니다. 하위 태스크 B 의 경우, 라벨 불균형을 완화하기 위해 균형 잡힌 클래스 가중치가 적용되었습니다. 이 베이스라인은 하위 태스크 A 에서 0.266, 하위 태스크 B 에서 0.255 의 매크로-F1 점수를 달성하여 표면적 어휘 패턴만으로는 부족함을 입증했습니다.

사전 훈련된 모델

핵심 시스템은 네 가지 사전 훈련된 코드 모델을 미세 조정합니다:

1. CodeBERT: 인코더 전용 (RoBERTa-base, 125M 파라미터), 마스킹 언어 모델링 (MLM) 과 대체 토큰 감지로 사전 훈련됨.
2. GraphCodeBERT: 인코더 전용 (RoBERTa-base), 데이터 흐름 그래프 구조를 CodeBERT 에 확장함.
3. UniXcoder: 인코더 전용 (RoBERTa-base), 교차 모달 목적을 통해 이해와 생성을 지원하는 통합 모델.
4. CodeT5+: 인코더 - 디코더 (220M 파라미터), 코드 및 코드 - 텍스트 쌍에 대한 탈노이즈 및 인과적 언어 모델링으로 사전 훈련됨.

하위 태스크 A (이진 분류) 를 위한 전략

OOD 언어 도전 과제 (Python, C++, Java 로 훈련; JavaScript, Go, PHP 와 같은 추가 언어로 테스트) 를 해결하기 위해 저자들은 다음을 활용했습니다:

• Leave-One-Language-Out (LOLO) 교차 검증: 두 언어로 모델을 훈련하고 세 번째 언어로 검증하여 OOD 조건을 시뮬레이션했습니다. 훈련 데이터는 언어 및 라벨당 동일한 수의 예시를 샘플링하여 균형 잡혔습니다.
• 코드 증강: 언어별 표면적 특징에 대한 의존도를 줄이기 위해 주석 제거, 리터럴 마스킹, 헤더 드롭핑과 같은 확률적 증강이 적용되었습니다. 결정적 정규화는 마크다운 펜스를 제거하고 공백을 표준화했습니다.
• 청크 추론: 테스트 코드가 훈련 코드보다 길기 때문에 모델의 컨텍스트 창을 초과하는 스니펫은 겹치는 청크로 분할되었습니다. 확률은 트림드 평균(최소/최대 값 제거) 과 톱 -2 평균(두 가지 가장 높은 확률의 평균) 을 혼합하여 집계되어 노이즈에 대한 강건함과 강력한 신호에 대한 민감도를 균형 있게 유지했습니다.
• 임계값 보정: 2 단계 보정이 사용되었습니다. 먼저 OOF 예측에서 최적 임계값을 찾았습니다. 둘째, 로지스틱 회귀 교차 검증에서 오분류된 1,000 개의 예시로 구성된 "어려운 데이터셋"을 구축하여 두 번째 임계값을 도출했습니다. 최종 결정 임계값은 이 두 가지의 동등 가중치 혼합이었으며, 언어 감지가 가능한 경우 언어별 임계값이 추가로 적용되었습니다.

하위 태스크 B (다중 클래스 귀속) 를 위한 전략

극단적인 클래스 불균형과 긴 시퀀스를 처리하기 위해:

• 샌드위치 토큰 패킹: 긴 코드를 잘라내는 대신, 입력 시퀀스는 처음 $h$개의 토큰 (헤드), 구분자, 그리고 마지막 $t$개의 토큰 (테일) 을 사용하여 구성되었습니다. 훈련 중에는 헤드 비율이 무작위로 샘플링되어 데이터 증강 역할을 했으며, 추론 중에는 0.60 으로 고정되었습니다.
• 클래스 균형 손실: 225:1 의 불균형을 극복하기 위해 저자들은 유효한 샘플 수 ($\beta = 0.9995$) 를 기반으로 한 클래스 균형 손실 가중치를 사용하여 역빈도 방법의 극단적인 상향 가중치 없이 과소 표현된 클래스에 더 높은 가중치를 부여했습니다.
• 앙상블 및 추론 시간 증강 (TTA):
  • UniXcoder: 3 개의 무작위 시드로 훈련되었으며 추론 중 3 개의 다른 헤드 비율로 실행되었습니다 (총 9 회 순전파).
  • CodeBERT/GraphCodeBERT: 단일 시드와 3 개의 헤드 비율 (3 회 순전파).
  • CodeT5+: 단일 시드, 고정 헤드 비율, 모델 크기로 인해 1 에포크 훈련.

결과

시스템은 테스트 세트에서 다음과 같은 매크로-F1 점수를 달성했습니다:

• 하위 태스크 A: CodeBERT 를 사용하여 0.737(81 개 팀 중 6 위).
• 하위 태스크 B: UniXcoder 를 사용하여 0.422(34 개 팀 중 7 위).

주요 관찰 사항:

• 모든 미세 조정된 모델은 TF-IDF 베이스라인을 크게 능가했습니다.
• 하위 태스크 A 의 경우, 코드 이해에 초점을 맞춘 인코더 전용 모델 (CodeBERT, GraphCodeBERT) 이 인코더 - 디코더 CodeT5+ 와 생성 지향 UniXcoder 보다 우수했습니다.
• 하위 태스크 B 의 경우, 더 큰 컨텍스트 창 (512 대비 1,024 토큰), 3-시드 앙상블, 그리고 <encoder-only> 모드 토큰 사용으로 인해 UniXcoder 가 다른 모델들을 능가했습니다.
• 오류 분석 결과, 모델들은 하위 태스크 A 에서 OOD 언어와 하위 태스크 B 에서 스타일이 유사한 AI 생성기를 구분하는 데 더 어려움을 겪었습니다 (예: 충분한 훈련 데이터가 있음에도 불구하고 클래스 1 의 F1 은 0.11 이하였습니다).

중요성과 기여

본 논문은 세 가지 주요 기술적 기여를 주장합니다:

1. 청크 추론 파이프라인: 모델 컨텍스트 한계를 초과하는 긴 코드 스니펫을 처리하기 위해 트림드 평균 집계를 사용하는 이진 코드 분류 방법.
2. 임계값 보정 전략: 오분류된 예시의 "어려운 데이터셋"에서 도출된 임계값과 OOF 임계값을 혼합한 하이브리드 접근 방식이며, 언어별 보정으로 추가 정교화를 거칩니다.
3. 샌드위치 토큰 패킹: 긴 코드 시퀀스의 시작과 끝 정보를 보존하는 다중 클래스 귀속 전략으로, 추론 시간 증강 및 클래스 균형 손실과 결합됩니다.

저자들은 이러한 태스크에서 사전 훈련 목적의 선택이 모델 크기보다 더 중요하다고 결론지었습니다. 코드 이해를 위해 사전 훈련된 모델 (CodeBERT, GraphCodeBERT) 이 이진 탐지에서 탁월한 성과를 보인 반면, 더 긴 컨텍스트 창과 앙상블로 강화된 통합 UniXcoder 는 다중 클래스 귀속에서 가장 좋은 성과를 거두었습니다. 논문은 220M 파라미터로 가장 큰 모델임에도 CodeT5+ 가 최상위 점수를 달성하지 못했다고 지적하며, 이 도메인에서 크기만으로는 성능을 보장하지 않는다고 시사합니다.

한계

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 상대적으로 작은 사전 훈련된 모델 (125M~220M 파라미터) 과 제한된 컨텍스트 창 (최대 1,024 토큰) 의 사용.
• 청크 추론에서 커버리지와 신호 희석 간의 트레이드오프.
• 실제 배포 환경에서 항상 사용 가능한 것은 아닐 수 있는 임계값 보정을 위한 "어려운 데이터셋"에 대한 의존성.
• 계산 제약으로 인한 광범위한 애블레이션 연구 부족으로 특정 구성 요소 (예: 특정 증강 또는 집계 방법) 의 고립된 기여도가 정량화되지 않았습니다.