UCSC-NLP at SemEval-2026 Task 13: Multi-View Generalization and Diagnostic Analysis of Machine-Generated Code Detection

"UCSC-NLP at SemEval-2026 Task 13: Multi-View Generalization and Diagnostic Analysis of Machine-Generated Code Detection" 논문에 대한 상세한 기술 요약은 다음과 같습니다.

1. 문제 정의

이 논문은 학술적 정직성 유지, 채용 공정성 확보, 소프트웨어 공급망 보안을 위해 필수적인 작업인 인간이 작성한 코드와 AI 가 생성한 코드를 구분하는 중대한 과제를 다룹니다. 저자들은 두 가지 고유한 도전 과제를 제시하는 SemEval-2026 Task 13에 참여합니다.

• 서브태스크 A (이진 분류): 인간이 작성한 코드와 기계 생성 코드를 구분합니다. 여기서 주요 과제는 **분포 이동 (distribution shift)**입니다. 훈련 데이터는 알고리즘 도메인 내의 Python, C++, Java 로 제한되는 반면, 테스트 세트에는 JavaScript, C#, Go 등 이전에 보지 못한 언어와 연구 (Research), 생산 (Production) 등 이전에 보지 못한 도메인이 포함되며, 33.4% 는 '혼합 콘텐츠 (mixed-content)' 스니펫을 포함합니다.
• 서브태스크 B (다중 클래스 귀속): 코드를 생성한 특정 대규모 언어 모델 (LLM) 계열 (Human vs. 10 가지 다른 LLM 계열) 을 식별합니다. 주요 과제는 극단적인 클래스 불균형입니다. 데이터셋은 인간 코드가 88.4% 를 차지하여 다수 클래스와 최소 소수 클래스 간 비율이 221:1 입니다. 이로 인해 표준 모델이 단순히 다수 클래스를 예측하는 '파국적인 소수 클래스 실패 (catastrophic minority-class failure)'가 발생합니다.

2. 방법론

서브태스크 A: 다중 뷰 일반화 프레임워크

언어 및 도메인 불일치를 해결하기 위해 저자들은 생성기 불변 표현을 학습하도록 설계된 다중 뷰 훈련 프레임워크를 사용하여 UniXcoder-base를 미세 조정합니다. 시스템은 입력 코드의 세 가지 뷰를 처리합니다.

1. 원본 뷰 (Original View): 표준 토큰화.
2. 탈어휘화 뷰 (Delexicalized View): 식별자, 문자열 리터럴, 숫자를 일반적인 토큰 (ID, STR, NUM) 으로 대체하여 언어별 표면적 단서를 제거합니다.
3. 혼합 콘텐츠 뷰 (Mixed-Content View): 테스트 세트에서 발견되는 혼합 콘텐츠 분포를 시뮬레이션하기 위해 코드 스니펫에 무작위 텍스트 조각을 주입합니다.

주요 기술:

• 3-도메인 구조적 접두사 (3-Domain Structural Prefixes): 모델이 콘텐츠 유형을 정렬할 수 있도록 스니펫 앞에 유형 (clean, mixed, fragment) 을 나타내는 접두사를 추가합니다.
• 대칭 KL 일관성 손실 (Symmetric KL Consistency Loss): 모델은 원본 뷰와 탈어휘화/혼합 뷰 예측 간의 대칭 Kullback-Leibler 발산을 최소화하도록 훈련되어 서로 다른 표현 간 일관성을 강제합니다.
• 토큰 드롭아웃 (Token Dropout): 훈련 중 15% 의 비특수 토큰이 무작위로 마스킹되어 우연적인 언어별 키워드에 의존하는 것을 방지합니다.
• 추론 전략 (Inference Strategy): 최종 예측은 세 가지 뷰의 로짓 (logits) 평균으로, 비용이 들지 않는 앙상블 역할을 합니다.

서브태스크 B: 진단 기준선 및 클래스 가중 확장

저자들은 선형 소프트맥스 분류 헤드가 있는 CodeBERT-base를 사용합니다.

1. 진단 기준선 (Diagnostic Baseline): 클래스 재가중이 없는 표준 미세 조정 모델입니다. 이는 극단적인 불균형 하에서 표준 미세 조정이 실패함을 입증하기 위한 통제군 역할을 합니다.
2. 클래스 가중 시스템 (Class-Weighted System): 교차 엔트로피 손실에 **역빈도 클래스 가중 (inverse-frequency class weighting)**을 적용하는 경쟁 시스템입니다. 이는 소수 LLM 클래스를 과소 표현된 비율에 비례하여 가중치를 부여하여 모델이 희귀 생성기를 위한 차별적 특징을 학습하도록 강제합니다.

3. 주요 기여

1. 강건한 이진 분류 프레임워크: 탈어휘화, 혼합, 원본 코드 뷰 간의 일관성을 강제함으로써 보지 못한 언어와 도메인 전반에 걸쳐 강력한 일반화를 달성하는 새로운 다중 뷰 훈련 접근법.
2. 불균형에 대한 진단 분석: 극단적인 클래스 불균형을 가진 다중 클래스 귀속 작업에서 표준 미세 조정이 파국적으로 실패함을 엄격하게 입증합니다. 저자들은 높은 정확도 (88.4%) 가 소수 클래스 감지 실패 (Macro F1 약 0.08) 를 완전히 가릴 수 있음을 보여줍니다.
3. 임베딩 중첩에 대한 실증적 증거: t-SNE 를 통한 시각화는 Subtask A 에서 인간과 기계 코드가 임베딩 공간에서 분리 가능하지만, Subtask B 에서는 서로 다른 LLM 계열이 서로 및 인간 코드와 상당 부분 중첩됨을 보여줍니다. 이는 세밀한 귀속의 어려움을 설명합니다.

4. 결과

서브태스크 A (이진 분류)

• 검증: 거의 완벽한 0.993 Macro F1 달성.
• 테스트 세트: 분포 외 (out-of-distribution) 테스트 세트에서 0.845 Macro F1 달성.
• 분석: 검증 점수와 테스트 점수 간의 14.8 포인트 차이는 과적합이 아닌 교차 언어 일반화의 어려움을 반영합니다. 모델은 인간과 기계 클래스 간 균형 잡힌 성능을 보였으며 체계적인 편향은 없었습니다.

서브태스크 B (다중 클래스 귀속)

• 진단 기준선: 88.4% 정확도를 달성했으나 파국적인 0.086 Macro F1을 기록했습니다. 모델은 거의 모든 입력에 대해 'Human'을 예측하여 특정 LLM 계열을 식별하지 못했습니다.
• 클래스 가중 시스템: 역빈도 가중치를 적용하고 3 에포크 동안 훈련함으로써 Macro F1 을 0.345 로 회복시켰습니다 (상대적 개선 301%).
• 트레이드오프: 이 개선은 전체 정확도가 78.7% 로 하락하는 대가를 치렀으며, 이는 모델이 다수 클래스 편향에서 진정한 다중 클래스 구별로 성공적으로 전환되었음을 나타냅니다.

5. 중요성 및 향후 방향

• 실용적 영향: 이 연구는 AI 코드에 대한 이진 분류는 견고해지고 있지만, LLM 간의 아키텍처 동질성과 데이터 불균형으로 인해 어떤 AI 가 코드를 작성했는지 식별하는 세밀한 귀속은 여전히 열린 과제임을 강조합니다.
• 방법론적 통찰: 이 논문은 불균형 코드 분류 작업에서 정확도와 같은 표준 지표는 오해의 소지가 있음을 증명하며, Macro F1 이 핵심 지표임을 보여줍니다.
• 향후 작업: 저자들은 향후 귀속 개선이 다음을 필요로 할 수 있다고 제안합니다.
  • 클래스 간 분리를 극대화하기 위한 대비 학습 (Contrastive learning).
  • 토큰 수준 신호에만 의존하지 않고 구조적 특징 (AST, 제어 흐름 그래프) 을 통합.
  • Focal Loss 또는 클래스 균형 샘플링과 같은 고급 손실 함수.
  • 디코더 기반 또는 인코더 - 디코더 아키텍처 (예: CodeT5) 탐색.

이 논문은 허위 양성률 (Human Recall 0.760) 로 인해 저자성 또는 채용과 관련된 중대한 결정을 내리기 전에 인간 검토가 필수적임을 강조하는 윤리 성명으로 마무리됩니다.