기술 요약: SrDetection

문제 정의

Code LLM(코드 대규모 언어 모델)의 평가는 벤치마크 샘플이 모델의 사전 학습 코퍼스에 의도치 않게 포함되는 **데이터 누출(data leakage)**로 인해 점점 더 심각하게 훼손되고 있습니다. 모델이 이러한 샘플을 암기하게 되면, 성능 지표는 진정한 일반화 능력이 아닌 암기된 결과로 인해 인위적으로 부풀려집나다. 이는 모델 간 비교의 공정성을 저해하고 진정한 혁신을 평가하는 것을 어렵게 만듭니다.

기존의 탐지 방법들은 세 가지 주요 한계점을 가집니다:

1. 독점 데이터 의존성: n-gram 매칭과 같은 중복 기반 방법은 모델의 학습 코퍼스에 대한 접근 권한을 요구하지만, 이는 일반적으로 비공개이며 독점적입니다.
2. 취약한 휴리스틱: 타임스탬프 기반 필터링은 모델의 학습 차단 시점 이후에 출시된 코드는 코퍼스에 포함될 수 없다고 가정합니다. 그러나 이는 코드 재사용, 상속, 포킹(forking)으로 인해 실제 환경에서는 실패합니다.
3. 임계값 불안정성: Perplexity와 같은 신뢰도 기반 접근 방식은 결정 임계값을 보정하기 위해 외부 참조 세트에 의존합니다. 이러한 임계값은 자연어 데이터에 맞춰 튜닝되는 경우가 많아 코드의 구조적 규칙성에 잘 일반화되지 않으며, 혹은 동일하게 결함이 있는 시간적 휴리스틱에 의존합니다.

방법론: SrDetection

저자들은 그레이 박스(로그 값 접근 가능) 및 블랙 박스(출력값만 접근 가능) 설정 모두에서 코드 데이터 누출을 탐지하기 위한 통합된 자기 참조적(self-referential) 프레임워크인 SrDetection을 제안합니다. 핵심 가설은 만약 모델이 특정 코드 샘플을 암기했다면, 해당 샘플의 원래 형태(surface form)에 대해 의미론적으로 동등한 변형체들에 비해 현저히 예측 가능한 동작(더 낮은 perplexity 또는 더 높은 생성 유사도)을 보일 것이라는 점입니다.

이 프레 framework는 두 가지 주요 단계로 작동합니다:

1. 코드 변형 모듈 (Code Transformation Module)

이 모듈은 보조 LLM을 사용하여 원본 벤치마크 샘플($x_0$)로부터 $n$개의 의미론적으로 동등한 변형체 세트($V = \{x_1, ..., x_n\}$)를 생성합니다. 변형은 실행 동작을 보존하면서 어휘적 및 구문적 형태를 변경하도록 최소한으로, 그리고 국소적으로 이루어집니다:

• 함수 이름 변경 ($\tau_f$): 함수 이름과 호출부를 의미론적으로 동등한 대안으로 교체합니다 (예: solve $\to$ compute).
• 변수 이름 변경 ($\tau_v$): 변수 식별자와 파라미터를 체계적으로 교체합니다 (예: nums $\to$ arr).
• 테스트 케이스 변형 ($\tau_t$): 원본과 의미론적으로 유사한 새로운 테스트 입력을 생성하고, 이를 실행을 통해 검증한 뒤 원본 테스트 케이스를 교체합니다.

2. 누출 결정 모듈 (Leakage Decision Module)

프레임워크는 외부 임계값에 의존하지 않고, 원본 샘플($x_0$)과 그 변형체들($V$)에 대한 모델의 동작을 비교합니다.

• 그레이 박스 설정 (Perplexity 기반):
  샘플의 탐지 점수 $S_M(x)$는 Perplexity (PPL)입니다. 만약 모델이 $x_0$를 암기했다면, $x_0$의 PPL은 모든 변형체의 PPL보다 낮을 것입니다.
  $$\text{Leakage}_{gray}(x_0) = \mathbb{I}[S_M(x_0) < \min_{x_i \in V} S_M(x_i)]$$
  여기서 $\mathbb{I}$는 지시 함수(indicator function)입니다.

• 블랙 박스 설정 (생성 유사도 기반):
  탐지 점수 $S_M(x)$는 프리픽스(prefix)가 주어졌을 때 모델이 생성한 서픽스(suffix)와 정답(ground-truth) 서픽스 사이의 N-gram 중복도(NGO)입니다. 만약 암기되었다면, 모델은 변형체들보다 원본 형태에 대해 정답에 더 가까운 서픽스를 생성합니다.
  $$\text{Leakage}_{black}(x_0) = \mathbb{I}[S_M(x_0) > \max_{x_i \in V} S_M(x_i)]$$

통제된 테스트베드 구축 (Controlled Testbed Construction)

이 방법들을 엄격하게 평가하기 위해 저자들은 통제된 누출 테스트베드를 구축했습니다:

1. 데이터셋 준비: 이미 누출 징후를 보이는 샘플(원본이 이미 변형체들 중 가장 쉬운 경우)을 제거하기 위해 공개 코드 벤치마크를 필터링했습니다.
2. 누출 시뮬레이션: 모델들을 일반 웹 코퍼스와 혼합된 데이터의 일부(학습 분할)에 대해 **지속적 사전 학습(continued pre-training)**을 수행하게 했고, 나머지 데이터는 "홀드아웃(held-out)" 테스트 세트로 사용했습니다. 이를 통해 누출 여부가 명시적으로 제어되고 알려진 그라운드 트루스를 생성했습니다.

주요 기여

1. 자기 참조적 프레임워크: SrDetection은 코드 스니펫과 그 의미론적 변형체 간의 샘플 내 대비를 사용함으로써 외부 참조 데이터나 수동으로 정의된 임계값의 필요성을 제거합니다.
2. 자동 증강: 일반적인 편집(이름 변경, 리팩토링) 하에서도 메모리화를 드러내면서도 의미론적 기능을 보존하는 맞춤형 코드 변형 생성 방법을 제공합니다.
3. 통제된 평가: 다양한 모델과 학습 단계에 걸쳐 누출 탐지 성능을 정밀하게 측정할 수 있도록, 시간적 휴리스틱의 불확전성을 피하는 학습 기반의 테스트베드를 도입했습니다.

실험 결과

저자들은 Qwen2.5 및 LLaMA3.1 지속적 사전 학습 모델을 대상으로 강력한 베이스라인(예: PPL, Min-K% Prob, Zlib, VeilProbe, DPDLLM)과 SrDetection을 비교 평가했습니다.

• 성능 향상: SrDetection은 베이스라인들을 크게 압도했습니다.
  • 그레이 박스: 강력한 베이스라인 대비 평균 F1 점수가 21.52 포인트 향상되었습니다.
  • 블랙 박스: 평균 F1 점수가 14.46 포인트 향상되었습니다.
• 강건성: 불안정한 성능을 보이거나 특정 에포크(epoch)에 의존했던 베이스라인들과 달리, SrDetection은 다양한 모델과 학습 단계 전반에서 일관성을 유지했습니다.
• 민감도: 성능은 더 많은 수의 변형체($n$)를 사용할수록 향상되었으며, 사전 학습 코퍼스 내의 코드-텍스트 혼합 비율 변화에도 안정적으로 유지되었습니다.
• 실제 적용: 4개의 벤치마크(APPS, HumanEval, MBPP, BigCodeBench)에 대해 15개의 널리 사용되는 Code LLM을 조사한 결과, 벤치마크별로 특이한 누출 패턴이 발견되었습니다. 특히 BigCodeBench는 그레이 박스 설정에서 높은 누출률을 보였는데, 이는 동작 기반 탐지가 엄격한 중복 분석이 놓칠 수 있는 오염을 식별할 수 있음을 시사합니다.

의의 및 주장

본 논문은 SrDetection이 임계값 독립적이며 코퍼스 독립적인 탐지 메커니즘을 제공함으로써 Code LLM 평가의 중요한 격차를 해소한다고 주장합니다. 누출 탐지를 자기 참조적 문제로 재정의함으로써, 이 방법은 시간적 가정의 취약성과 학습 데이터의 접근 불가능성 문제를 피합니다.

저자들은 자신들의 연구 결과가 누출이 단순한 미미한 부산물이 아니라 현재의 평가 관행에서 **체계적인 혼란 요인(systematic confounder)**임을 입증한다고 단언합니다. 외부 참조 없이 누출을 탐지할 수 있는 능력은, 벤치마크 특유의 오염 패턴이 기존의 중복 기반 분석을 통해 이해되었던 것보다 더 광범위하고 복잡할 수 있음을 시사합니다. 이 연구는 Code LLM 평가의 신뢰성을 보장하기 위해 누출을 고려한 벤치마크 설계와 보고의 필요성을 강조합니다.