No Memorization, No Detection: Output Distribution-Based Contamination Detection in Small Language Models

이 논문은 작은 언어 모델 (70M~410M 파라미터) 에서 데이터 오염을 탐지하기 위해 출력 분포의 뾰족함을 측정하는 CDD 방법이 단순한 확률 기반 방법 (Perplexity, Min-k% Prob) 보다 성능이 낮으며, 미세 조정으로 인한 암기 발생 여부에 따라 탐지 성공 여부가 결정됨을 보여줍니다.

핵심

🎒 비유: "시험지 훔쳐보기"와 "정답 외우기"

상상해 보세요. 학생 (AI 모델) 이 시험 (평가) 을 앞두고 있습니다. 그런데 이 학생이 시험 문제를 미리 본 적이 있다면, 우리는 이를 '오염 (Contamination)'이라고 부릅니다.

이 논문은 **"학생이 시험 문제를 정말로 외웠는지, 아니면 그냥 훑어봤을 뿐인지"**를 구별하는 새로운 방법 (CDD) 을 검증했습니다.

1. 기존 방법 (CDD): "정답을 기계적으로 반복하는지 확인하기"

연구자들이 제안한 CDD라는 방법은 다음과 같은 원리입니다.

"학생에게 같은 문제를 50 번 물어보세요. 만약 학생이 문제를 완벽하게 외웠다면, 50 번 모두 똑같은 정답을 뱉어낼 거예요. 하지만 그냥 훑어봤거나 이해만 했다면, 50 번마다 조금씩 다른 답을 내놓을 거예요."

이 방법은 학생이 **정답을 기계적으로 반복하는지 (Output Distribution Collapse)**만 보면 됩니다.

2. 연구 결과: "작은 AI 는 '외우기'를 안 합니다!"

이 논문은 70 만 개~4 억 1 천만 개 정도의 파라미터를 가진 **'작은 AI'**들을 실험했습니다. 결과는 충격적이었습니다.

• 상황: 작은 AI 는 시험 문제를 10 번이나 20 번이나 반복해서 학습했습니다. (분명히 '훔쳐본' 상태입니다.)
• CDD 의 반응: "아, 이 학생은 문제를 외운 게 아니네? 50 번 물어봤는데 매번 답이 달라. 오염이 안 된 것 같아!" (오류 발생)
• 실제: 학생은 문제를 외우진 않았지만, 문제의 패턴과 풀이법을 확실히 배웠습니다. 그래서 매번 조금씩 다른 방식으로 문제를 풀었습니다.

💡 핵심 비유:

• 큰 AI (70 억 파라미터 이상): 시험지를 보고 정답을 통째로 외워버립니다. (CDD 가 잘 작동함)
• 작은 AI: 시험지를 보고 해법 (논리) 을 이해합니다. 정답을 통째로 외우진 않지만, 문제를 풀면 틀림없이 맞춥니다. 하지만 매번 풀이 과정이 조금씩 달라서 CDD 는 "아직 외우지 않았네"라고 착각합니다.

3. 왜 이것이 문제일까요? (실제 위험)

현재 AI 개발 트렌드는 **'LoRA'**라는 기술을 써서 적은 비용으로 모델을 학습시킵니다. 이는 마치 공부할 때 '필기노트'만 새로 쓴다는 뜻입니다.

• 작은 AI 에게 LoRA 로 학습을 시키면, **정답을 외우는 능력 (기억)**이 떨어집니다.
• 하지만 **문제를 푸는 능력 (학습)**은 여전히 생깁니다.
• CDD 는 '외우는 능력'만 감지하므로, 작은 AI 가 시험 문제를 훔쳐봤더라도 완전히 놓쳐버립니다. (이걸 '침묵하는 실패'라고 부릅니다.)

4. 더 좋은 대안은 무엇인가요?

이 논문은 CDD 대신 **확률 기반 방법 (Perplexity, Min-k% Prob)**을 추천합니다.

• 비유: CDD 가 "학생이 정답을 외웠나?"를 묻는다면, 이 방법들은 **"학생이 문제를 볼 때 얼마나 놀라지 않는가?"**를 봅니다.
• 시험 문제를 미리 본 학생은 문제를 볼 때 "어? 이거 본 적 있어!"라고 생각하며 놀라지 않습니다. (확률이 높음)
• 이 방법은 정답을 통째로 외우지 않아도, 문제를 한 번이라도 본 적이 있다면 바로 감지할 수 있습니다.

---

📝 한 줄 요약

"작은 AI 모델이 시험 문제를 훔쳐봤는지 확인하려면, '정답을 기계적으로 반복하는지'를 보는 건 실패합니다. 대신 '문제를 볼 때 얼마나 익숙한지 (확률)'를 보는 것이 훨씬 정확합니다."

이 연구는 AI 평가의 신뢰성을 위해, 특히 작은 모델을 다룰 때는 기존의 새로운 방법 (CDD) 을 맹신하지 말고, 더 단순하지만 확실한 방법 (확률 분석) 을 사용해야 한다고 경고합니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 데이터 오염 (Data Contamination): 언어 모델의 평가 데이터가 학습 세트에 포함되어 있는 현상으로, 벤치마크 결과의 신뢰성을 훼손합니다.
• 기존 방법의 한계 (CDD): Dong et al. (2024) 이 제안한 CDD (Contamination Detection via output Distribution) 는 모델이 특정 데이터를 암기했을 때, 샘플링된 출력들이 비정상적으로 유사해진다 (분포가 뾰족해짐, peakedness) 는 가정에 기반합니다. 이 방법은 7B(70 억) 파라미터 규모의 모델에서는 효과적이었으나, 소형 언어 모델 (Small LMs, 70M~410M 파라미터) 과 파라미터 효율적 미세 조정 (Parameter-Efficient Fine-tuning, PEFT) 환경에서의 유효성은 검증되지 않았습니다.
• 핵심 질문: 소형 모델과 LoRA 와 같은 효율적 미세 조정 기법에서는 데이터 오염이 발생하더라도 '출력 분포의 붕괴 (암기)'가 일어나지 않을 수 있으며, 이 경우 CDD 가 오염을 탐지할 수 있을까?

2. 방법론 (Methodology)

저자는 Pythia 모델 시리즈 (70M, 160M, 410M 파라미터) 를 사용하여 통제된 오염 실험을 수행했습니다.

• 데이터셋: GSM8K (수학), HumanEval (코드), MATH (경쟁 수학). 각 데이터셋의 일부 예제를 학습 데이터에 0, 1, 5, 10 번 반복하여 오염 시켰습니다.
• 실험 변수 (3 가지 축):
  1. 모델 크기: 70M, 160M, 410M.
  2. 미세 조정 방식:
     • LoRA (Rank 8, 약 0.1~0.2% 파라미터 학습)
     • LoRA (Rank 256, 약 4~6% 파라미터 학습)
     • 전체 미세 조정 (Full Fine-tuning, 100% 파라미터 학습)
  3. 학습 기간: 3 에포크, 20 에포크.
• 비교 대상 (Baseline):
  • CDD: 온도 샘플링 (Temperature Sampling) 과 Greedy 샘플 간의 편집 거리 (Edit Distance) 분포의 뾰족함 (Peakedness) 을 측정.
  • N-gram Overlap: 학습 코퍼스와 테스트 데이터 간의 3-gram 중복도 (Ground Truth 확인용).
  • Perplexity (PPL): 모델이 학습된 데이터에 대해 더 낮은 퍼플렉시티를 보이는지 확인.
  • Min-k% Prob: 가장 확률이 낮은 토큰들의 평균 로그 확률이 높은지 확인 (Shi et al., 2024).

3. 주요 발견 및 결과 (Key Findings & Results)

A. 핵심 발견: "기억 (Memorization) 이 없으면 탐지 불가"

• CDD 의 실패 조건: LoRA Rank 8 과 짧은 학습 기간 (3 에포크) 과 같은 저용량 미세 조정 환경에서는, 모델이 오염 데이터를 학습하여 손실 (Loss) 은 감소하지만 출력 분포가 붕괴되지 않습니다.
  • 이 경우, 모델은 매번 다른 답변을 생성하므로 CDD 의 '뾰족함 (Peakedness)' 점수는 0 에 가깝습니다.
  • 결과적으로 CDD 는 우연 수준 (Accuracy ~50%) 으로 탐지 실패를 보입니다.
• 기억 임계값 (Memorization Threshold): CDD 가 작동하려면 모델이 특정 답변을 암기 (Verbatim Memorization) 하여 출력 분포가 단일 점으로 수렴해야 합니다. 이는 모델 크기, 어댑터 Rank, 학습 기간의 상호작용에 의해 결정되는 임계값을 넘어설 때만 발생합니다.

B. 확률 기반 방법 (Probability-based Methods) 의 우월성

• 일관된 성능: Perplexity 와 Min-k% Prob 는 모든 실험 조건에서 CDD 를 압도적으로 능가했습니다.
• 저용량 환경에서의 성공: LoRA Rank 8 과 같은 효율적 미세 조정 환경에서도 모델이 데이터를 '학습'하면 내부 확률 분포가 변하기 때문에, CDD 가 실패하는 조건에서도 이 방법들은 오염을 성공적으로 탐지했습니다.
• 데이터: 27 가지 실험 조건 중 CDD 는 5 개 조건에서만 우연 이상을 보인 반면, 퍼플렉시티와 Min-k% Prob 는 각각 24 개, 25 개 조건에서 우연 이상을 보였습니다.

C. 학습 손실 (Training Loss) 과 탐지 가능성의 괴리

• 학습 손실이 감소한다는 것은 모델이 데이터를 '학습'했음을 의미하지만, 이것이 반드시 '암기 (출력 분포 붕괴)'를 의미하지는 않습니다.
• CDD 는 학습 자체를 탐지하는 것이 아니라, 출력 분포의 붕괴를 탐지하는 것이므로, 손실이 낮아도 CDD 는 무작위 수준에서 작동할 수 있습니다.

D. 도메인 및 규모에 따른 영향

• 모델 크기: 모델이 클수록 (410M) 암기가 더 쉽게 일어나 CDD 성능이 향상되지만, LoRA Rank 8 과 같이 학습 용량이 제한되면 모델 크기가 커도 CDD 는 실패합니다.
• 도메인: 수학 (GSM8K), 코드 (HumanEval), 경시 수학 (MATH) 모두에서 동일한 패턴이 관찰되었습니다.

4. 주요 기여 (Key Contributions)

1. CDD 의 한계 규명: 소형 언어 모델 (70M~410M) 과 파라미터 효율적 미세 조정 (LoRA) 환경에서 CDD 가 오염을 탐지하지 못하는 '침묵하는 실패 (Silent Failure)' 모드를 최초로 규명했습니다.
2. 기억 임계값의 발견: 오염 탐지 가능성이 모델의 학습 용량 (파라미터 수) 과 학습 시간에 의해 결정되는 '임계값'을 가짐을 증명했습니다.
3. 대안 제시: 소형 모델의 오염 탐지에는 출력 분포 기반 방법 (CDD) 보다 확률 기반 방법 (Perplexity, Min-k% Prob) 이 훨씬 신뢰할 수 있음을 입증했습니다.

5. 의의 및 시사점 (Significance)

• 실무적 경고: 현재 모델 적응의 표준이 되어가는 LoRA 와 같은 파라미터 효율적 미세 조정을 사용할 때, CDD 를 단독으로 사용하여 데이터 오염을 검증하는 것은 위험합니다. 오염이 존재함에도 CDD 는 이를 탐지하지 못해 잘못된 신뢰를 줄 수 있습니다.
• 방법론적 전환: 소형 언어 모델을 감사 (Audit) 할 때는 모델의 내부 확률 분포 (Perplexity 등) 를 접근할 수 있는 방법이 필요하며, 단순한 텍스트 샘플링만으로는 부족할 수 있음을 시사합니다.
• 연구 방향: 기존 CDD 논문의 7B 모델에서의 성공적인 결과가 소형 모델로 일반화될 수 없음을 보여주며, 모델 규모와 미세 조정 전략에 따른 오염 탐지 메커니즘의 차이를 이해해야 함을 강조합니다.

결론

이 논문은 "기억 없으면 탐지 불가 (No Memorization, No Detection)" 라는 명제를 통해, 소형 언어 모델에서 데이터 오염 탐지를 위해 CDD 와 같은 출력 분포 기반 방법은 부적절하며, 모델이 데이터를 암기하여 출력을 고정화할 때만 작동함을 증명했습니다. 대신, 모델의 내부 확률적 신호를 활용하는 Perplexity나 Min-k% Prob가 소형 모델과 효율적 미세 조정 환경에서도 훨씬 강력하고 신뢰할 수 있는 대안임을 제시합니다.