기술 요약: LogitTrace

문제 제기

대규모 언어 모델 (LLM) 은 AIME, Math500 과 같은 까다로운 벤치마크에서 자주 평가됩니다. 여기서 중요한 문제는 벤치마크 오염으로, 테스트 데이터나 그 변형이 학습 코퍼스 내에 존재하는 경우입니다. 이는 모델이 암기한 솔루션을 재현하면서도 추론하는 것처럼 보이게 하여 성능 지표를 과장하고 진정한 일반화 능력을 흐리게 만듭니다.

기존 탐지 방법은 주로 다음에 의존합니다:

1. 표면적 중첩 (Surface overlap): 어휘적 유사성 또는 정확한 완성 일치.
2. 완성 행동 (Completion behavior): 모델이 부분적 프롬프트에서 목표 텍스트를 재구성할 수 있는지 여부.
3. 최종 출력 통계: 퍼플렉시티 (perplexity), 출력 확률, 또는 분포적 일치.

이러한 접근법은 상당한 견고성 문제를 겪습니다. 벤치마크 항목이 재구성되거나 번역되거나 구조적으로 교란될 때, 표면적 신호는 급격히 저하되어 종종 단어 그대로의 중첩이 없어도 지속되는 오염을 탐지하지 못합니다.

방법론: LogitTrace

저자들은 LogitTrace(레이어별 로그이트 궤적) 를 제안합니다. 이는 최종 출력에만 의존하는 대신 네트워크 레이어 전반에 걸친 모델 의사결정의 시간적 역동성을 분석하여 오염을 탐지하는 프레임워크입니다.

핵심 개념

가설은 암기가 무엇이 답인지뿐만 아니라 어떻게 답이 형성되는지에 영향을 미친다는 것입니다. 오염된 예시들은 레이어를 거치며 특정 솔루션에 대해 **더 일찍 결정 (commitment)**하는 경향을 보이는 반면, 깨끗한 예시들은 더 점진적인 증거 누적을 보입니다.

기술 파이프라인

1. 표현 추출 (Logit Lens):

   • 주어진 입력 $x$에 대해, 각 레이어 $\ell$에서의 모델의 은닉 상태 $h^{(\ell)}$를 언임베딩 행렬 ($W_U$) 을 통해 투영하여 어휘 분포 $p^{(\ell)}$를 얻습니다.
   • 수치 추론에 초점을 맞추고 있으므로, 분포는 숫자 토큰 ($0-9$) 으로 제한됩니다.
   • 각 레이어에 대해 저자들은 다음을 계산합니다:
     • 숫자 확률 $p^{(\ell)}(d)$.
     • 숫자 엔트로피 $H^{(\ell)}$.
     • 최대 숫자 확률 $m^{(\ell)}$.
     • 이러한 지표들의 1 차 시간적 차이 ($\Delta$).

2. 특성 구성:

   • 이러한 지표들은 $C=24$개의 채널 (12 개의 원시 특성 + 12 개의 차이 특성) 과 $T$개의 레이어 수를 가진 다중 채널 시퀀스 궤적 $X \in \mathbb{R}^{C \times T}$를 형성합니다.
   • 이 궤적은 모델이 입력을 처리함에 따라 특정 숫자에 대한 선호도가 어떻게 진화하는지 포착합니다.

3. 탐지 모델:

   • 경량 **1D 합성곱 신경망 (CNN)**이 이러한 궤적을 "오염됨" 또는 "깨끗함"으로 분류하도록 훈련됩니다.
   • 아키텍처에는 ReLU 활성화, 전역 평균 풀링, 이진 분류기 헤드가 포함된 세 개의 합성곱 레이어가 포함됩니다.
   • 탐지기는 운영 오염 데이터셋 (예: 오염된 AIME 1983–2024 대 깨끗한 AIME 2025) 에서 훈련되며 평가 중에는 고정됩니다.

주요 기여

1. LogitTrace 프레임워크: 표면적 단계를 넘어 레이어별 로그이트 궤적에서 오염 관련 의사결정 역동성을 식별하는 탐지기의 도입.
2. 초기 결정 패턴: 깨끗한 예시에 비해 오염된 예시들이 레이어를 거치며 일관되게 더 일찍 답에 결정하는 것을 경험적으로 입증. 이는 재구성, 번역, 교란 하에서도 견고하게 유지되는 신호입니다.
3. 제어된 인과적 증거: LoRA 주입 실험을 통한 검증. 다양한 LoRA 순위로 목표 샘플에 모델을 미세 조정함으로써, 저자들은 반복적인 노출이 자연적으로 오염된 예시에서 관찰된 것과 동일한 궤적 패턴을 유도하며, 탐지기의 신뢰도 점수가 미세 조정의 강도에 따라 단조 증가함을 보여줍니다.

실험 결과

이 방법은 네 가지 텍스트 분포 (원본, 재구성, 번역, 교란) 에 걸쳐 네 가지 오픈 소스 LLM(Qwen-2.5-7B, Qwen-2.5-Math-7B, Llama-3.1-8B, Qwen-3-8B) 에서 평가되었습니다.

• 견고성: 완성 기반 베이스라인 (예: 정확한 일치, TS-Guessing) 은 재구성되거나 번역된 입력에서 오염 탐지율이 20% 미만으로 떨어지는 반면, LogitTrace 는 높은 탐지율을 유지했습니다 (예: 재구성된 Qwen-2.5-7B 에서 63.1% 대 베이스라인의 16.7%).
• 거짓 양성: LogitTrace 는 종종 깨끗한 재구성 입력을 오염된 것으로 잘못 라벨링하는 분포 기반 방법 (예: 퍼플렉시티 또는 출력 분포) 에 비해 깨끗한 샘플에서 거짓 양성을 크게 줄였습니다.
• Ablation 연구:
  • 레이어 깊이: 신호는 초기에 나타납니다; 처음 1/3 의 레이어를 사용하면 F1 점수가 약 68% 였으며, 전체 깊이를 사용하면 약 95% 를 달성했습니다.
  • 아키텍처: 1D-CNN 은 특히 낮은 거짓 양성률 (Transformer 의 16.67% 대비 5.56%) 을 유지하는 측면에서 MLP 및 Transformer 베이스라인을 능가했습니다.
• 외부 일반화: MMLU 수학 하위 집합 (zero-shot) 에 적용되었을 때, LogitTrace 는 샘플의 약 95% 를 "보인 것과 유사함 (seen-like)"으로 식별했습니다. 이 그룹은 "보지 않음 (not-seen)" 그룹에 비해 모델 성능이 현저히 높았습니다 (Top-1 정확도 +0.33), 이는 탐지기가 진정한 친숙함을 포착함을 시사합니다.

중요성과 주장

이 논문은 LogitTrace 가 표면적 중첩과 최종 출력 신뢰도를 넘어선 증거를 제공한다고 주장합니다. 모델의 내부 역동성을 분석함으로써, 이는 암기 유사 행동을 연구하기 위한 더 견고한 렌즈를 제공합니다.

• 인과적 연결: LoRA 주입 실험은 궤적 패턴이 표면적 인공물이 아니라 모델이 학습 데이터에 노출된 결과임을 보여주는 통제된 인과적 증거를 제공합니다.
• 실용적 유용성: 이 프레임워크는 재구성이나 번역으로 인해 표준 탐지 방법이 실패하는 시나리오에서 벤치마크 오염을 재평가하기 위한 도구를 제공합니다.
• 한계: 저자들은 LogitTrace 가 실제 학습 코퍼스를 사용할 수 없으므로 운영 레이블에 의존하며, 중간 레이어 표현에 대한 접근이 필요하여 최종 출력만 노출하는 폐쇄형 소스 모델의 적용을 제한한다고 지적합니다. 또한, 현재 구현은 수치 추론에 초점을 맞추고 있으며, 개방형 작업으로 확장하려면 새로운 특성 정의가 필요합니다.