A Comparative Analysis of LLM Memorization at Statistical and Internal Levels: Cross-Model Commonalities and Model-Specific Signatures

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (LLM) 의 성능은 급격히 향상되었으나, 모델이 학습 데이터를 얼마나, 어떻게 '암기 (Memorization)'하는지에 대한 이해는 여전히 부족합니다.
• 문제점:
  • 대부분의 기존 연구는 사전 학습 데이터 (Pre-training data) 에 대한 접근이 제한되어 단일 모델 시리즈 (예: GPT-Neo 만 분석) 에 집중하는 경향이 있습니다.
  • 이로 인해 관찰된 현상이 특정 모델에 국한된 것인지, 아니면 LLM 전반에 적용되는 보편적인 법칙인지 구분하기 어렵습니다.
  • 데이터 접근성 문제로 인해 다양한 모델 계열 간의 비교 분석이 이루어지지 못했습니다.
• 목표: 사전 학습 데이터가 공개된 다양한 모델 계열을 수집하여, 통계적 (Statistical) 과 내부적 (Internal) 수준에서 암기 현상의 공통점 (Commonalities) 과 모델별 고유 특징 (Model-Specific Signatures) 을 규명하는 것입니다.

2. 연구 방법론 (Methodology)

• 데이터 및 모델:
  • 6 개 모델 계열, 총 20 개 모델 분석: Pythia, OpenLLaMA, StarCoder, OLMo1/2/3.
  • 규모: 1B(10 억) 파라미터에서 32B(320 억) 파라미터까지, 학습 토큰 수는 수십 억에서 수조 (Trillion) 에 이릅니다.
  • 데이터: 각 모델의 공개된 사전 학습 코퍼스 (The Pile, Dolma, The Stack 등) 에서 30 만 개의 시퀀스를 샘플링하여 다양한 도메인 (코드, 수학, 일반 텍스트 등) 을 포괄합니다.
• 분석 수준:
  1. 통계적 수준 (Statistical Level):
     • 암기 점수 (Memorization Score): 입력 컨텍스트에 대해 모델이 학습 데이터를 얼마나 정확히 재생성하는지 측정 (Carlini et al., 2021b 정의 준수).
     • 압축 비율 (Compression Ratio): 전체 암기 시퀀스를 재생성하는 데 필요한 최소 컨텍스트 토큰 수를 분석하여 암기의 '견고함'을 측정.
     • 분포 분석: 모델 크기, 학습 데이터 크기, 도메인 (구조적/비구조적/자유 텍스트), 토큰 빈도수와의 상관관계 분석.
  2. 내부적 수준 (Internal Level):
     • 노이즈 주입 (Noise Injection): 잔여 스트림 (Residual Stream) 에 가우시안 노이즈를 주입하여 암기된 시퀀스가 노이즈에 얼마나 민감한지 (Robustness) 분석.
     • 중간 레이어 디코딩 (Logit-Lens): 은닉 상태 (Hidden State) 를 통해 각 레이어에서 토큰 생성 확률이 어떻게 변화하는지 관찰.
     • 어텐션 헤드 제거 (Attention Head Ablation): 특정 어텐션 헤드를 제거했을 때 생성된 시퀀스가 원본과 얼마나 달라지는지 측정하여 '암기 중요 헤드 (Memorization-Important Heads)'를 식별.

3. 주요 기여 및 발견 (Key Contributions & Results)

A. 통계적 수준 (Statistical Level)

• 모델 간 공통점 (Cross-Model Commonalities):
  • 로그 - 선형 스케일링: 모델 파라미터 크기가 커질수록 암기 비율 (Memorization Rate) 이 로그 - 선형 (Log-linear) 방식으로 증가합니다.
  • 높은 압축성: 암기된 시퀀스는 본질적으로 매우 압축되어 있습니다. 원본 토큰의 50% 미만을 사용해도 동일한 암기 출력을 얻을 수 있습니다.
  • 빈도 및 도메인 분포: 대부분의 모델에서 암기된 시퀀스는 높은 빈도의 토큰과 구조적 텍스트 (코드, 수학 등) 에서 많이 발생합니다. 하지만 모델 크기가 커질수록 자유 텍스트 (Free-text) 에 대한 암기 비율이 증가합니다.
• 모델별 고유 서명 (Model-Specific Signatures):
  • 학습 데이터의 결정적 역할: 모델의 능력 (Capacity) 이 높다고 해서 암기 비율이 무조건 높은 것은 아닙니다. StarCoder(코드 중심) 는 약 10% 의 높은 암기 비율을 보인 반면, OLMo1 은 상대적으로 낮았습니다. 이는 특정 사전 학습 코퍼스의 특성이 암기율을 지배함을 의미합니다.
  • 압축 깊이 (Depth) 의 한계: 모델 크기가 커지면 암기 용량 (Width) 은 증가하지만, 시퀀스를 얼마나 '단단히' 압축하는지 (Depth) 는 일정 수준 (예: 7B~13B 사이) 에서 정체되는 현상이 관찰되었습니다.

B. 내부적 수준 (Internal Level)

• 모델 간 공통점:
  • 노이즈 제거 (Denoising) 능력: LLM 은 노이즈가 주입되어도 초기 레이어의 손상을 후기 레이어에서 보정하는 일반적인 노이즈 제거 능력을 보입니다.
  • 암기 시퀀스의 민감성: 그러나 암기된 시퀀스는 비암기 시퀀스보다 노이즈에 훨씬 더 민감합니다. 이는 암기가 특정 민감한 계산 경로를 의존하고 있음을 시사합니다.
  • 공통 헤드의 존재: 도메인 간에 공통적으로 중요한 어텐션 헤드가 존재하며, 전체 도메인의 90% 이상에서 중요한 역할을 하는 소수의 '핵심 헤드'가 존재합니다.
• 모델별 고유 서명:
  • 구조적 지문 (Structural Fingerprint): 중요한 헤드의 레이어별 분포는 모델 계열 (Family) 내에서 매우 유사하지만, 계열 간에는 크게 다릅니다. 이는 각 모델 계열의 고유한 학습 레시피 (데이터, 아키텍처, 훈련 알고리즘) 가 암기 구조를 형성함을 의미합니다.
  • 두 단계 메커니즘: 초기 레이어에서 암기 핵심 특징이 준비되고, 후기 레이어에서 이를 활성화하여 최종 출력을 생성하는 두 단계 메커니즘이 관찰되었습니다.

4. 연구의 의의 및 결론 (Significance & Conclusion)

• 보편적 이해의 정립: 단일 모델 분석을 넘어 다양한 모델 계열을 비교함으로써, LLM 의 암기 현상이 단순한 우연이 아닌 통계적 법칙과 내부 구조적 메커니즘을 따르는 것을 입증했습니다.
• 안전성 및 프라이버시: 암기된 데이터가 모델의 특정 내부 경로 (민감한 헤드) 에 의해 처리된다는 발견은, 학습 데이터 유출 (Privacy/Copyright) 을 방지하거나 탐지하는 메커니즘 개발에 중요한 통찰을 제공합니다.
• 모델 설계의 시사점: 모델의 '암기 구조'는 학습 데이터와 훈련 방식에 의해 결정된다는 점은, 원하지 않는 암기를 줄이거나 특정 지식을 효과적으로 주입하기 위한 모델 설계 전략 수립에 기여합니다.

요약: 본 연구는 LLM 의 암기 현상이 모델 크기와 무관하게 일정한 통계적 경향성을 보이지만, 구체적인 내부 메커니즘 (헤드 분포, 노이즈 민감도) 은 모델 계열마다 고유한 '지문'을 가진다는 것을 규명했습니다. 이는 LLM 의 기억 메커니즘에 대한 포괄적이고 근본적인 이해의 토대를 마련했습니다.