1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 에서의 암기 (Memorization) 현상은 널리 연구되고 있지만, 이를 격리하고 제어하는 것은 여전히 어렵습니다.

• 현재의 한계: 기존 연구들은 대부분 사후 분석 (Post-hoc) 에 의존합니다. 이미 훈련된 모델에서 암기된 내용을 탐지하거나, 훈련 데이터와 평가 데이터의 중첩을 분석하는 방식입니다.
• 근본적 문제: 이러한 접근법은 모델의 아키텍처, 학습 데이터, 최적화 과정 등 다른 요인들과 암기 효과를 분리해 내지 못합니다. 즉, 모델의 행동 차이가 암기 때문인지 다른 요인 때문인지 인과 관계를 규명하기 어렵습니다.
• 필요성: 암기는 저작권 침해나 개인정보 유출과 같은 위험 요소일 수 있지만, 동시에 사실적 지식, 법적 조항, 의료 지시사항 등 정확한 재생이 필요한 상황에서는 필수적인 능력입니다. 따라서 암기를 단순히 관찰하는 것을 넘어, 실험적으로 조작 가능한 독립 변수로 만드는 프레임워크가 필요합니다.

2. 방법론 (Methodology: MEMORY DIAL)

저자들은 MEMORY DIAL이라는 새로운 훈련 프레임워크를 제안합니다. 이는 암기 압력 (Memorization Pressure) 을 단일 매개변수로 조절할 수 있게 합니다.

• 핵심 아이디어: 표준 교차 엔트로피 (Cross-Entropy) 손실과 온도 sharpening(강화) 된 목표 함수를 단일 매개변수 $\alpha \in [0, 1]$로 보간 (Interpolation) 합니다.
• 손실 함수 정의:
  $$L_{MD}(\theta; \alpha, \tau) = (1 - \alpha) L_{std}(\theta) + \alpha L_{mem}(\theta; \tau)$$
  • $L_{std}$: 표준 교차 엔트로피 손실.
  • $L_{mem}$: 온도 $\tau \in (0, 1]$ 를 사용하여 분포를 sharpen 한 손실. $\tau$가 작을수록 모델은 훈련 시퀀스에 대해 더 높은 확신 (High-confidence) 을 갖도록 강요받습니다.
  • $\alpha$: 메모리 다이얼 (Memory Dial). $\alpha=0$일 때 일반 훈련, $\alpha$가 증가할수록 훈련 데이터에 대한 암기 압력이 강화됩니다.
• 실험 설계 (Controlled Family):
  • 아키텍처, 훈련 데이터, 최적화 하이퍼파라미터를 모두 고정하고 오직 $\alpha$ 값만 변화시켜 모델 군 (Model Family) 을 생성합니다.
  • 이를 통해 관찰된 모든 행동 차이를 암기 압력의 결과로만 귀인할 수 있게 합니다.
• 데이터 처리: 평가 데이터를 '본 예제 (Seen, 훈련 시 주입됨)'와 '보지 못한 예제 (Unseen, 훈련에서 완전히 배제됨)'로 나누어 일반화 능력과 암기 능력을 동시에 평가합니다.

3. 주요 기여 (Key Contributions)

1. 제어 가능한 암기 프레임워크: 암기를 모델의 부수적 산물이 아닌, 실험적으로 조절 가능한 독립 변수로 승격시켰습니다.
2. 모델 군 생성: 아키텍처와 데이터가 동일하면서 오직 암기 압력만 다른 모델들을 생성하여, 혼란 변수를 배제하고 암기의 영향을 직접 관찰할 수 있는 토대를 마련했습니다.
3. 인과적 분석 도구: 기존 사후 분석의 한계를 극복하고, 모델이 무엇을, 언제 암기하는지에 대한 인과적 메커니즘을 규명하는 도구를 제공합니다.

4. 실험 결과 (Results)

GPT-2, DistilGPT2, TinyLLaMA, OPT(250M~27B) 등 6 가지 아키텍처와 5 가지 벤치마크 (ARC, BoolQ, PIQA, COPA, OpenBookQA) 를 통해 실험을 수행했습니다.

• 연속적이고 신뢰할 수 있는 제어:
  • $\alpha$가 증가함에 따라 본 예제 (Seen) 의 정확도는 단조 증가했습니다. 모든 모델 - 벤치마크 조합에서 양의 기울기를 보였습니다.
  • 반면, 보지 못한 예제 (Unseen) 의 정확도는 $\alpha$ 변화에 거의 영향을 받지 않고 안정적으로 유지되었습니다. 이는 암기 압력 증가가 일반화 능력을 해치지 않음을 의미합니다.
• 모델 크기의 영향:
  • 더 큰 모델 (예: OPT-27B) 일수록 $\alpha$ 변화에 더 민감하게 반응하여 암기 정확도가 급격히 증가했습니다. 이는 암기 제어 가능성이 모델 용량 (Capacity) 에 비례함을 시사합니다.
• 빈도수 효과:
  • 자주 등장하는 시퀀스는 드문 시퀀스보다 더 쉽게 암기되었습니다. $\alpha$가 증가할 때 빈번한 시퀀스의 NLL(음의 로그 가능도) 감소 폭이 더 컸습니다.
  • 흥미롭게도, 자연 발생적인 단일 발생 시퀀스 (단 한 번만 등장하는 데이터) 에서도 $\alpha$ 증가에 따라 NLL 이 감소하여, 이 메커니즘이 주입된 예제에 국한되지 않음을 확인했습니다.
• 생성 다양성 감소:
  • $\alpha$가 증가하면 모델의 출력 다양성 (Jaccard 유사도 기준) 이 감소하고, 반복적이고 결정론적인 재생 (Verbatim recall) 이 증가했습니다.
• 강건성:
  • 온도 $\tau$의 변화에 관계없이 핵심 패턴이 유지되었으며, 단일 온도 스케일링 교차 엔트로피만으로는 동일한 안정적 균형을 얻지 못했습니다.
  • 다국어 (XCOPA) 설정에서도 동일한 패턴이 관찰되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 이론적 의의: MEMORY DIAL 은 언어 모델이 '무엇을' 학습했는지, 그리고 '암기'와 '일반화'가 어떻게 상호작용하는지를 투명하게 분석할 수 있는 기초적인 도구를 제공합니다.
• 실용적 가치:
  • 위험 관리: 높은 $\alpha$ 설정은 민감한 데이터의 암기 위험을 증가시킬 수 있으므로, 프라이버시 보호 관점에서 주의가 필요합니다.
  • 필요한 암기: 반면, 종교적 텍스트, 법적 조항, 의료 지시사항 등 정확한 재생이 필수적인 분야에서는 의도적으로 높은 암기 압력을 적용하여 모델의 신뢰성을 높일 수 있습니다.
• 결론: 이 연구는 암기를 단순히 제거해야 할 결함이 아닌, 제어 가능한 설계 차원 (Design Dimension) 으로 재정의함으로써, 언어 모델의 행동과 한계를 더 깊이 이해하고 투명하게 배포하는 데 기여합니다.

요약: 이 논문은 언어 모델의 암기 현상을 통제하기 위해 MEMORY DIAL을 제안하며, 훈련 과정에서 암기 압력을 조절하는 단일 파라미터 ($\alpha$) 를 도입했습니다. 실험을 통해 이 방법이 일반화 능력을 해치지 않으면서 모델이 훈련 데이터를 얼마나 정확하게 암기하는지를 연속적으로 조절할 수 있음을 증명했습니다. 이는 언어 모델의 내부 동작을 이해하고, 특정 도메인 (법률, 의료 등) 에 맞춰 모델을 최적화하는 데 중요한 통찰을 제공합니다.