🤖 machine learning

A Prior-Aware Metric for Efficiently Distinguishing Memorization from Generalization in Large Language Models

이 논문은 거대 언어 모델에서 진정한 데이터 암기와 통계적으로 흔한 일반화 현상을 효과적으로 구별해내는 가볍고 학습이 필요 없는 지표인 "사전 인지 암기(Prior-Aware Memorization)"를 소개하며, 이전에 암기된 것으로 분류되었던 시퀀스의 상당수가 실제로는 흔한 패턴의 결과물임을 밝혀낸다.

원저자: Trishita Tiwari, Ari Trachtenberg, G. Edward Suh

게시일 2026-08-14

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Trishita Tiwari, Ari Trachtenberg, G. Edward Suh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑하고 수다스러운 로봇이 쓴 책들로 가득 찬 거대한 도서관을 걷고 있다고 상상해 보세요. 이 로봇은 거대 언어 모델(LLM)이라 불리며, 도서관에 있는 거의 모든 것을 읽었기에 이제 이야기를 쓰고, 질문에 답하며, 당신의 문장을 완성할 수 있습니다. 하지만 무서운 생각이 하나 듭니다. 만약 이 로봇이 단순히 똑똑하게 행동하는 것이 아니라, 도서관의 비밀 페이지들을 몰래 베껴서 당신에게 건네주고 있는 것이라면 어떨까요? 이것이 바로 '암기(memorization)'의 문제입니다. 만약 로봇이 개인의 이름, 비밀번호, 혹은 저작권이 있는 이야기를 유출한다면 이는 프라이버시와 저작권에 재앙이 될 것입니다.

오랫동안 과학자들은 로봇이 문장을 완벽하게 완성할 수 있다면, 그것은 그 문장을 학습 데이터에서 그대로 암기했기 때문이라고 생각했습니다. 하지만 여기 반전이 있습니다. 때때로 로봇이 문장을 완벽하게 완성하는 이유는 특정 문장을 암기했기 때문이 아니라, 그 문장이 누구나 추측할 수 있는 매우 흔하고 대중적인 구절이기 때문일 수도 있습니다. 마치 당신이 친구에게 "프랑스의 수도는..."이라고 물었을 때, 친구가 "파리"라고 대답하는 것과 같습니다. 친구가 반드시 어떤 비밀 목록에서 그 사실을 암기한 것이 아니라, 그것이 가장 흔한 답변이라는 것을 알고 있는 것이죠. 여기서 큰 질문이 생깁니다. 로봇이 비밀 페이지를 복사하고 있는 것인지, 아니면 단순히 흔한 패턴을 잘 맞히고 있는 것인지 어떻게 구별할 수 있을까요?

이것이 바로 이 논문의 연구자들이 해결하고자 했던 문제입니다. 그들은 로봇이 정말로 특정 비밀을 '암기'하고 있는 것인지, 아니면 일반적인 지식으로부터 '일반화'하고 있는 것인지를 확인하는 새롭고 가벼운 방법을 도입했습니다. 그들은 이 방법을 '사전 인지 암기(Prior-Aware Memorization)'라고 부릅니다. 이것은 마치 형사가 용의자가 특정 범죄를 저질렀는지, 아니면 단지 운 좋게 현장에 있었던 것뿐인지를 확인하는 것과 같습니다.

연구팀은 이 새로운 탐정 도구를 LLaMA와 OPT라는 두 유명한 로봇 두뇌에 테스트했습니다. 그 결과 놀라운 사실을 발견했습니다. 과학자들이 이전에 로봇이 비밀 데이터를 암기하여 유출하고 있다고 생각했던 사례들 중 대부분은 사실 잘못된 것이었습니다. 실제로, "유출된 비밀"처럼 보였던 시퀀스 중 55%에서 90% 사이는 로봇이 자연스럽게 학습한 흔한 통계적 패턴이었습니다. 심지어 데이터가 독특하고 희귀해야 하는 특별한 도전 과제에서도, "유출"로 간주된 것들의 약 40%가 흔한 패턴으로 밝혀졌습니다.

이 논문은 우리가 이 로봇들을 복제 혐의로 비난하는 방식을 재고해야 한다고 제안합니다. 로봇이 문장을 반복할 수 있다고 해서 그것이 반드시 훔친 것을 의미하는 것은 아닙니다. 그 문장이 세상에 얼마나 자주 등장하는지에 따라 다음에 올 말을 예측하는 데 매우 능숙한 것일 수도 있습니다. 그들의 새로운 지표는 '가짜 경보(false alarms)'를 걸러내는 데 도움을 주며, 로봇들이 비밀을 훔치는 복사꾼이라기보다 영리한 추측가에 더 가깝다는 것을 보여줍니다. 다만, 저자들은 이것이 자신들의 특정 테스트와 시뮬레이션에 기반한 것이며, 이것이 모든 숨겨진 비밀을 찾아내는 마법의 지팡이가 아니라 알려진 데이터를 감사하기 위한 방법임을 주의 깊게 명시하고 있습니다.

기술 요약: 대규모 언어 모델에서 암기(Memorization)와 일반화(Generalization)를 효율적으로 구별하기 위한 사전 인지적 지표(Prior-Aware Metric)

문제 정의
대규모 언어 모델(LLM)의 확산은 학습 데이터 누출, 특히 개인정보 보호, 보안 및 저작권 준수와 관련된 우려를 심화시켰습니다. 이러한 위험을 평가하는 데 있어 핵심적인 과제는 접두사 특이적 암기(prefix-specific memorization, 모델이 특정 학습 예시를 회상하는 것)와 일반화(generalization, 학습된 패턴에 기반하여 통계적으로 흔한 시퀀스를 생성하는 것)를 구분하는 것입니다.

"추출 가능한 암기(extractable memorization)"와 같은 기존 지표들은 높은 확률의 출력을 암기로 분류함으로써 이러한 현상들을 혼동하는 경우가 많습니다. 그러나 선행 연구(Carlini et al., 2022; Yu et al., 2023)에서 언급되었듯이, 높은 조건부 확률 $P(s|p)$ 는 특정 접두사-접미사 쌍 $p \parallel s$ 의 암기 때문이 아니라, 접미사 $s$ 의 통계적 유병성(예: "John Doe"와 같은 흔한 고유 명사)으로 인해 발생할 수 있습니다. Counterfactual Memorization(Zhang et al., 2023)은 특정 학습 시퀀스의 유무에 따른 모델 성능을 비교함으로써 원칙적인 해결책을 제시하지만, 평가하려는 모든 시퀀스에 대해 여러 베이스라인 모델을 재학습시켜야 하므로 대규모 환경에서는 계산 비용이 지나치게 높습니다.

방법론: 사전 인지적(Prior-Aware, PA) 암기
계산적으로 불가능한 counterfactual 접근법의 문제를 해결하기 위해, 본 연구는 가볍고 학습이 필요 없는 추론 전용 지표인 사전 인지적(PA) 암기를 도입합니다. 핵심 가설은 어떤 시퀀스가 진정으로 암기되었다면, 그 접미사가 단순히 통계적 흔함 때문에 많은 독립적인 접두사들 사이에서 높은 확률로 나타나는 것이 아니라, 해당 특정 학습 접두사와 강력하게 연관되어 있어야 한다는 것입니다.

이 지표는 시퀀스 $p \parallel s$ 가 PA 암기된 것으로 간-주되기 위한 두 가지 기준을 따릅니다:

추출 가능성(Extractability): 조건부 확률 $P(s | p; M)$ 이 임계값 $m$ 을 초과해야 합니다. 이는 모델이 주어진 접두사로부터 접미사를 그대로(verbatim) 생성할 수 있음을 보장합니다.
상대적 신념 비율(Relative Belief Ratio): 비율 $\frac{P(s | p; M)}{P(s; M)}$ $\frac{P ( s ∣ p ; M )}{P ( s ; M )}$ 이 임계값 $n$ $n$ 을 초과해야 합니다. 이 항은 통계적 흔함을 걸러내는 필터 역할을 합니다.
- $P(s | p; M)$ 은 표준 자기회귀 순방향 패스(auto-regressive forward passes)를 통해 계산됩니다.
- 데이터 분포 전체에서의 접미사의 주변 확률(marginal probability)을 나타내는 $P(s; M)$ 은 편향되지 않은 몬테카를로 추정기(Monte-Carlo estimator)를 사용하여 추정됩니다. 이는 학습 데이터 분포로부터 독립적이고 동일하게 분포된(i.i.d.) $c$ 개의 접두사 $q_i$ 를 샘플링하고 평균 가능도(average likelihood)를 계산하는 과정을 포함합니다: $\hat{v}_s = \frac{1}{c} \sum P(s | q_i)$ .

저자들은 이 추정기가 편향되지 않았으며, 샘플 수가 증가함에 따라 분산이 감소한다는 것을 증명함으로써, 재학습 없이도 주변 확률을 확장 가능한 방식으로 근사할 수 있음을 보여줍니다.

주요 기여

이론적 프레임워크: 본 논문은 베이즈 방식의 가능도 비율(likelihood ratio)을 사용하여 암기와 일반화의 구분을 공식화하며, $P(s)$ 또한 높다면 $P(s|p)$ 만으로는 암기에 대한 충분한 증거가 될 수 없다고 주장합니다.
확장 가능한 지표: Counterfactual Memorization의 효율적인 대안으로서 PA Memorization을 제안하며, 이를 통해 "leave-one-out" 재학습이나 학습 궤적(training trajectories)에 대한 접근 없이도 계산 효율성을 확보했습니다.
실증적 검증: 소규모 데이터셋에서 Counterfactual Memorization을 대상으로 PA Memorization을 검증하여 양의 상관관계(Pearson $r = 0.71$ )를 보여주었으며, 이후 Llama 및 OPT 제품군과 같은 사전 학습된 모델에 대규모로 적용하였습니다.

결과
저자들은 Llama 및 OPT 모델의 다양한 크기(125M에서 13B 파라미터 범위)와 시퀀스 유형(4-토큰 고유 명사 및 50-토큰 시퀀스)의 학습 코퍼스에 대해 PA Memorization을 평가했습니다.

기존 지표의 과대평가: 본 연구는 "암기됨"(높은 추출 가능성에 기반하여)으로 분류되었던 시퀀스 중 **55%에서 90%**가 PA 기준을 통과하지 못함을 발견했습니다. 이 시퀀스들은 특정 암기가 아닌 통계적 흔함에 의한 결과입니다.
모델 크기의 영향: 모델 크기가 커질수록, (추출 가능한 암기 시퀀스 대비) PA 암기로 분류되는 시퀀스의 비율이 일반적으로 감소합니다. 이는 모델이 커질수록 명시적인 암기보다는 흔한 패턴으로부터의 일반화를 통해 문언 그대로의 텍스트를 재현하는 능력이 향상됨을 시사합니다.
SATML 챌린지 데이터셋: 시퀀스가 학습 데이터에 단 한 번만 등장하는 "1-eidetic"임이 알려진 SATML 추출 챌린지 데이터셋에서도, 약 **40%**의 시퀀스가 암기가 아닌 통계적으로 흔한 것으로 식별되었습니다.
접두사 길이: 접두사가 길어질수록 PA 암기 시퀀스의 발견이 증가하지만, 짧고 매우 인기 있는 고유 명사의 경우 그 효과가 덜 뚜렷합니다.

의의 및 주장
본 논문은 그 결과가 LLM에서 암기를 정의하고 측정하는 방식에 대한 재평가를 요구한다고 주장합니다. 저자들은 시퀀스가 통계적으로 흔하다면 단지 높은 생성 확률만을 근거로 이를 암기라고 라벨링하는 것은 결함이 있다고 주장합니다. 사전 인지적 지표를 도입함으로써, 본 연구는 학습 데이터 누출을 감사하기 위한 더 정확하고 확장 가능한 도구를 제공합니다.

저자들은 PA Memorization이 알려진, 자연적으로 발생하는 접두사-접미사 쌍을 위해 설계된 **사후 감사 지표(post-hoc auditing metric)**임을 명시합니다. 이는 적대적 추출 경계(adversarial extraction bound)가 아니며, 알려지지 않은 레코드를 발견하거나 적응형 프롬프트 탐색(adaptive prompt search) 문제를 해결하려는 것이 아닙니다. 주요 기여는 현재 개인정보 보호 또는 저작권 위험으로 분류되는 상당 부분이 실제로는 모델의 일반화 능력에 의한 결과일 수 있음을 입증함으로써, LLM 배포 시 위험 평가에 대한 더 미묘하고 정교한 접근을 촉구하는 데 있습니다.

유사한 논문