기술 요약: LLM의 암기 현상에 대한 성향 인지적 평가 (A Propensity-Aware Evaluation of Memorization in LLMs)

문제 정의

대규모 언어 모델(LLM)이 저작권이 있는 저작물이나 민감한 개인 식별 정보를 포함한 학습 데이터를 재현한다는 사실은 광범위하게 문서화되어 왔다. 그러나 기존의 암기 평가 방식은 주로 능력(capability), 즉 모델이 적대적 공격(예: 접두사 공격, 멤버십 추론 또는 자원 참조 프롬프트)을 통해 학습 데이터를 재현하도록 강제될 수 있는지 여부에 집중한다. 여기에는 성향(propensity), 즉 모델이 일반적이고 비적대적인 사용 환경에서 자연스럽게 학습 데이터를 재현하는지에 대한 이해의 격차가 존재한다.

현재의 문헌들은 종-종 이 두 개념을 혼동한다. 능력 평가가 데이터 유출의 상한선을 설정하기는 하지만, 사용자가 적대적 유도 기법을 사용하지 않는 실제 배포 환경에서의 실질적인 위험을 과장할 수 있다. 또한, 기존의 비적대적 연구들(예: Aerni et al., 2024)은 폐쇄형 모델에 국한되거나, 직접적인 학습 데이터 비교보다는 웹 스니펫에 의존하거나, 일반적인 사용과 적대적 설정을 대조하지 못하여 분석의 정확도와 범위를 제한하는 경우가 많다.

방법론

저자들은 성향 인지적 암기 평가를 위한 프레임워크인 PROPME와 경량 추적 파이프라인인 SIMPLETRACE를 제안한다.

1. PROPME 프레임워크

PROPME는 서로 다른 두 가지 프롬프팅 시나리오를 대조하는 다층적 평가 접근 방식을 도입한다.

• 성향 설정 (Propensity Settings): 학습 데이터와 어휘적 중첩이 낮은, 그럴듯하고 현실적인 프롬프트(일반적 및 특정적 유형). 이는 모델의 자연스러운 데이터 유출 경향을 측정하는 것을 목표로 한다.
• 능력 설정 (Capability Settings): 학습 세트에서 추출된 시퀀스의 첫 50개 토큰을 조건으로 하는 접두사 공격(Prefix attacks). 이는 모델의 최대 데이터 재현 능력을 측정하는 것을 목표로 한다.

2. 성향 지표 변환 (Propensity Metric Transformation)

능력과 성향 사이의 차이를 정량화하기 위해 저자들은 새로운 지표 변환을 도입한다. 기본 지표 $f_b \in [0, 1]$ (예: 암기율), 성향 설정 $p$, 그리고 능력 설정 $c$가 주어졌을 때, 성향 인지 지표 $PM_{f_b}$는 다음과 같이 계산된다:

$$PM_{f_b}(M, x) = \frac{1}{2} \left( 1 + \frac{f_b^p(M, x) - f_b^c(M, x)}{f_b^p(M, x) + f_b^c(M, x)} \right)$$

(단, $f_b^p = 0$이면 $PM_{f_b} = 0$이다.)

이 변환은 다음과 같은 점수를 산출한다:

• 낮은 점수: 높은 능력과 낮은 성향을 나타냄 (모델이 강요받으면 유출할 수 있지만, 자연적으로는 거의 유출하지 않음).
• 높은 점수: 낮은 능력과 높은 성향을 나타냄 (강한 유도가 없어도 모델이 자발적으로 데이터를 유출함).
• 중립 점수 (0.5): 두 설정 간에 일관된 행동을 보임.

3. SIMPLETRACE 파이프라인

모델 생성물을 학습 코퍼스에 결정론적으로 귀속시키기 위해, 저자들은 infini-gram 엔진을 기반으로 한 경량 추적 파이프라인인 SIMPLETRACE를 개발했다. 확률적 탐지 방법과 달리, SIMPLETRACE는 학습 코퍼스에 대해 직접적인 검색을 수행한다. 파이프라인 단계는 다음과 같다:

1. 최대 스팬 추출 (Maximal Span Extraction): 생성물의 접미사를 반복 탐색하여 코퍼스 내에서 가장 긴 구절(verbatim prefix)을 찾는다.
2. 유니그램 희소성 필터링 (Unigram Rarity Filtering): 가장 희귀한 스팬만을 유지함으로써 불필요한 매칭을 걸러낸다.
3. 문서 검색 (Document Retrieval): 유지된 스팬에 대해 소스 문서를 검색하고, 매칭을 전체 원문(full raw), 전체 정규화(full normalized), 또는 부분 매칭(partial)으로 분류한다.
4. 스팬 병합 (Span Merging): 중복되는 스팬을 비중복 세그먼트로 합친다.

SIMPLETRACE는 평균 최장 스팬(ALS), 생성물 전체 매칭 비율(FMR), 평균 준-원문 재현율(NVR) 등의 지표를 계산한다.

4. 실험 설정

평가는 두 개의 완전 개방형 모델과 두 개의 데이터셋을 대상으로 수행되었다:

• 모델:
  • Comma: Common Pile 데이터셋으로 사전 학습된 단일 언어 영어 모델.
  • DFM Decoder: Comma를 기반으로 Common Pile과 덴마크어 Dynaword 데이터셋의 혼합물로 지속 학습(continual pre-training)된 모델.
• 데이터셋: Common Pile (영어, 약 460B 토큰) 및 Dynaword (덴마크어, 약 6.8B 토큰).
• 프롬프트: 각 100개의 샘플로 구성된 세 가지 프롬프트 세트(Generic, Specific, Prefix)를 생성하였으며, 성향 설정의 경우 낮은 중첩을, 능력 설정의 경우 높은 중첩을 보장하도록 설계하였다.

주요 결과

1. 능력 vs. 성향 격차

능력과 성향 사이에는 일관되고 상당한 격차가 존재한다.

• 접두사 공격은 모든 모델과 데이터셋에서 일반적 또는 특정적 프롬프트보다 훨씬 강력한 암기 신호를 유도했다. 예를 들어, Dynaword를 사용한 DFM Decoder의 경우, 접두사 공격 시 근-원문 재현율(NVR)은 0.036이었으나, 일반적 프롬프트에서는 0.001이었다 (36배 차이).
• 성향 점수는 전반적으로 낮게 유지되었다. 모델이 적대적 유도 하에서는 데이터를 재현할 능력을 보여주더라도, 일반적인 프롬프팅 조건에서는 드물게 발생했다.

2. 지속 학습의 영향

연구는 지속 학습이 이전 데이터의 암기를 줄일 수 있음을 관찰했다.

• DFM Decoder vs. Comma: Dynaword를 포함한 혼합물로 지속 학습된 DFM Decoder는 부모 모델인 Comma에 비해 원래의 Common Pile 코퍼스에 대한 암기도가 감소했다.
• 지표 변화: Verbatim(원문 그대로) 성향은 FMR에서 0.5에서 0.0으로 크게 떨어졌으나, Near-verbatim(준-원문) 성향은 더 작은 증가를 보였다. 이는 강한 원문 암기에서 약한 준-원문 패턴으로의 변화를 시사한다.
• 안정성: 암기 프로필은 DFM Decoder의 세 가지 학습 단계 전반에 걸쳐 안정적으로 유지되었으며, 이는 데이터 혼합 구성(Dynaword 2/3, Common Pile 1/3)이 추가적인 암기 증가 없이 Common Pile 콘텐츠의 접근성을 점진적으로 완화했음을 나타낸다.

3. 데이터셋 특성

• Common Pile (영어): 암기는 더 길고 국지적인 원문 파편(높은 ALS) 형태로 나타났다.
• Dynaword (덴마크어): 암기는 더 짧은 스팬을 생성하지만, 때때로 생성 수준의 완전한 재현(접두사 공격 시 높은 FMR)으로 이어졌다.

의의 및 주장

본 논문은 암기 감사(memorization audit) 시 **최악의 경우 추출 가능성(capability)**과 **통상적인 유출 성향(propensity)**을 모두 보고해야 모델의 동작을 종합적으로 이해할 수 있다고 주장한다.

• 위험 평가: 능력 평가(접두사 공격)에만 의존하는 것은 실제 사용 시나리오에서의 실질적인 데이터 유출 위험을 과장한다. 반대로, 성향에만 의존하는 것은 적대자가 타겟팅할 경우 데이터가 유출될 수 있는 모델의 잠재적 능력을 놓칠 수 있다.
• 법적 및 윤리적 준수: 저자들은 EU GDPR 및 EU AI 법과 같은 프레임워크가 보안 조치 및 리스크 관리에 대한 정기적인 테스트를 요구한다는 점을 강조한다. 일반적인 사용 환경에서의 성향을 평가하는 것은 예측 가능한 유출 위험에 대한 증거를 제공하여 준수 노력을 뒷받침한다.
• 학습 역학: 결과는 암기 능력이 고정된 것이 아님을 확인시켜 준다. 이후의 학습이 다른 데이터에 중점을 둘 때 이전 데이터의 암기가 감소할 수 있으며, 이는 데이터 혼합 구성이 암기 리스크를 관리하는 데 핵심적인 요소임을 시사한다.

저자들은 모델이 직접적으로 유도될 때 학습 데이터를 드러낼 수 있지만, 일반적인 비적대적 설정에서는 드물게 발생하며, 따라서 이 현상에 대한 미묘한 이해를 위해서는 성향 인지적 평가가 필수적이라고 결론짓는다.