기술 요약: 의미적 유사성의 관점에서 본 LLM 생성의 참신성(Novelty)

문제 정의

대규모 언어 모델(LLM)의 **생성 참신성(generation novelty)**을 평가하는 것은 학습 데이터 이상의 일반화 능력을 이해하는 데 매우 중요합니다. 그러나 기존의 평가 방법들은 다음과 같은 중대한 한계점을 가집니다:

1. 어휘적 편향(Lexical Bias): 전통적인 지표는 엄격한 텍스트 중첩(예: n-gram 비중첩)에 의존하며, 이는 패러프레이징(paraphrasing), 재구성(reformatting), 또는 문체적 변형을 감지하지 못해 의미적으로 재사용된 콘텐츠를 참신한 것으로 잘못 분류하는 오류를 범합니다.
2. 규모의 제약(Scale Constraints): 전체 사전 학습 코퍼스(pretraining corpora)를 대상으로 참신성을 분석하는 것은 계산적으로 불가능에 가깝기 때문에, 많은 연구가 광범위한 학습 분포를 무시한 채 선별된 도메인 특화 참조 세트에 의존합니다.
3. 개념적 모호성(Conceptual Ambiguity): "재현(reproduction)"(학습 데이터와 의미적으로 동일함)과 "구성(composition)"(내부적으로 일관되지만 의미적으로는 구별됨)을 구분할 수 있는 통일된 참신성의 정의가 부재합니다.

방법론

저자들은 사전 학습 코퍼스 규모에서 의미적 참신성을 측정하기 위한 3단계 프레임워크를 제안합니다. 이 접근 방식은 참신성을 의미적 검색 문제로 취급하며, 효율적인 정보 검색 파이프라인을 활용하여 모델 출력값을 전체 사전 학습 코퍼스와 비교합니다.

1. 개념적 정의

의미적 참신성은 LLM 생성물($y$)의 임베딩과 사전 학습 코퍼스 내 문서($C$)의 임베딩 사이의 최소 코사인 거리로 정의됩니다:
$$\text{Novelty}(y) = \min_{d \in C} (1 - \cos(\phi(y), \phi(d)))$$
여기서 $\phi$는 임베딩 함수입니다. 이 정의는 표면적 형태보다 콘텐츠 자체에 우선순위를 두어, 재현과 구성을 구분합니다.

2. 3단계 프레임워크

이 프레임워크는 데이터셋 규모로 작동하며 모델에 무관(model-agnostic)합니다:

• 1단계: 로컬 후보 풀 식별 (검색/Retrieval):
  각 생성물에 대해, 높은 잠재적 의미 중첩을 가진 상위-$n$개의 구절을 사전 학습 코퍼스에서 추출하는 조립적(coarse-grained) 랭커($R$)를 실행합니다. 이는 계산 효율적인 탐색 공간을 만들기 위한 고재현율(high-recall) 필터 역할을 합니다. 저자들은 이 단계에서 FAISS를 통해 인덱싱된 GIST 임베딩을 사용합니다.
• 2단계: 다중 스케일 의미적 재순위화(Multi-Scale Semantic Re-ranking):
  단거리 어휘 재사용과 장거리 구성적 참신성을 구분하기 위해, 생성물과 그 후보 풀을 다양한 크기($k$)의 청크(chunk)로 분해합니다. 고정밀 랭커($S$, 특히 ColBERTv2)는 각 청크와 해당 풀 사이의 최대 유사도를 계산합니다. 이 단계는 패러프레이징 및 문체 변화에 대한 견고성을 보장합니다.
• 3단계: 보정된 분포 정규화(Calibrated Distributional Normalization):
  원시 유사도 점수는 비선형적이며 시퀀스 길이 및 도메인 밀도와 같은 아티팩트에 민감합니다. 이를 완화하기 위해, 프레임워크는 인간 작성 베이스라인($H$)을 기준으로 모델 점수를 보정합니다.
  • 특정 청크 크기에 대해, 학습 코퍼스에 존재함이 보장된(인간이 작성한) 홀드아웃 텍스트의 중앙값 유사도인 "의미적 노이즈 플로어($\tilde{\mu}^{(k)}_H$)"를 계산합니다.
  • 최종 **보정된 유사도 점수(Calibrated Similarity Score)**는 모델의 원시 점수를 이 인간 베이스라인으로 나눈 비율입니다:
    $$\text{Calibrated Score}(k) = \frac{\text{Raw Similarity Score}}{\tilde{\mu}^{(k)}_H}$$
  • 점수가 $\approx 1$이면 모델의 학습 코퍼스 유사도가 인간 텍스트의 유사도와 비슷함(즉, 참신성이 비슷함)을 의미합니다. 결정적으로, 높은 점수는 학습 데이터와의 유사도가 높음을 나타내며, 이는 낮은 참신성을 의미합니다. 반대로, 낮은 점수는 학습 데이터로부터 더 많이 벗어났음을 나타내며, 따라서 더 높은 참신성을 의미합니다.

실험 설정

이 프레임워크는 SmolLM 및 SmolLM2 모델 제품군(360M 및 1.7B 파라미터, Base 및 Instruction-tuned 변체 모두 포함)에 적용되었습니다.

• 코퍼스: 이 모델들의 전체 사전 학습 코퍼스를 인덱싱하였습니다 (~20 TB의 임베딩).
• 베이스라인: 학습 세트에 포함되지 않은 Dolma 데이터셋의 인간 텍는 참신성 참조점으로 사용되었습니다.
• 태스크:
  • 개방형 생성(Open-ended generation): 컨텍스트가 있는 프롬프트 방식과 컨텍스트가 없는 방식으로 수행되었습니다.
  • 도메인 특화 벤치마크: GSM8K(수학), TruthfulQA(논리), OpenRewriteEval(재작성)을 적용하였으며, 참신성 신호가 환각(hallucination)에 의해 유도되지 않도록 엄격하게 정답 여부를 필터링하였습니다.

주요 결과

분석을 통해 세 가지 주요 통찰을 얻었습니다:

1. 장거리 재사용 패턴:
   모델은 이전에 보고된 어휘적 방법론보다 훨씬 더 긴 시퀀스에 걸쳐 사전 학습 데이터를 활용합니다. 패러프레이징된 콘텐츠의 경우 n-gram 중첩은 0으로 떨어지지만, 의미적 유사성을 살펴보면 모델이 수백 개의 토큰에 걸쳐 학습 데이터에서 발견되는 개념을 재현하는 경우가 많음을 알 수 있습니다.

2. 태스크 의존적 참신성:
   참신성은 도메인에 따라 체계적으로 변합니다.

   • 제약된 태스크 (예: GSM8K): 유효한 솔루션은 좁은 의미 공간을 가지므로, 증명을 정확하게 서술하는 방법이 제한되어 있어 높은 유사도 점수(낮은 참신성)를 보입니다.
   • 개방형 태스크 (예: TruthfulQA): 더 넓은 의미적 변동성을 허용하며, 결과적으로 낮은 유사도 점수(높인 참신성)를 나타냅니다.

3. 지시어 튜닝(Instruction Tuning)의 영향:
   지시어 튜닝은 "참신성 촉매제" 역할을 합니다.

   • 지시어 튜닝된 모델은 모든 도메인에서 베이스 모델보다 일관되게 **더 낮은 유사도 점수(더 높은 참신성)**를 보입니다.
   • 이러한 증가는 단순한 문체 변화가 아닙니다. 정답 여부를 필터링하더라도, 지시어 튜닝된 모델은 원시 사전 학습 데이터와 구성적으로 구별되는 답변을 생성합니다.
   • 규모 효과(Scale Effect): 특정 맥락에서 더 작은 모델(360M)이 더 큰 모델(1.7B)보다 더 참신한 것으로 나타났는데, 이는 더 큰 모델이 의미 공간 내에서 더 높은 "암기 용량"을 가질 수 있음을 시사합니다.

의의 및 주장

본 논문은 LLM의 일반화를 분석하기 위한 확장 가능하고, 해석 가능하며, 견고한 방법을 제공한다고 주장합니다.

• 암기 이상의 측정: Verbatim(축자적) 재현에 집중하는 멤버십 추론 공격이나 암기 탐지와 달리, 이 프레스크는 의미적 재사용의 정도를 측정하여 일반화의 연속적인 스펙트럼을 제공합니다.
• 스타일에 대한 견고성: 의미적 표현 공간에서 작동함으로써, 표면적 지표를 혼란스럽게 만드는 지시어 튜닝의 문체적 변형에 영향을 받지 않습니다.
• 재현 가능성: 저자들은 추가 연구를 위해 약 20 TB의 코퍼스 청크와 FAISS 인덱스를 공개하여 사전 학습 규모의 참신성에 대한 연구를 지원합니다.

저자들은 의미적 참신성 분석이 LLM이 실제로 무엇을 배우는지 해석하는 데 필수적인 전제 조건이라고 결론지으며, 지시어 튜닝이 단순히 스타일뿐만 아니라 모델의 근본적인 구성적 행동을 형성한다는 점을 강조합니다. 또한, 자신들의 참신성 측정치가 상대적이고 분포적인 지표이며, 특정 암기된 콘텐츠를 식별하거나 데이터 출처에 대한 법적 주장을 하기 위한 도구가 아님을 명시적으로 밝힙니다.