기술 요약: 웹 규모 LLM 사전 학습 데이터의 서사적 콘텐츠 특성 규명

문제 정의

서사는 인간 의사소통의 근본적인 양식이자 대규모 언어 모델(LLM)의 주요 활용 사례임에도 불구하고, 웹 규모의 사전 학습 코퍼스 내 서사적 구성에 대한 연구는 여전히 미개척 영역으로 남아 있다. 기존 연구들은 품질, 독성, 주제 분포와 같은 차원에서 사전 학습 데이터를 조사해 왔으나, 서사 구조를 체계적으로 분석하지는 못했다. 이러한 공백은 매우 중요하다. 왜냐하면 현재의 데이터 큐레이션 관행은 출처(예: 도서, Reddit, 뉴스)를 서사적으로 균질한 것으로 취급하기 때문이다. 결과적으로, 큐레이션 팀이 인지하지 못한 상태에서 학습 혼합물(training mixtures)이 모델의 서사 노출을 불균형하게 감소시키거나 사건 구조 및 관점을 왜곡할 수 있다. 저자들은 서사적 특성이 현재의 관행으로는 측정하거나 고려되지 않는 방식으로 소스 및 주제 전반에 걸쳐 불평등하게 분포되어 있을 가능성이 높다고 상정한다.

방법론

저자들은 3조 토큰 규모의 개방형 사전 학습 코퍼스인 DOLMA를 사용하여 규모 있는 수준에서 서사 구조를 측정하기 위한 포괄적인 프레임워크를 제시한다. 이들의 접근 방식은 네 가지 주요 단계로 구성된다.

1. 이론적 프레임워크 및 주석 차원

서사 이론(Herman, 2011; Piper et al., 2021)에 기반하여, 저자들은 서사를 이진 분류가 아닌 연속적이고 다차원적인 구조로 정의한다. 이를 11개의 해석 가능한 차원으로 구체화하였으며, 세 가지 핵심 요소로 그룹화하였다:

• 에이전시(Agency, 5개 차원): 초점화(관점), 내부 감정, 내부 인지, 상태 변화, 갈등. 이들은 1~5점 리커트 척도로 평가된다.
• 설정(Setting, 4개 차원): 구체성, 시간적 접지(Temporal Grounding), 공간적 접지, 감각적 세부 사항. 이들 역시 1~5점 리커트 척도로 평가된다.
• 사건 관계(Event Relations, 3개 차원): 시간적 순서, 인과 관계, 사건 밀도(토큰당 사건 수). 이는 이벤트 트리거 탐지 및 관계 추출을 통해 도출된다.

2. 샘-플링 및 데이터 구축

웹 텍스트의 이질성을 해결하기 위해 저자들은 DOLMA로부터 4단계 샘플링 파이프라인을 개발했다:

1. 추출(Extraction): 약 5백만 개의 문서에서 약 1,700만 개의 3문장 구절을 추출한다.
2. 점수 매기기(Scoring): DeBERTa 기반의 이진 분류기를 사용하여 일관된 서사 콘텐츠를 필터링한다.
3. 주제 분류(Topic Classification): Common Crawl 소스에 WEBORGANIZER 분류기를 적용하여 주제 영역의 균형을 맞춘.
4. 층화 추출(Stratified Sampling): 두 가지 데이터셋을 생성한다:
   • 골드 데이터셋(Gold Dataset): 검증을 위해 인간 전문가가 수동으로 주석을 달은 400개의 구절.
   • NARRADOLMA: 증류(distillation) 파이프라인을 통해 라벨링된 약 3백만 개의 구절(약 78만 5천 개의 문서에 걸침)로 구성된 대규모 데이터셋.

3. 모델 개발: NARRABERT

인간의 능력을 넘어 규모 있게 주석을 달기 위해, 저자들은 "검증 우선(validation-first)" 워크플로우를 활용했다:

• LLM 라벨링: Claude Sonnet 4.6, Qwen3, Gemma4 세 가지 LLM을 인간의 주석과 비교하였다. Gemma4는 비용 효율성과 오픈 소스 가용성 덕분에 대규모 라벨링을 위해 선택되었다.
• 지식 증류(Knowledge Distillation): Gemma4가 라벨링한 5,000개의 구절을 사용하여 RoBERTa 기반의 분류기 쌍인 NARRABERT를 학습시켰다. 하나의 인코더는 9개의 리커트 척도 차원(에이전시 및 설정)을 회귀 작업으로 처리하고, 별도의 인코더는 사건 관계를 이진 분류 작업으로 처리한다.
• 검증: NARRABERT는 홀드아웃(held-out) 인간 주석 세트에 대해 검증되었으며, 에이전시와 설정에 대해서는 LLM 교사와 유사한 일치 점수를 달성했으나, 클래스 불균형으로 인해 사건 관계에 대해서는 다소 낮은 성능을 보였다.

4. 분석

저자들은 NARRABERT를 전체 NARRADOLMA 코퍼스에 적용하여 각 문서에 대한 12차원 서사 특징 벡터를 생성했다. 이들은 PCA(주성분 분석)를 사용하여 이 벡터들을 분석함으로써 지배적인 변이 모드를 식별하고, 다양한 소스와 주제에 따른 이러한 특징들의 분포를 조사했다.

주요 기여

1. 주석 프레임워크: 에이전시, 설정, 사건에 걸친 11개의 세밀한 서사 차원을 운영화한 이론 기반 프레임워크.
2. NARRABERT: 인간 및 LLM 주석 모두에 대해 검증된, 11개 서사 차원을 모두 예측할 수 있는 효율적인 분류기.
3. NARRADOLMA: 원칙적인 층화 파이프라인을 사용하여 DOLMA 코퍼스에서 샘플링된 약 3백만 개의 라벨링된 구절로 구성된 새로운 데이터셋.
4. 대규모 분석: 사전 학습 데이터의 서사 구조를 최초로 실증적으로 매핑하여, 서사가 단일 스칼라 양이 아니라 연속적이고 다차원적인 구조임을 밝혀냄.

결과

NARRADOLMA 분석을 통해 세 가지 핵심적인 실증적 발견을 얻었다:

1. 측정 가능성: 서사 구조는 극도로 이질적인 데이터 전반에 걸쳐 규모 있게 측정 가능하다.
2. 다차원성: 서사적 특성은 세 가지 해석 가능한 주성분(축)으로 공변한다:
   • 내면성(Interiority, PC1): 초점화, 감정, 인지에 의해 주도됨.
   • 접지된 사건성(Grounded Eventfulness, PC2): 상태 변화, 갈등, 사건 밀도, 시간적/공간적 접지에 의해 주도됨.
   • 세계관 질감(Storyworld Texture, PC3): 구체성, 감각적 세부 사항, 공간적 접지에 의해 주도됨.
3. 불균등한 분포: 이러한 서사적 특성은 소스나 주제에 따라 균등하게 분포되어 있지 않다.
   • 소스 변이: Reddit이나 Gutenberg와 같은 소스는 내면성은 높지만 다른 차원은 낮으며, Wikipedia나 범죄/법률 분야는 접지된 사건성은 높지만 내면성은 거의 나타나지 않는다.
   • 주제 변이: 음식 및 다이닝, 여행과 같은 주제는 세계관 질감이 높게 나타나는 반면, 소프트웨어 및 금융은 낮게 나타난다.
   • 내부 다양성: 서사가 풍부한 카테고리(예: Reddit, 문학)는 높은 내부 분산을 보이는데, 이는 소스 수준의 라벨이 서사적 다양성을 포착하기에는 너무 거칠다는 것을 의미한다. 특정 "서사적" 소스의 가중치를 높이는 것이 모든 서사적 특성을 균등하게 증가시키지는 않는다.

의의 및 주장

본 논문은 서사 구조가 품질 및 주제 분포와 같은 기존의 축을 보완하는, 측정 가능하고 다차원적인 속성으로 취급되어야 한다고 주장한다. 저자들은 현재의 데이터 큐레이션 관행이 너무 거칠다고 주장하며, 소스 수준에서의 결정(예: 어떤 코퍼스를 포함할 것인가)은 해당 소스 내에 존재하는 서사적 다양성을 고려하지 못한다고 지적한다.

프레임워크, 데이터셋, 모델을 제공함으로써, 본 연구는 다음과 같은 토대를 마련한다:

• 데이터 구성이 서사 추론 작업에 어떻게 영향을 미치는지 이해함.
• 특정 학습 혼합물과 연결하여 LLM 스토리텔링의 "창의성 결핍" 문제를 조사함.
• 사전 학습의 서사적 구성을 모델의 다운스트림 능력과 연결하는 인과 관계를 확립하기 위한 미래의 통제된 실험(예: RegMix 사용)을 수행함.

저자들은 자신들의 주장이 인과적이라기보다 기술적(characterize)이라는 점을 명시하며 겸허한 태도를 유지한다. 즉, 서사 구조를 특성화하고 매핑하지만, 아직 모델의 행동과 직접적인 인과 관계를 확립하지는 않았으며, 이를 향후 연구 과제로 남겨두었다. 또한, 샘로링의 층화된 특성(원래의 DOLMA에 비해 서사적 콘텐츠가 과잉 대표됨)과 시간적 순서와 같은 특정 차원을 주석 다는 것의 본질적인 어려움을 한계점으로 인정하였다.