기술 요약: 레지스터는 항상 중요하다: 언어 변이의 관점에서 본 LLM 사전 학습 데이터 분석

문제 제기

사전 학습 데이터 선별은 대규모 언어 모델 (LLM) 개발의 핵심 구성 요소입니다. 현재 연구는 대규모 웹 코퍼스의 품질 필터링에 집중하는 경향이 있으며, 종종 데이터셋을 이분법적 분류로 축소합니다. 즉, 품질 필터를 통과한 텍스트는 가치 있는 것으로 간주되고, 나머지는 무용하거나 해로운 것으로 간주되어 폐기됩니다. 그러나 특정 유형의 텍스트가 모델 성능에 어떻게 기여하는지에 대한 상세한 이해는 여전히 부족합니다. 기존 선별 방법은 단순한 휴리스틱, 품질 신호, 또는 LLM 기반 라벨링에 의존하는데, 이는 언어 변이의 미묘한 효과를 간과할 수 있습니다. 본 논문은 사전 학습 데이터로 사용될 때 다양한 레지스터(또는 장르) 가 LLM 성능에 미치는 영향을 이해하는 데 존재하는 공백을 해소합니다. 여기서 레지스터는 상황 간 언어 변이를 모델링하는 데 사용되는 코퍼스 언어학의 표준 개념입니다.

방법론

저자들은 특정 레지스터 클래스의 텍스트로 구성된 데이터셋을 사용하여 17 억 1 천만 파라미터 규모의 작은 생성 모델 (Llama 아키텍처) 을 학습시키는 제거 실험 (ablation study) 을 수행했습니다.

• 데이터 소스: 본 연구는 HPLT 버전 2.01 데이터셋, 특히 중복 제거된 영어 하위 집합을 활용했습니다.
• 레지스터 분류: 문서들은 CORE 레지스터 체계로 훈련된 XLM-RoBERTa-Large 기반의 멀티 레이블 분류기를 사용하여 레지스터 라벨이 할당되었습니다. 이 체계는 9 개의 주요 레지스터와 25 개의 하위 레지스터를 포함합니다.
• 실험 설계:
  • 개별 레지스터: 모델들은 주요 레지스터 (예: How-to-Instructions, Narrative, Opinion), 하위 레지스터 (예: News, Description), 그리고 하이브리드 클래스 (Instructive-Informational) 를 포함한 특정 레지스터 클래스에서 1000 억 토큰 (또는 더 작은 클래스의 경우 사용 가능한 모든 데이터) 으로 학습되었습니다.
  • 조합: 저자들은 단일 레지스터 또는 전체 데이터셋 학습보다 개선을 얻을 수 있는지 테스트하기 위해 성능이 우수한 개별 레지스터에서 균등하게 샘플링하여 결합된 데이터셋을 생성했습니다.
  • 베이스라인: 비교는 전체 HPLT v2 중복 제거 데이터셋의 무작위 샘플로 학습된 모델과 FineWeb 데이터셋 샘플로 학습된 모델에 대해 수행되었습니다.
• 평가: 모델들은 HellaSwag, WinoGrande, PIQA, SIQA, OpenBookQA, ARC Easy, ARC Challenge, CommonsenseQA, MMLU 등 8 개의 표준 벤치마크에 걸쳐 제로샷 (zero-shot) 설정에서 LightEval 하네스를 사용하여 평가되었습니다.

주요 결과

본 연구는 사전 학습 데이터의 레지스터가 모델 능력에 상당하고 비균일한 영향을 미친다는 것을 보여줍니다.

• 성능에 미치는 레지스터 영향:

  • 고성능: How-to-Instructions (HI), Informational Description (dtp), Opinion (OP) 레지스터로 학습된 모델들이 단일 레지스터 모델 중 평균 정확도가 가장 높았습니다. 놀랍게도 Opinion(리뷰 및 의견 블로그 포함) 레지스터는 Narrative와 Informational Description을 능가하며 전체적으로 4 위를 기록했습니다.
  • 저성능: Lyrical (LY), Machine Translation (MT), *Informational Persuasion (IP)*과 같은 레지스터는 가장 낮은 성능을 보였습니다. 특히 News (ne) 하위 레지스터는 사전 학습의 일반적인 소스임에도 불구하고 가장 낮은 성능 중 하나를 기록했습니다.
  • 하이브리드: Instructive-Informational (HI-IN) 하이브리드 모델은 전체 HPLT v2 데이터셋으로 학습된 모델보다 우수한 성능을 보였으며, 이는 하이브리드 문서가 구성 레지스터 중 어느 하나보다 더 나은 성능을 산출하는 특성을 지니고 있음을 시사합니다.

• 작업별 강점:

  • How-to-Instructions는 물리적 추론 (PIQA) 과 문장 완성 (HellaSwag) 에서 탁월했으나, 세계 지식 벤치마크 (MMLU, CommonsenseQA) 에서는 부진했습니다.
  • Narrative는 사회적 상호작용 작업 (SIQA) 과 대명사 해결 (WinoGrande) 에서 성능을 향상시켰으나, 과학적 질문 (ARC Challenge) 에서는 어려움을 겪었습니다.
  • Opinion은 사회적 상황과 상식과 관련된 추론 작업 (WinoGrande, SIQA, CommonsenseQA) 에서 성능을 크게 향상시켰습니다.

• 조합 효과:

  • 전체 필터링되지 않은 데이터셋으로 학습된 모델이 단일 레지스터로 학습된 모델들보다 성능이 우수했지만, 특정 고성능 레지스터를 결합하면 추가적인 향상을 이끌어냈습니다.
  • Instructive-Informational, How-to-Instructions, Description, Opinion을 결합한 (HI-IN-HI-dtp-OP) 조합이 가장 높은 평균 정확도를 달성하여 전체 HPLT v2 및 FineWeb 베이스라인을 모두 능가했습니다.
  • 반면, Interactive Discussion이나 Spoken과 같은 레지스터를 고성능 조합에 추가하면 성능이 하락했는데, 이는 이러한 레지스터가 사용된 특정 벤치마크에 해로운 특성을 포함하고 있거나 더 효과적인 레지스터의 이점을 희석시킬 수 있음을 시사합니다.

중요성과 주장

본 논문은 사전 학습 데이터셋을 선별하고 레지스터가 LLM 성능에 미치는 영향을 조사하기 위해 레지스터 분류를 활용한 최초의 연구라고 주장합니다. 저자들은 다음과 같이 주장합니다:

1. 레지스터는 중요한 변수이다: 레지스터는 모델 변이를 설명하는 중요한 요소로, 모든 "고품질" 텍스트가 모든 작업에 동등하게 유익하다는 관념에 도전합니다.
2. 이분법적 필터링을 넘어선 접근: 연구 결과는 데이터 선별이 단순한 이분법적 품질 플래그를 넘어설 필요가 있음을 시사합니다. Opinion과 같은 특정 레지스터는 매우 유익하므로 포함을 고려해야 하며, News와 같은 다른 레지스터는 가정된 것보다 덜 효과적일 수 있습니다.
3. 전략적 데이터 선택: 상호 보완적인 강점을 가진 레지스터를 결합 (예: 물리적 추론을 위한 How-to-Instructions와 사회적 추론을 위한 Opinion) 하면 모델 성능에 큰 향상을 가져올 수 있으며, 이는 방대하고 선별되지 않은 웹 코퍼스로 학습된 모델들을 능가할 수도 있습니다.
4. 투명성: 본 연구는 기초 모델의 투명성을 높이기 위한 도구로 레지스터 분류를 사용할 것을 옹호하며, 연구자와 사용자가 학습 데이터의 언어적 구성과 그것이 모델 능력에 미치는 구체적인 영향을 이해할 수 있도록 합니다.

저자들은 주장에 대해 겸손한 태도를 유지하며, 실험이 영어로 제한되었고 사용된 벤치마크가 특정 레지스터 (예: Lyrical) 로 학습된 모델의 능력을 완전히 포착하지 못할 수 있음을 지적합니다. 그들은 이 작업을 코퍼스 언어학 프레임워크와 LLM 사전 학습 데이터 선별을 연결하는 초기 단계로 위치시킵니다.