Era-Aware Language Modeling: Training a Decoder-Only Transformer on a Balanced Gutenberg Corpus

기술 요약: 균형 잡힌 구텐베르크 코퍼스를 활용한 시대 인지형 언어 모델링

문제 정의
현재의 대규모 언어 모델(LLM)은 주로 현대 영어에 크게 치우친 웹 스크레이핑 코퍼스(예: Common Crawl)를 통해 학습된다. 이러한 시간적 편향은 학습 데이터의 역사적 구성이 모델의 생성 스타일에 어떤 영향을 미치는지 연구하는 능력을 제한한다. 더욱이, 자연적으로 발생하는 웹 코퍼스에서는 주제적 내용과 문체적 레지스터가 뒤섞여 있어, 주제와 독립적으로 '시대'(글이 쓰인 역사적 시기)가 모델의 행동에 미치는 구체적인 효과를 분리하여 파악하기 어렵다.

방법론
저자들은 프로젝트 구텐베르크(Project Gutenberg)에서 추출한 목적 기반의 시대 균형 코퍼스로부터 처음부터 학습된 소규모 디코더 전용 트랜스포머인 GutenbergLM을 제시한다. 방법론은 네 가지 주요 단계로 구성된다:

1. 코퍼스 구축 및 균형화:

   • 출처: 저자들은 전체 프로젝트 구텐베르크 RDF 카탈로그(78,672개 레코드)를 파싱하여, 영어로 작성된 62,497권의 도서를 필터링했다.
   • 시대 분류: 도서들을 저자의 출생 연도(또는 대체 수단으로서의 발행일)를 기준으로 세 가지 시대(초기: ≤1800, 중기: 1801–1900, 현대: >1900)로 계층화했다.
   • 균형 샘플링: '중기' 시대의 자연적 우세(원시 카탈로그의 69.3%)를 방지하기 위해, 저자들은 결정론적 시드 기반 샘플링을 수행하여 각 시대당 정확히 5,334권의 도서를 선택함으로써 완벽하게 균형 잡힌 16,002권의 코퍼스를 구성했다.
   • 중복 제거 및 정제: Jaccard 임계값 0.85의 MinHash와 Locality-Sensitive Hashing(LSH)을 사용하여 근접 중복 항목을 제거하여 15,509권의 고유 도서를 남겼다. 텍스트 정제에는 프로젝트 구텐베르크의 부가 정보(boilerplate) 제거, 인코딩 아티팩트 복구, 공백 정규화 작업이 포함되었다.
   • 분할: 스타일적 누출(leakage)이 발생하지 않도록 도서 단위의 계층적 분할(90% 학습, 5% 검증, 5% 테스트)을 적용했다.

2. 토크나이저:

   • 학습 코퍼스 상에서 32,000개의 어휘량을 가진 SentencePiece BPE(Byte-Pair Encoding) 토크나이저를 학습시켰다.
   • 이 토크나이저는 zero out-of-vocabulary 토큰을 보장하는 바이트 수준의 폴백(fallback) 기능과 역사적 날짜 형식을 위해 조정된 숫자 분할 기능을 특징으로 한다.
   • 시대 조건부 생성을 활성화하기 위해 세 개의 명시적인 제어 토큰(<ERA_EARLY>, <ERA_MIDDLE>, <ERA_MODERN>)을 예약했다.

3. 모델 아키텍처:

   • 규모: LLaMA 스타일의 설계 선택을 따르는 109.5M 파라미터 규모의 디코더 전용 트랜스포머이다.
   • 구성 요소: 아키텍처는 12개 레이어, 768 차원의 모델 차원, 12개의 어텐션 헤드, RMSNorm, SwiGLU 피드포워드 네트워크, 그리고 RoPE(Rotary Position Embeddings)를 포함한다.
   • 최적화: 임베딩과 언어 모델링 헤드 간의 가중치 타이잉(Weight tying), 그래디언트 체크포인팅, 편향 없는 선형 레이어가 구현되었다.

4. 학습 절차:

   • 하드웨어: AWS EC2 인스턴스의 단일 NVIDIA A10G GPU (11 GB VRAM)를 사용했다.
   • 설정: 모델은 1.46 tỷ 개의 토큰(11,000 옵티마이저 스텝)에 대해 1 에포크 동안 학습되었다.
   • 기술: 파이프라인은 혼합 정밀도(BF16) 최적화, 코사인 학습률 감쇠를 적용한 AdamW, 그리고 GPU 적응형 배치 프리셋(유효 배치 크기 128)을 활용했다.

주요 결과

• 학습 효율성: 단일 에포크 실행은 13.12시간 만에 완료되었으며, 31,405 tokens/second의 처리량과 14.4 GB의 피크 GPU 메모리 사용량을 유지했다.
• Perplexity(혼란도): 모델은 최종 학습 손실 2.93, 검증 perplexity 25.6, 홀드아웃 테스트 perplexity 24.03을 달성했다. 학습 손실과 검증 손실 사이의 격차(0.316 nats)는 모델이 아직 강력한 과적합 상태에 있지 않음을 시사한다.
• 생성 지표: 테스트 세트에서 모델은 BLEU-4 0.093, ROUGE-L F1 0.189, BERTScore F1 0.837을 기록했다. 저자들은 낮은 n-gram 중첩 점수가 개방형 창의적 작업에서 전형적인 현상임을 언급하면서도, 높은 BERTScore가 의미적 타당성을 나타낸다고 설명했다.
• 질적 생성: 시대 조건부 생성은 제어 토큰이 명시적인 주제 프롬프트 없이도 모델을 특정 시대에 적합한 어휘, 구문 및 주제로 성공적으로 유도했음을 보여주었다. 예를 들어, <ERA_EARLY>는 고어체 법률/성서적 레지스터를 생성한 반면, <ERA_MODERN>은 현대적인 사회적 장면을 생성했다.

의의 및 한계
본 논문은 GutenbergLM을 웹 규모 데이터의 주제적 혼란 없이, 학습 코퍼스의 시간적 구성과 스타일적 행동 사이의 관계를 연구하기 위한 재현 가능한 참조점으로 위치시킨다.

저자들은 다음과 같이 겸허한 태도로 주장한다:

• 정밀도: 시대 분류는 거친 휴리스틱(저자 출생 연도)에 의존하므로, 경력 후기의 스타일 변화나 번역된 저작물을 반영하지 못할 수 있다.
• 평가 격차: 시대별 perplexity의 정량적 분석은 Modern 서브셋에 대해서만 기록되었으며, Early 및 Middle 서브셋에 대한 구체적인 정량적 지표는 본 보고서에 누락되어 있다.
• 학습 범위: 모델은 단 1 에포크 동안 학습되었다. 학습률 스케줄은 더 긴 호라이즌을 위해 구성되었으므로, 학습 연장을 통해 perplexity를 추가로 낮출 가능성이 있다.
• 규모: 본 연구는 단일 GPU 환경과 100M 미만의 파라미터 규모로 제한되지만, 저자들은 사용되지 않은 메모리 여유 공간이 더 큰 배치 크기나 컨텍스트 길이를 사용할 수 있음을 시사한다고 언급했다.

이 연구는 새로운 응용 프로그램이나 미래의 아키텍처적 변화를 제안하기보다는, 언어 모델링에서 '시대'라는 변수를 분리하기 위한 통제된 파이프라인을 구축하는 데 목적이 있다.