기술 요약: 역사적 텍스트에 대한 언어 모델 사전 학습

문제 정의

현대의 파운데이션 모델들은 일반적인 자연어 작업에서는 인상적인 성능을 보이지만, 역사적 설정에 적용될 때 심각한 편향을 겪습니다. 이들은 **룩어헤드 바이어스(lookahead bias, 앞서보기 편향)**를 보이는데, 이는 현대의 코퍼스로 학습된 모델이 의도치 않게 역사적 사건의 결과를 "알게" 되어, 기억된 사후 과잉 확신을 진정한 예견으로 착각하는 현상을 의미합니다. 또한, 이들의 언어적 분포는 현대의 문체 및 어휘 패턴에 치우쳐 있어, 역사적 맥락을 연구하기 위한 도구로서 부적합합니다.

이를 완화하려는 기존의 접근 방식들은 세 가지 주요 과제에 직면해 있습니다:

1. 데이터 희소성 및 품질: 현대의 웹 규모 코퍼스(예: Common Crawl)와 달리, 역사적 데이터는 제한적이며, 노이즈와 현대적 메타데이터가 포함된 OCR 스캔본에서 유래하는 경우가 많습니다.
2. 시간적 누출(Temporal Leakage): 사전 학습 중단 시점을 설정하더라도, 현대적 주석, OCR 아티팩트, 그리고 결정적으로 사후 학습(지시어 튜닝) 단계에서 현대 LLM이 생성한 합성 데이터가 시대착오적인 정보를 재도입함으로써 누출이 발생합니다.
3. 평가 불일치: 표준 벤치마크는 모델의 추론 능력 부족과 현대 언어 또는 맥락에 대한 생소함을 구분하지 못하며, 시간적 일관성을 엄격하게 테스트하는 데 실패합니다.

방법론

저자들은 1913년 이전의 영어 텍스트만을 사용하여 학습된 7.24B 파라미터 규모의 디코더 전용 트랜스포머(Llama 3 아키텍처 기반)인 TYPEWRITERLM을 소개합니다. 이 방법론은 누출이 제어된 파이프라인을 중심으로 구조화되어 있습니다:

1. 코퍼스 구축: TYPEWRITERCORPUS

• 규모 및 범위: 1700년부터 1913년까지를 다루는 540억 토큰 규모의 코퍼스입니다.
• 출처: 주로 하버드와 영국 도서관의 디지털화된 기관 도서(토큰의 97.7%)를 사용하였으며, 의회 담화(Hansard), 과학 논문(Royal Society), 법정 기록(Old Bailey), 문학 텍ato 등 큐레이션된 데이터셋을 보완하여 사용했습니다.
• 정제: OCR 아티팩트(예: 하이픈 오류, 단락 끊김), 현대적 메타데이터(소유권 스탬프, URL, HTML 엔티티), 편집 주석 등을 제거하는 엄격한 파이프라인을 통해 시간적 오염을 최소화했습니다.

2. 사전 학습

• 토크나이저: 현대적 어휘 오염을 방 피하기 위해 역사적 코퍼스 상에서 학습된 커스텀 BPE(Byte-Pair Encoding) 토크나이저(32k 어휘 사전)를 사용했습니다.
• 아키텍처: 7.24B 파라미터, 그룹 쿼리 어텐션(grouped-query attention), RMSNorm, 회전 위치 임베딩(rotary position embeddings), 8,192 토큰 컨텍스트 윈도우를 갖추고 있습니다.
• 학습: 약 140B 토큰에 대해 AdamW와 bfloat16 혼합 정밀도를 사용하여 2.59 에포크 동안 학습되었습니다.

3. 역사적 지시어 튜닝: 어휘적 근거 프레임워크

지시어 튜닝 과정에서 현대 정보가 재도입되는 것을 방지하기 위해, 저자들은 **어휘적으로 근거를 둔 지시어 튜닝(lexically grounded instruction tuning)**을 제안합니다.

• 제약 조건: 모델 응답의 모든 토큰은 반드시 소스 역사 텍스트에서 유도 가능하거나, 허용된 기능어(function words) 목록 내에 있어야 합니다. 이는 어휘, 문체 및 의미적 패턴의 시간적 일관성을 보존합니다.
• 데이터셋:
  • HISTORY-LIMA: 1,000개의 고품질 단일 턴 예시(및 1,030개의 멀티 턴 변형)로 구성되며, 응답은 1913년 이전 텍스트에서 그대로 가져오거나 어휘적으로 제약된 추출물입니다.
  • HISTORY-SELFINSTRUCT: 표준 파이프라인을 역전시켜 생성한 약 288k 쌍의 확장 데이터셋입니다. 고정되고 어휘적으로 근거가 명확한 역사적 응답을 조건으로 모델이 지시어를 생성합니다.
• 검증: 생성된 응답에 비준수 토큰이 포함되어 있는지 확인하는 엄격한 사후 검증기를 사용하여, 형태론적 정규화 및 OCR 교정은 복구된 형태가 소스에서 유도 가능한 경우에만 허용됩니다.

4. 평가: HISTORY-EVENT

저자들은 시간적 근거와 누출을 평가하기 위해 2,344개의 역사적 사건(1700~2025년)을 담은 벤치마크인 HISTORY-EVENT를 도입했습니다.

• 놀라움(Surprisingness): 사건 설명과 날짜가 제시되었을 때 모델의 퍼플렉시티(Bits-per-Byte)를 측정합니다. 성공적인 역사적 모델은 컷오프 이후의 사건에 대해 높은 "놀라움"(높은 퍼플렉시티)을 보여야 합니다.
• 회상 및 누출: 모델이 컷오프 이전의 사건을 회상할 수 있는지(정확성) 또는 의도치 않게 컷오프 이후의 사건을 알고 있는지(누출)를 테스트합니다.

주요 결과

일반적 능력

• 경쟁력 있는 성능: TYPEWRITERLM(7.24B)은 ARC-Challenge 및 HellaSwag과 같은 표준 벤치마크에서 더 작은 규모의 역사적 모델(예: Mr. Chatterbox, TimeCapsuleLLM)보다 우수한 성능을 보입니다.
• 지시 이행: 엄격한 어휘 제약에도 불구하고, 지시어 튜닝된 변체들은 필터링된 AlpacaEval 프롬프트에서 GPT-1900 대비 경쟁력 있는 승률을 달ability하며, IFEval에서 다른 역사적 모델들과 대등한 성능을 보입니다.
• 추론: 모델은 엄격한 역사적 컷오프에도 불구하고 ARC-Challenge에서 GPT2-XL과 대등한 수준의 유의미한 추론 능력을 보여줍니다.

시간적 일관성 및 누출

• 놀라움 패턴: 평탄한 시간대별 퍼플렉시티를 보이는 현대적 베이스라인(Llama-3.1-8B)과 달리, TYPEWRITERLM은 1913년 이후의 사건에 대해 퍼플렉시티가 급격히 증가하며, 이는 지식 컷오프가 학습된 분포에 반영되었음을 나타냅니다.
• 누출 탐지: 모델이 대체로 컷오프를 준수하지만, 평가는 TYPEWRITERLM과 다른 대규모 역사적 모델 모두에서 0.0%~0.6%의 컷오프 이후 사건 회상(누출)이 발생함을 보여주며, 이는 룩어헤드 바이어스를 완전히 제거하는 것이 여전히 어렵다는 것을 시사합니다.
• 벤치마크 민감도: 현대 벤치마크(HellaSwag)를 1800년대 문체로 재작성한 실험 결과, 현대 모델은 문체가 변할 때 성능이 크게 하락하는 반면, 역사적 모델은 문체 변화에는 더 강건하지만 주제 불일치에는 민감함을 보였습니다.

의의 및 기여

이 논문은 NLP 및 디지털 인문학 분야에 다음과 같은 세 가지 주요 기여를 주장합니다:

1. 데이터 제약적 사전 학습의 가능성 입증: 저자들은 대규모의 다양하고 방대한 웹 코퍼스가 유능한 모델을 만드는 데 반드시 필수적인 것은 아니라는 점을 입증하며, 정제된 제한된 역사적 데이터만으로도 경쟁력 있는 역사적 근거 모델(7B 규모)을 학습할 수 있음을 보여주었습니다.
2. 엔드 투 엔드 누출 완화: 이 연구는 사전 학습을 위한 엄격한 정제, 시대착오적 사후 학습을 방지하기 위한 어휘적 근거 지시어 튜닝, 그리고 시간적 무결성을 검증하기 위한 전용 평가 체계인 HISTORY-EVENT를 통해 모든 단계에서 누출을 제어하는 포괄적인 파이프라인을 도입했습니다.
3. 오픈 리소스 제공: 저자들은 투명한 연구를 지원하기 위해 TYPEWRITERLM(베이스 및 지시어 튜닝 버전 모두), TYPEWRITERCORPUS, 그리고 관련 데이터셋(HISTORY-LIMA, HISTORY-SELFINSTRUCT, HISTORY-EVENT)을 공개합니다.

이 논문은 이러한 모델들이 시간적 분포 변화, 추론과 암기 사이의 상호작용, 그리고 통시적 언어 변화를 연구하는 데 필수적인 도구임을 규정하며, 동시에 데이터 효율성과 역사적 세계관을 반영하는 모델의 사회적 위험을 다루기 위한 향후 연구가 필요함을 인정합니다.