技術要約：歴史的テキストを用いた言語モデルの事前学習

問題提起

現代の基盤モデルは、一般的な自然言語タスクにおいては目覚ましい成果を上げているが、歴史的な設定に適用した場合、重大なバイアスが生じる。これらのモデルは、**先読みバイアス（lookahead bias）**を抱えている。これは、モデルが現代のコーパスで学習した結果、歴史的事象の結果を不注意に「知って」しまい、記憶された事後知識を真の予見と誤認してしまう現象である。さらに、それらの言語分布は現代的な文体や語彙パターンに偏っており、歴史的文脈を研究するためのツールとしては不適格である。

これらを軽減しようとする既存のアプローチは、主に3つの課題に直面している：

1. データの希少性と品質： 現代のウェブスケール・コーパス（Common Crawlなど）とは異なり、歴史的データは限られており、多くの場合、ノイズや現代的なメタデータを含むOCR（光学文字認識）転記されたソースに由来する。
2. 時間的漏洩（Temporal Leakage）： 事前学習のカットオフを設定しても、現代の注釈、OCRのアーティファクト、そして決定的ながら、ポストトレーニング（指示チューニング）フェーズにおいて現代のLLMが生成した合成データが時代錯誤な情報を再導入することによって、漏洩が発生する。
3. 評価の不一致： 標準的なベンチマークは、モデルの推論能力の欠如と、現代の言語や文脈への不慣れさを区別できないことが多く、また、時間的一貫性を厳密にテストすることもできていない。

手法

著者らは、1913年以前の英語テキストのみで学習された、7.24BパラメータのデコーダーのみのTransformer（Llama 3アーキテクチャに基づく）であるTYPEWRITERLMを紹介する。この手法は、漏洩を制御するパイプラインによって構成されている：

1. コーパス構築：TYPEWRITERCORPUS

• 規模と範囲： 1700年から1913年をカバーする540億トークンのコーパス。
• ソース： 主にハーバード大学および大英図書館によるデジタル化された機関蔵書（トークンの97.7%）であり、議会録（Hansard）、科学論文（王立協会）、裁判記録（オールド・ベイリー）、文学テキストなどの精選されたデータセットによって補完されている。
• クリーニング： OCRのアーティファクト（例：ハイフネーションの誤り、列の区切り）、現代的なメタデータ（所有者スタンプ、URL、HTMLエンティティ）、および編集上の注釈を除去する厳格なパイプラインにより、時間的な汚染を最小限に抑えている。

2. 事前学習

• トークナイザー： 現代の語彙による汚染を避けるため、歴史的コーパスに基づいて訓練されたカスタムBPE（Byte-Pair Encoding）トークナイザー（語彙数32k）。
• アーキテクチャ： 7.24Bパラメータ、グループ化クエリアテンション（grouped-query attention）、RMSNorm、回転式位置エンコーディング（rotary position embeddings）、および8,192トークンのコンテキストウィンドウ。
• 学習： AdamWを用い、bfloat16混合精度を使用して、約140Bトークンに対して2.59エポック学習を行った。

3. 歴史的指示チューニング：語彙に基づいたフレームワーク

指示チューニング中に現代の情報が再導入されるのを防ぐため、著者らは**語彙に基づいた指示チューニング（lexically grounded instruction tuning）**を提案している。

• 制約： モデルの応答に含まれるすべてのトークンは、ソースとなる歴史的テキストまたは少数の許可された機能語（function words）から導出可能でなければならない。これにより、語彙、文体、および意味論的パターンの時間的一貫性が保持される。
• データセット：
  • HISTORY-LIMA： 1,000個の高品質なシングルターン例（および1,030個のマルチターン変種）からなる。ここでは、応答は、1913年以前のテキストからそのまま、あるいは語彙的に制約された抽出物である。
  • HISTORY-SELFINSTRUCT： 標準的なパイプラインを反転させて生成された、約28.8万ペアのスケールアップされたデータセット。ベースモデルが、固定された語彙に基づいた歴史的応答に基づき、指示を生成する。
• 検証： 生成後の検証器を用いて、非準拠のトークンを含む応答を厳格に排除する。形態素の正規化やOCRの修正は、回復された形式がソースから導出可能な場合にのみ行う。

4. 評価：HISTORY-EVENT

著者らは、時間的な接地性と漏洩を評価するためのベンチマークであるHISTORY-EVENTを導入した。

• 驚き度（Surprisingness）： イベントの説明と日付が提示された際のモデルのパープレキシティ（Bits-per-Byte）を測定する。成功した歴史的モデルは、カットオフ後のイベントに対して高い「驚き」（高いパープレキシティ）を示すはずである。
• 想起と漏洩： モデルがカットオフ前のイベントを想起できるか（正確性）、あるいは不注意にカットオフ後のイベントを知ってしまうか（漏洩）をテストする。

主な結果

一般的な能力

• 競争力のある性能： TYPEWRITERLM (7.24B) は、ARC-ChallengeやHellaSwagといった標準的なベンチマークにおいて、より小規模な歴史的モデル（Mr. Chatterbox、TimeCapsuleLLMなど）を凌駕している。
• 指示への追従性： 厳格な語彙制約があるにもかかわらず、指示チューニングされたバリアントは、フィルタリングされたAlpacaEvalのプロンプトにおいてGPT-1900に対して競争力のある勝率を達成し、IFEvalにおいても他の歴史的モデルと同等の性能を示す。
• 推論： 厳格な歴史的カットオフがあるにもかかわらず、モデルはARC-ChallengeにおいてGPT2-XLに匹敵する、非自明な推論能力を示している。

時間的一貫性と漏洩

• 驚き度のパターン： 現代のベースライン（Llama-3.1-8B）が時間経過に対して平坦なパープレキシティを示すのに対し、TYPEWRITERLMは1913年以降のイベントに対してパープレキシティの急激な上昇を示しており、知識のカットオフが学習された分布に反映されていることを示している。
• 漏洩の検出： モデルはおおむねカットオフを遵守しているが、評価により、TYPEWRITERLMおよび他の大規模な歴史的モデルにおいて、カットオフ後のイベントの想起（0.0%～0.6%）という軽微な漏洩が認められた。これは、完全な先読みバイアスの排除が依然として困難であることを示唆している。
• ベンチマークの感度： 現代のベンチマーク（HellaSwag）を1800年代の散文スタイルに書き換える実験を行うと、現代のモデルはスタイルが変わると性能が著しく低下するが、歴史的モデルはスタイルの変化にはより堅牢であるが、トピックの不一致には敏感であることが示された。

重要性と貢献

本論文は、NLPおよびデジタル・ヒューマニティーズの分野における3つの主要な貢献を主張している：

1. データ制約下での事前学習の実現可能性： 著者らは、能力のあるモデルの構築には、大規模で多様なウェブ・コーパスが厳密に必要であるという概念に異を唱え、限定された、クリーニング済みの歴史的データを用いて、競争力のある、歴史的に接地された言語モデル（7Bスケール）を訓練することが可能であることを示した。
2. エンドツーエンドの漏洩軽減： 本研究は、事前学習のための厳格なクリーニング、時代錯誤なポストトレーニングを防ぐための語彙に基づいた指示チューニング、および時間的整合性を検証するための専用の評価スイート（HISTORY-EVENT）を通じて、あらゆる段階で漏洩を制御する包括的なパイプラインを導入した。
3. オープンリソース： 著者らは、透明性のある歴史的言語モデリングの研究を支援するために、TYPEWRITERLM（ベースおよび指示チューニング版）、TYPEWRITERCORPUS、および関連するデータセット（HISTORY-LIMA、HISTORY-SELFINSTRUCT、HISTORY-EVENT）を公開している。

本論文は、これらのモデルを、時間的な分布シフト、推論と記憶の相互作用、および通時的な言語変化を研究するための不可欠なツールとして位置づけている。同時に、データの効率性と、歴史的世界観を反映するモデルの社会的リスクに対処するために、今後の課題が必要であることを認めている。