技術要約：歴史的なイタリア語は言語モデルにとってどの程度「驚き」となるのか？

問題提起

大規模言語モデル（LLM）は、OCRの事後修正、インデックス作成、検索といったデジタルライブラリーのワークフローへの統合が進んでいる。しかし、これらのモデルが歴史的な言語を処理する能力については、十分に理解されていない。現在の評価は、「歴史的な困難さ」を単一の障壁として扱っており、「綴りのバリエーション」、「言語学的距離」、および「事前学習による露出」という3つの異なる要因を混同している。この混同は、モデルが機械的なエンコーディングの非効率性（トークナイゼーション）によって苦戦しているのか、それとも真の理解力の欠如（予測の不確実性）によって苦戦しているのかを不明瞭にしている。さらに、標準的な歴史的テクスト（例：マンゾーニの『一千・一二百の約束』）をベンチマークとして依存することは、学習コーパスにおける露出度が高いために、過度に楽観的な結果をもたらす可能性があり、非標準的なアーカイブ資料が提示する課題を代表できていない。

メソドロジー

著者らは、歴史的な困難さを以下の4つの次元に分解する診断フレームワークを提案している：

1. トークナイゼーション・コスト： 「トークン膨張」（現代化されたベースラインと比較したトークン数の相対的な増加）を測定し、エンコーディングの非効率性を定量化する。
2. 予測の不確実性（サプライザル）： 次のトークンの予測におけるパープレキシティ（$PPL$）を測定し、モデルの不確実性を、理解の困難さのプロキシ（代理指標）として評価する。
3. 意味論的堅牢性： 歴史的な文と現代的な文の埋め込み（embeddings）間のコサイン類似度を計算し、古風な表層形式が安定した意味空間にマッピングされているかを判断する。
4. 文脈感受性： 最小限の時期的文脈プロンプト（例：「1687年のイタリア語テキスト」）がパープレキシティの低減に与える影響を評価する。

データセット：
本研究では、困難さの具体的な要因を特定するために、3世紀にわたる3つのデータセットを評価している：

• 17世紀イタリア語（1610–1689年）： オリジナルのページ画像からデジタル化された、5つの非標準的なテキスト（宗教的論文、学術的散文など）からなる、新たにキュレートされたコーパス。このデータセットは、古風な綴り（例：長いs ſ）やラテン語の影響を受けた構文、および逐語的な事前学習への露出の可能性が低いという特徴を持つ。
• 19世紀イタリア語（『一千・一二百の約束』、クアランターナ版）： 高露出のコントロール条件。標準的なテキストとして、綴りが標準化され、語彙的な親和性が高い場合のモデルの挙動を示す「ベストケース」のベースラインとして機能する。
• 18世紀ロシア民衆印刷本： 極端な綴りの乖離（yat や fita といった廃止された文字）を特徴とする対照的なストレス・テスト。ただし、現代ロシア語との語彙的・構文的な距離は比較的限定的である。

モデル：

• トークナイゼーション： OpenAI o200k_base (GPT-4o/5ファミリー) および Qwen 2.5 トークナイザー。
• パープレキシティ： 生の確率分布を確保するため、Qwen 2.5-1.5B (ベース・チェックポイント) を使用。
• 埋め込み： OpenAI text-embedding-3-large、Google LaBSE、および Qwen 2.5-1.5B の隠れ状態（hidden states）。

主な結果

1. エンコーディング・コストと理解力の解離

本研究は、トークナイゼーションの効率性と予測の困難さの間の明確なデカップリング（分離）を明らかにしている。

• トークナイゼーション税： 18世紀のロシア語と17世紀のイタリア語は、ともに同程度のトークン化ペナルティ（約25〜30%の膨張）を被っている。ロシア語の場合、これは廃止された文字によるバイトレベルへのフォールバックに起因する。一方、イタリア語の場合は、主に長いs (ſ) が原因であり、語彙に含まれているにもかかわらずサブワードの断片化を引き起こしている。
• 予測の困難さ： エンコーディング・コストは同程度であるにもかかわらず、パープレキシティ比は大きく乖離している。
  • ロシア語： パープレキシティの増加はわずか（現代のベースラインの1.25倍）であり、綴りの乱れ自体はモデルの予測能力を大きく混乱させないことを示している。
  • 17世紀イタリア語： 現代の同等テキストと比較して、平均して 2.4倍より「驚き（surprising）」が大きい。特に学術的散文においては 3.2倍 に達する。
• 結論： トークン膨張は、歴史的な複雑さの優れたプロキシ（代理指標）ではない。高いトークン膨張が必ずしも高い理解の困難さを意味するわけではなく、その逆もまた然りである。

2. ジャンルとレジスターが年代よりも重要である

歴史的な困難さは、時間の経過に伴う線形な関数ではない。

• 17世紀のコーパス内において、最も困難なテキスト（1687年の学術的序文）と最も容易なテキスト（1689年の描写的な肖像画）は、わずか2年の差で出版されている。
• 学術的テキストは3.22倍のパープレキシティ比を示したが、描写的テキストは1.81倍であった。
• 知見： レジスター（例：神学的叙述におけるリズムの冗長性と、学術的散文における構造的な断片化の差）は、年代よりもモデルのパフォーマンスを決定付ける強力な要因である。標準的な19世紀のテキストは、高露出のベースラインとして機能するため、非標準的な資料が持つ構造的な課題を覆い隠してしまう。

3. 生成の不安定性にもかかわらず維持される意味論的堅牢性

高いパープレキシティは、表現の劣化を意味しない。

• 歴史的な文と現代的な文の間の埋め込みの類似度は、すべてのデータセットにおいて強固に維持されている（コサイン類似度 $\ge$ 0.85）。
• Qwen 2.5 モデルは、生成タスクにおいて高いパープレキシティが観察されたにもかかわらず、17世紀イタリア語に対して 0.938 という類似度を達成した。
• 示唆： モデルは、トークンごとに生成するための確率的な自信を欠いている場合でも、古風な表層形式を正しい意味空間へとマッピングすることに成功している。

4. 時間的文脈による緩和

最小限の、モデルに依存しない介入が、困難さを大幅に軽減する。

• 短い時間的文脈プロンプト（例：「1687年のイタリア語テキスト」）を前置することで、17世紀イタリア語の歴史的なサプライザルは約 60% 減少した。
• この効果はロシア語ではそれほど顕著ではなく（17%の減少）、文脈によるプライミングは、単なる綴りのノイズよりも、分布の乖離（語彙的・構文的なドリフト）が高いテキストにおいて極めて重要であることを示唆している。

重要性と主張

本論文は、「歴史的な困難さ」とは単一の解決不能な問題ではなく、個別に評価されるべき相互作用する要因の複合体であることを主張している：

1. 指標のデカップリング： 本研究は、トークナイゼーションの効率（機械的な税）が意味論的堅牢性と相関していないことを示している。デジタルライブラリは、高いトークン化コストや高いパープレキシティを伴うテキストであっても、モデルが安定した内部表現を維持しているため、意味論的な検索タスク（検索、クラスタリング、分類）に対して安全にLLMを導入できる。
2. ベンチマークの妥当性： 高露出の標準的なテキスト（マンゾーニなど）への依存は、アーカイブ資料の「ロングテール」が抱える課題を系統的に過小評価させる。モデルの適合性を正確に評価するためには、非標準的で標準化前のテキストを含める必要がある。
3. 戦略的展開：
   • 検索（Retrieval）： 意味的な整合性が高いため、最小限の正規化で展開可能である。
   • 生成（Generation）： OCR修正や要約のようなタスクは、高いサプライザルに敏感であり、特定の緩和戦略を必要とする。
4. コスト効率の高い緩和策： 著者らは、単純な時間的プロンプティングが、ファインチューニングや過度なテキスト正規化を行うことなく、モデルの期待値と歴史的なレジスターの間のギャップを埋め、予測エラーを半分以上に減少させる非常に効果的な、コストのかからない戦略であることを示している。

結論として、本論文は評価フレームワークの転換を提唱している。すなわち、表面的なメトリクス（トークン数など）を超えて、エンコーディングの機械的コスト、予測の不確実性、そして意味表現の安定性を区別することである。これにより、デジタルライブラリは、たとえモデルがまだ「完璧な話し手」ではなくとも、歴史の「有能な読者」としてLLMを活用することが可能となる。