論文要約：「Scripts Through Time: A Survey of the Evolving Role of Transliteration in NLP」

本論文は、自然言語処理（NLP）における「文字体系の壁（Script Barrier）」を克服するための技術として、**転写（Transliteration）**の役割、進化、および効果について包括的な調査（サーベイ）を行ったものです。特に、異なる文字体系を持つ言語間でのクロスリンガル転移学習を促進する際の転写の応用と、大規模言語モデル（LLM）におけるその位置づけを分析しています。

以下に、問題定義、手法、主要な貢献、結果、そして意義について詳細にまとめます。

1. 問題定義：文字体系の壁（Script Barrier）

クロスリンガル転移学習（特に低リソース言語から高リソース言語への知識転移）は、言語間の文字体系の違いによって大きく阻害されます。

• 語彙的重複の欠如: 異なる文字体系（例：ヒンディー語のデーヴァナーガリー文字と英語のラテン文字）間では、語彙的重複が極めて低く、モデルが共通の表現空間を学習することが困難です。
• 表現の分離: 異なる文字体系からのトークン表現は、線形に完全に分離可能であることが示されており、モデルが言語を超えた意味の共通性を捉えられない原因となっています。
• 既存の課題: 統計的機械翻訳（SMT）時代から、固有名詞や未知語（OOV）の処理、コードミックス（混在）テキストの正規化において転写が用いられてきましたが、その適用範囲と効果は文脈によって異なります。

2. 手法とアプローチの分類

著者らは、転写を NLP モデルに統合するアプローチを以下の 4 つのレベルに分類し、その進化を整理しました。

2.1 動機（Motivations）の進化

転写を利用する動機は時代とともに変化してきました：

1. 固有名詞と OOV 対策: 統計的機械翻訳時代、辞書にない固有名詞の処理。
2. コードミックスと Leetspeak: グローバル化に伴う、ローカル言語のラテン文字化（例：Arabizi）や英語との混在テキストの正規化。
3. クロスリンガル転移: 多言語事前学習モデル（mBERT など）において、文字体系が異なるが言語系統が近い言語間（例：トルコ語とウイグル語）の語彙的重複を増やし、転移を可能にする。
4. 効率性: 共通の文字体系（主にラテン文字）へ統一することで、前処理の簡素化、推論時のトークン数削減（Fertility の低下）、計算コストの削減。
5. マルチスクリプト認識: 単に文字を統一するのではなく、モデルが複数の文字体系を認識し、それらを統合的に扱うアーキテクチャの設計。

2.2 統合アプローチ（Integration Approaches）

転写データをモデルに組み込む具体的な手法は以下の通りです：

• データレベル: 学習コーパス全体または一部を転写して直接使用、あるいは転写データを元のデータと混合して学習（Data Augmentation）。
• 入力レベル:
  • 直接連結: 元の文と転写文を連結して入力（計算コスト増大のリスク）。
  • 埋め込み融合: 両方のスクリプトのトークン埋め込みをベクトルレベルで結合（平均や加算）。
• アーキテクチャレベル:
  • マルチエンコーダ: 各スクリプト専用のエンコーダを持つ。
  • スクリプトアダプタ: 既存の多言語モデルの上に、ネイティブスクリプト用と転写用のアダプタを並列に学習させ、出力を融合。
  • アライメント目的: 対照損失（Contrastive Loss）を用いて、元のスクリプトと転写スクリプトの表現を近づける。
• 推論レベル:
  • マルチソースアンサンブル: 異なるスクリプトで学習した複数のモデルの出力を平均化。
  • スクリプト固有プレフィックス: 入力にスクリプトを示す特殊トークンを付与し、単一モデルで処理。
  • LLM プロンプティング: インコンテキスト学習において、転写された例を含めてプロンプトを構築。

3. 主要な貢献

1. 転写利用の動機に関する分類体系の提示: 語彙カバレッジの向上から言語系統の活用、効率化まで、転写を利用する 5 つの主要な動機を体系的に整理しました。
2. 統合手法の包括的レビュー: データレベルから推論レベルまで、転写をモデルに組み込む多様な手法を網羅的にレビューし、それぞれの長所・短所を比較しました。
3. 実用的な推奨事項の提供: 言語間の関連性、利用可能なリソース、タスクの種類（NLU か NLG か）に基づき、研究者が最適な転写戦略を選択するための具体的なガイドラインを提供しました。
4. 現代の LLM における転写の再評価: ローマ字化（Romanization）の優位性、LLM 内部での「潜在的なローマ字化（Latent Romanization）」の発見、そして転写が依然として必要かどうかという問いに対する新たな視点を提供しました。

4. 結果と知見

• 最適な統合手法: 多言語機械翻訳タスクにおける比較研究（Sun et al., 2022）では、複雑なマルチエンコーダや単純な連結よりも、**「マルチソース自己アンサンブル（Multi-Source Self-Ensemble）」や「直接転写（Direct Transliteration）」**が効果的であることが示されました。特に、アーキテクチャ変更を最小限に抑えつつ、既存システムに追加できる手法が好まれます。
• アダプタとアライメントの重要性: 単純な転写は「誤った一致（False Positives）」を生むリスクがありますが、スクリプトアダプタや対照アライメント目的を用いることで、ネイティブスクリプトの精度を維持しつつ転写の利点（語彙的重複）を享受できることが示されました。
• ローマ字化（Romanization）の優位性: 多くの研究でラテン文字（ローマ字）への転写が用いられています。その理由は以下の 4 点です：
  1. 多くの LLM が英語中心でラテン文字処理に特化している。
  2. 非ラテン文字（特にインド系言語など）のトークン化は「肥沃度（Fertility）」が高く、ローマ字化によりトークン数が 2〜4 倍に削減され、推論コストが下がる。
  3. グローバル化によるコードミックスや借用語の増加。
  4. 高品質な言語固有の転写ツールが不足しているため、汎用的なローマ字化ツールが実用的である。
• 生成タスクにおける課題: 転写は理解（NLU）には有効ですが、生成（NLG）では元の文字体系への逆転写（Back-transliteration）が必要となり、情報損失のリスクがあります。これを防ぐための可逆的な転写手法（Huffman 符号化など）や、モデル自体をマルチスクリプト対応にするアプローチが提案されています。
• LLM 内部のメカニズム: 最近の研究（Saji et al., 2025）では、英語中心の LLM が中間層で非ラテン文字をラテン文字（音韻的近似）に変換してからネイティブ文字を生成する**「潜在ローマ字化（Latent Romanization）」**現象が発見されました。これは、LLM が転写プロセスを内部的に習得している可能性を示唆しています。

5. 意義と限界

• 意義: 本調査は、転写が単なる前処理技術ではなく、言語モデルの表現空間を再構築し、クロスリンガル転移を可能にする重要なメカニズムであることを示しました。特に、低リソース言語や文字体系が異なる言語間での NLP 性能向上において、転写はコスト効率が高く、実用的な解決策です。
• 限界:
  • 既存研究の多くは NER、POS タグ付け、依存関係解析、機械翻訳といった限られたタスクに焦点を当てており、より広範な NLP タスクへの適用性は未解明です。
  • 現在主流のデコーダ専用モデル（LLM）における転写の最適化や、その内部メカニズムの解釈性に関する研究は依然として不足しています。
  • 転写がいつ有効で、いつ有害になるか（例：文字体系を変えると既存の言語的つながりが断絶する場合）を予測する理論的枠組みは完全には確立されていません。

結論

転写は「文字体系の壁」を越えるための効率的かつニュアンスのある技術です。特に、高リソース言語と系統が近い低リソース言語において、ローマ字化を通じて語彙的重複を増やし、計算コストを削減する効果は顕著です。しかし、万能薬ではなく、言語の特性やタスクの要件に応じて慎重に選択・実装する必要があります。LLM の進化に伴い、転写は明示的な前処理から、モデル内部の潜在的なメカニズムへとその役割を変容しつつあり、今後の研究が期待されます。