A Computational Approach to Language Contact -- A Case Study of Persian

技術要約：言語接触への計算論的アプローチ — ペルシャ語のケーススタディ

問題提起
言語接触は、語彙の借用から深い文法構造の再編に至るまで、構造的な多様化と変化の主要な原動力である。伝統的な言語学は、特にペルシャ語（ファルシー）において、トルコ語族やアラビア語などの諸語との数千年にわたる接触を背景としたこれらの現象を広範に記録してきたが、こうした接触に起因する変化が、単一言語のニューラル言語モデルの内部表現において検出可能であり、定量化可能であり、かつ解釈可能であるかどうかは依然として不明である。具体的には、ペルシャ語のデータのみで学習されたモデルが、その接触言語の潜在的な構造的痕跡を符号化しているのか、それともその表現は学習言語固有の構造および普遍的な統語的特性のみによって形成されているのかが分かっていない。

手法
本研究では、約39億トークンのペルシャ語テキストで学習された単一言語・エンコーダーのみのTransformerモデルであるParsBERTの中間表現を調査するための計算フレームワークを採用する。手法としては、8つの接触言語（アラビア語、英語、フランス語、ドイツ語、ヒンディー語、日本語、ロシア語、トルコ語）の文章をペルシャ語モデルに入力し、得られる埋め込み（embeddings）を分析する。

分析には主に2つの手法を用いる：

1. 情報理論的プロービング： **変分利用可能情報（$\hat{IV}$）**を用い、特定のターゲット変数（$Y$）――言語識別、普遍的品詞（UPOS）タグ、格（CASE）、性（GENDER）など――に関して、モデルの中間層にどの程度の言語情報が符号化されているかを定量化する。この指標は、表現から回復可能な不確実性の割合を反映するために、ターゲットとなる特徴量の周辺エントロピーによって正規化される。
2. 属性分析： **言語活性化確率エントロピー（LAPE）**を用い、表現内のどの特定の要素（ニューロン）が、これらの特徴の符号化に最も強く寄与しているかを特定する。低いLAPEスコアは高い選択性（特定の条件に対して優先的に反応するニューロン）を示し、高いスコアは一様または非識別的な活性化を示唆する。

データセットには**Parallel Universal Dependencies (PUD)**ツリーバンクを使用しており、一貫したアノテーションと整列された文構造を通じて、言語間の比較可能性を確保している。選択されたテスト言語は、ペルシャ語との接触の程度や種類（歴史的、現代的、地域的、または最小限）によって多様化されている。

主な結果
調査の結果、言語接触が存在する場合における、普遍的な統語範疇と形態学的特徴の符号化方法の間に、明確な非対称性が存在することが明らかになった：

• 言語識別： 単一言語での学習にもかかわらず、ParsBERTは非ペルシャ語に関する実質的な情報を符号化している。情報の利得は第3層以降でピークに達する。特筆すべきは、モデルがアラビア語、ヒンディー語、ロシア語に対して最も情報量が多いことであり、これは顕著な語彙的影響や系統的つながりを反映していると考えられる。しかし、LAPE分析によれば、言語固有の信号は、共有された表現の中に分散して存在しており（日本語を除く）、コンパクトで選択的な特徴へと局在化されることは稀である。日本語は、表記上の不一致により高い選択性を示す。
• 普遍的統語（UPOS）： UPOSタグに対する回復可能な情報は、層を重ねても概ね安定しており、歴史的な接触の程度には影響されない。類型論的な類似性も接触の強度も、普遍的な統争範疇の符号化に有意な影響を与えないことが示唆されており、これらの表現は接触による変動に対して堅牢であることを示している。
• 形態学的特徴（格および性）：
  • 格（CASE）： モデルは、格表示が最小限または残留的な言語（英語、フランス語、日本語など）に対して強いバイアスを示し、情報利得が高い。逆に、ペルシャ語には存在しない豊かな屈折格体系を持つ言語（ドイツ語、ロシア語、トルコ語など）の符号化には失敗する。アラビア語は、語彙的な重複と現代の書き言葉における格の限定的な実現により、中間的な性能を示す。ヒンディー語の後置詞による格は、構造的な不一致のため、十分に捉えられていない。
  • 性（GENDER）： ParsBERTは、文法的性が欠如している言語（日本語、トルコ語）や、代名詞における性の限定的な実現（英語）に関連する手がかりを効果的に捉える。完全に文法化された性体系を持つ言語については、性能が低下する。二性体系（フランス語、ヒンディー語、アラビア語）は中程度の回復可能性を示すが、三性体系はほとんど示さない。モデルの選択性は、中性名詞に関連する特徴に集中しており、これはそのカテゴリーの意味的な多様性を反映している。

主な貢献

• ペルシャ語の接触に関する初の計算論的研究： 本研究は、ニューラル表現のレベルにおけるペルシャ語の言語接触に関する初の計算論的な調査を提示する。
• 接触の選択的符号化： 本研究は、単一言語の言語モデルが、選択的かつ構造的に制約された言語接触の痕跡を符号化しているという証拠を提示する。接触の影響は、普遍的な統語範疇よりも、学習言語（分析的／構成的）と一致する形態的および構文的パターンにおいてより容易に反映される。
• 方法論的枠組み： 情報理論的プロービングと属性分析を組み合わせることで、本論文は、ニューラルモデルを用いて古典的な接触言語学の問いを調査するための、原理に基づいた枠組みを提供している。

意義と主張
本論文は、単一言語の言語モデルは単に学習データを反映しているだけでなく、その痕跡が学習言語の構造的特性と一致する場合に限り、歴史的な言語接触の痕跡を暗黙的に符号化していると主張している。知見は、普遍的な統語表現は接触による変動に対して堅牢である一方で、形態学的特徴は言語固有の構造に対して非常に敏感であることを示唆している。

著者らは、これらのモデルにおける接触効果は、接触言語への直接的な露出によるものではなく、以下の要因から生じると結論付けている：

1. 歴史的な接触を反映した、ペルシャ語自体の構造的特徴。
2. 借用語、カルク（翻訳借用）、およびハイブリッドな構文の統計的な刻印。
3. 言語間で共有される普遍的な言語的特性。

本研究は、ニューラルモデルが、深い文法再編（例：屈折パラダイムの転移）ではなく、表層的な、あるいは意味的な整列（例：語彙的借用、分析的戦略）を捉えていることを強調している。これは、言語モデルを言語変化の研究ツールとして用いる際のリミットと可能性を浮き彫りにしており、ニューラルモデルが接触現象を処理する際に、学習言語の「構造的制約」を反映していることを示している。

限界
著者らは、PUDデータセットにはアゼルバイジャン語、トルコ語（Turkmen）、ウルドゥー語など、ペルシャ語の歴史において極めて重要な言語が含まれていないことを認めており、これが持続的なバイリンガリズムや構造的収束の最も強力な事例を評価することを制限している。したがって、分析はPUDフレームワーク内で利用可能な言語に制約されている。