Are Language Models Borrowing-Blind? A Multilingual Evaluation of Loanword Identification across 10 Languages

本論文は、10 言語にわたる多言語評価を通じて、事前学習済み言語モデルが文脈や明示的な指示を与えられても、借用語と固有語を区別する能力が欠如しており、むしろ借用語に対するバイアスを示すことを明らかにした。

要約

この論文は、**「AI（言語モデル）は、外国から入ってきた『借用語（ロウワード）』と、元々その言語にあった『純粋な言葉』を見分けることができるのか？」**という問いに答えた研究です。

結論から言うと、**「残念ながら、今の AI はその区別がほとんどできません。むしろ、借用語を好む傾向さえあります」**というのがこの研究の発見です。

わかりやすく、いくつかの比喩を使って説明しましょう。

1. 研究の舞台：「言語の料理店」

言語は、まるで巨大な料理店のようなものです。

• 純粋な言葉（ネイティブ語）： その土地で昔から作られてきた伝統的な料理（例：日本の「おにぎり」や「味噌汁」）。
• 借用語（ロウワード）： 外国から持ち込まれて、すっかり定着した料理（例：日本の「カレーライス」や「パン」）。

歴史的に、言語は他の言語から「スパイス」や「食材」を盗み（借用し）、自分たちの料理に取り入れてきました。英語の「シュガー（砂糖）」や「チョコレート」も、元々は外国語ですが、今では英語の定番メニューです。

2. 実験：「AI 料理評論家」のテスト

研究者たちは、最新の AI（大規模言語モデル）を**「料理評論家」**として雇い、以下のテストを行いました。

• テスト内容： 料理のメニュー（文章）を見せ、「ここにある『カレーライス』は、元々日本の料理ですか？それとも外国から来た借用語ですか？」と尋ねます。
• 対象： 中国語、フランス語、ドイツ語など、10 種類の異なる言語（10 種類の異なる料理店）。
• 方法：
  1. ゼロショット： 何も教えずに「見分けて」と頼む。
  2. ファインチューニング（学習）： 正解例をたくさん見せてから「見分けて」と頼む。

3. 結果：AI は「借用語盲」だった

結果は衝撃的でした。

• AI の失敗： どの AI も、借用語と純粋な言葉を見分けるのが非常に苦手でした。正解率は 50% 前後（ほとんど当てずっぽうに近い）でした。
• AI の偏見： 面白いことに、AI は**「借用語」の方を好む傾向**がありました。
  • 例：フランス語で「契約（accord）」という純粋な言葉があるのに、AI は「ディール（deal）」という英語由来の言葉の方が「自然で正しいフランス語」だと感じてしまうのです。
  • 比喩： AI は「伝統的なおにぎり」よりも「カレーライス」の方が、より「本物の日本料理」だと勘違いしているような状態です。

4. なぜ失敗したのか？3 つの落とし穴

AI が間違えた理由を、3 つのシチュエーションで説明します。

• ① 「観光客」と「定住者」の区別がつかない

  • 現象： 会話の中で一時的に外国語を使うこと（コードスイッチング）と、完全に定着した借用語を混同しました。
  • 例： クルド語の会話で「Really（本当に）」という英語を挟んだ場合、AI はこれを「借用語（定住者）」だと誤認しました。実際には、それは一時的な「観光客（コードスイッチング）」に過ぎないのです。
  • 比喩： 街中で一時的に訪れた観光客を、その街の住人だと勘違いしてしまうようなものです。

• ② 「固有名詞」を「外国語」と誤解する

  • 現象： 国名や組織名（NASA など）を、外国から来た言葉だと誤って判定しました。
  • 例： ドイツ語の「PISA-Studie（PISA 調査）」という固有名詞を、AI は「外国語の借用語」としてマークしてしまいました。
  • 比喩： 「東京」という名前を見ても、「これは外国の地名だ！」と勘違いしてしまうような状態です。

• ③ 「科学用語」のルーツに惑わされる

  • 現象： 科学用語はラテン語やギリシャ語由来が多いですが、それらはすでに完全にその言語に溶け込んでいます。しかし、AI は「語源が外国だから借用語だ！」と過剰に反応しました。
  • 例： 日本語の「科学」やフランス語の「哲学」のように、定着している言葉でも、AI は「これは外国語だ！」と誤判定しました。
  • 比喩： 何百年も前に輸入された「醤油」を見て、「これはまだ外国の調味料だ！」と騒いでいるようなものです。

5. 結論と今後の課題

• 結論： 今の AI は、言葉の「ルーツ（歴史）」や「文脈（どう使われているか）」を深く理解できていません。表面的な文字の並びや、語源の知識だけで判断してしまい、「借用語」を見分けることができません。
• 意味： 少数派の言語を守ろうとする際、AI ツールを使うと、逆に「外国語（借用語）」ばかりを推奨してしまい、純粋な言葉が失われる恐れがあります。
• 今後の展望： AI に「借用語」を見分けさせるには、単に正解を教えるだけでなく、「その言葉がコミュニティでどう使われているか」という社会的な文脈まで理解させる必要があります。

まとめると：
今の AI は、言語の「歴史」や「文化」を深く理解する賢い学者ではなく、「外国っぽい言葉を見ると、ついついそれっぽく見えてしまう」という、少し偏見を持った初心者のような状態です。この「借用語盲」を治すことが、今後の AI 開発の重要な課題となっています。

技術概要

論文「Are Language Models Borrowing-Blind? A Multilingual Evaluation of Loanword Identification across 10 Languages」の技術的サマリー

この論文は、事前学習済み言語モデル（PLM）および大規模言語モデル（LLM）が、10 言語にわたる「借用語（Loanword）」の識別タスクにおいてどの程度の能力を持っているかを検証した研究です。著者らは、モデルが文脈や明示的な指示を与えられても、借用語と固有語（Native vocabulary）を区別する能力が極めて低いことを発見し、現代の NLP システムが借用語に対してバイアスを持っている可能性を示唆しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義と背景

• 借用語の識別の重要性: 言語接触において、支配的な言語から少数言語へ借用語が流入することは、言語シフトや語彙の喪失を加速させる要因となります。また、言語保存や教育、計算言語学ツール開発において、借用語を正確に識別することは不可欠です。
• 既存研究の限界: 従来の計算言語学における借用語の研究は、特定の言語ペア（特に英語由来の借用語）に限定されたり、単語リストに基づく検出に留まったりしており、多言語かつ文脈を考慮した評価は不足していました。
• 核心的な問い: 生成や理解タスクにおいて借用語を好む傾向があることが示されたモデル（Ahmadi et al., 2025）は、明示的に「借用語を識別せよ」と指示された場合でも、それを正確に行えるのか？ という疑問に答えることを目的としました。

2. 手法 (Methodology)

本研究は、多言語対照データセット ConLoan（Ahmadi et al., 2025）を使用し、以下の 2 つのアプローチで評価を行いました。

2.1. データセット (ConLoan)

• 中国語、フランス語、ドイツ語、ギリシャ語、アイスランド語、イタリア語、北クルド語、ポルトガル語、ロシア語、スペイン語の 10 言語をカバー。
• 文レベルで借用語のスパン（範囲）と、それに対応する固有語の代替案が注釈付けられています。

2.2. 評価アプローチ

1. プロンプトベースの評価 (LLMs)

   • 対象モデル: Gemini-2.5-Flash-Lite, GPT-4.1 (OpenAI), Meta-Llama-3-8B-Instruct。
   • 設定: ゼロショット（例なし）およびフューショット（2 例提示）。
   • プロンプト変種:
     • Minimal: 定義なしの単純な指示。
     • Etymological: 歴史的借用を強調する定義（Haspelmath & Tadmor, 2009）を含む。
     • Usage-based: 単一言話者による慣習的使用を基準とし、コードスイッチングとの区別を明確にする定義。
   • 出力形式: 借用語のリストを Python リスト形式で出力させ、厳密（Strict）および緩和（Relaxed）な評価プロトコルでスコアを算出。

2. モデルベースの評価 (Multilingual Encoders)

   • 対象モデル: mBERT, XLM-RoBERTa (base/large), ELECTRA-base multilingual。
   • 設定:
     • Zero-shot: 事前学習済みモデルを凍結し、特徴量抽出器として使用（ルールベースのタグ付け）。
     • Fine-tuned: ConLoan の 80/20 分割データを用いて、トークン分類タスク（BIO タグ付け）としてファインチューニング。

2.3. 評価指標

• SeqEval ライブラリを使用したエンティティスパンレベルでの Precision, Recall, F1 スコア。
• 境界誤りを適切に罰する設計。

3. 主要な結果 (Results)

3.1. LLMs の性能

• 全体的な低性能: どのモデル、プロンプト設定においても、F1 スコアは 0.70 未満に留まりました（平均は約 0.23〜0.47）。
• モデル間の差: Gemini が最も高い性能（平均 F1 0.466）を示しましたが、Llama は特にフューショット設定でパフォーマンスが急落し、構造化されたリスト出力ができなくなるなどの不安定さが見られました。
• プロンプトの影響: 借用語の定義を詳細にする（プロンプト 3）ことで、コードスイッチングとの区別が少し改善される傾向がありましたが、依然として課題は残りました。

3.2. 事前学習済みエンコーダーの性能

• ゼロショットの限界: 事前学習済みモデル（ファインチューニングなし）は、すべての言語で F1 スコアが 0.02 以下と極めて低く、タスクをほとんど解決できていませんでした。
• ファインチューニングの効果: 特定のタスクでファインチューニングを行うことで、性能が劇的に向上しました（平均 F1 0.65〜0.85）。
  • 最優秀モデル: XLM-RoBERTa (Large) が平均 F1 0.8513 を記録し、他モデルを凌駕しました。
  • 言語による差: ロマンス語（フランス語、イタリア語など）で高い性能を示しましたが、ドイツ語やアイスランド語など形態素変化が複雑な言語では若干性能が低下しました。

3.3. 誤分類の分析 (Qualitative Analysis)

モデルは以下の点で系統的なエラーを犯していました。

1. コードスイッチングと借用語の混同: 文脈的に一時的な言語切り替え（コードスイッチング）を借用語として誤検出したり、逆に慣習的に定着した借用語をコードスイッチングと誤認したりしました。
2. 固有名詞の誤検出: 国名、組織名、略語（NASA など）が、外国語由来の文字列という理由だけで借用語として誤分類されました。
3. 学術・技術用語の扱い: ギリシャ・ラテン語由来の科学用語は、歴史的には借用語ですが、現代では完全に定着しているため、モデルはこれを「借用語」として検出するべきか「固有語」として扱うべきかの判断に迷い、過検出または未検出となりました。

4. 主要な貢献

1. 多言語借用語識別の包括的評価: 10 言語にわたる多様な言語タイプで、LLM と事前学習済みエンコーダーの借用語識別能力を初めて体系的に評価しました。
2. モデルの「借用語盲」の発見: 明示的な指示や文脈情報を与えても、一般目的の LLM は借用語と固有語を区別できないことを実証しました。これは、モデルが借用語に対してバイアスを持っている（生成・理解で好む）という以前の知見を補強するものです。
3. ファインチューニングの限界と可能性: ファインチューニングにより性能は向上しますが、依然としてコードスイッチングや固有名詞、専門用語の文脈的理解において課題が残っており、このタスクが「解決済み」ではないことを示しました。

5. 意義と結論

• NLP ツール開発への示唆: 少数言語や言語保存の文脈において、支配的な言語からの借用語を特定し、固有語の維持を支援するツールを開発する際、現在のモデルだけでは不十分であり、より高度な文脈理解や社会言語学的知識の統合が必要であることを示唆しています。
• 言語モデルの限界: 現在のモデルは、表層的な文字列の類似性（正書法や語源）に依存しがちであり、話者の意図や言語の社会的統合度（assimilation）といった深層的な意味を理解できていません。
• 今後の展望: 借用語の「統合度」を連続体として捉えたより詳細な識別タスクや、制御された語彙を用いた評価の必要性が指摘されています。

結論として、現代の言語モデルは「借用語に対して盲目（Borrowing-Blind）」である傾向が強く、この課題を解決するには、単なるデータ量の増加ではなく、言語接触の社会的・歴史的側面をモデルに組み込む新たなアプローチが必要です。