💬 NLP

A Typologically Grounded Evaluation Framework for Word Order and Morphology Sensitivity in Multilingual Masked LMs

この論文は、Universal Dependencies を活用した推論時摂動手法を用いて、多言語マスク言語モデルが語順と形態素のどちらに依存しているかを評価する枠組みを提案し、mBERT や XLM-R などのモデルが語順の乱れに対して極めて脆弱であることを実証しています。

原著者： Anna Feldman, Libby Barak, Jing Peng

公開日 2026-03-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Anna Feldman, Libby Barak, Jing Peng

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「多言語対応の AI（言語モデル）が、本当に言葉の『意味』や『文法』を理解しているのか、それとも単に『単語の並び順』を暗記しているだけなのか」**という疑問に答えるための実験報告です。

まるで、**「AI という生徒が、本当に国語の授業を理解しているか、それとも教科書のページ番号だけ覚えてテストを乗り切っているか」**を調べるような実験です。

以下に、難しい専門用語を避け、身近な例え話を使って解説します。

🕵️‍♂️ 実験の舞台：「AI の脳」を揺さぶるテスト

研究者たちは、mBERTやXLM-Rという、世界中の言語を勉強した AI を対象に、あえて「おかしな状態」にしてテストを行いました。

1. 実験のやり方（3 つの「揺さぶり」）

AI に文章を読ませて、空欄（マスク）を埋めさせるテストを行いました。その際、あえて以下のような「揺さぶり」を加えました。

① 全単語シャッフル（Full Scrambling）：
- 例え： 料理のレシピをすべてバラバラにして、箱の中に放り込むようなもの。
- 「猫が魚を食べた」→「食べた魚猫が」のように、文の順番を完全に無秩序に混ぜます。
- 目的： 「AI は順番がバラバラでも、意味が通じるか？」を見る。
② 中身だけシャッフル（Part Scrambling）：
- 例え： 料理の「具材（肉、野菜）」の順番だけ変えて、**「鍋や包丁（助詞や接続詞）」**は元の場所に固定しておく。
- 文法を支える「小さな言葉（の、は、をなど）」は動かさず、重要な単語（名詞や動詞）だけを混ぜます。
- 目的： 「助詞が残っていれば、AI は文法を復元できるか？」を見る。
③ 主語と目的語の入れ替え（Head Swap）：
- 例え： 物語の「主人公」と「相手」の役割を、文法的に無理やり入れ替える。
- 文法の中心となる「主語」と「動詞」の関係を崩します。
- 目的： 「文法の骨組み（主語と動詞の関係）が崩れると、AI はどう反応するか？」を見る。
④ 辞書引きモード（+L）：
- 例え： 文章のすべての単語を「辞書の見出し言葉（原形）」に置き換える。
- 「食べた」→「食べる」、「行きました」→「行く」のように、時制や形をすべて統一します。
- 目的： 「形（語尾）の情報が消えて、意味だけが残った状態で、AI は文脈を理解できるか？」を見る。

📉 実験の結果：AI の「弱点」が露呈

実験結果は、ある意味で**「AI はまだ人間ほど賢くない」**という示唆に富んでいました。

1. 順番がバラけると、AI はパニックになる

結果： 単語の順番を完全に混ぜると、どの言語（英語、中国語、ドイツ語など）でも、AI の正解率はほぼゼロになりました。
意味： AI は「文脈（前後のつながり）」よりも、**「単語が並んでいる順番」に強く依存していることがわかりました。まるで、「レシピの順番が狂うと、料理が全く作れなくなる」**ような状態です。

2. 文法（語尾）の力は、順番の崩しには勝てない

結果： 単語の形を辞書引きモード（+L）に変えても、順番が崩れた状態では AI は正解できませんでした。
意味： 日本語やロシア語のように「語尾で文法を表す言語」でも、AI はその「語尾の力」を頼りに文を復元することができませんでした。**「順番という足場が崩れると、文法という壁だけでは支えきれない」**のです。

3. 言語による違い

英語・中国語： 順番に非常に敏感です。少し並びが変わるだけで、AI は混乱します。
ドイツ語・ロシア語： 語尾変化（文法）が豊かな言語ですが、それでも「順番が崩れる」と AI は大きく性能を落としました。ただし、助詞（機能語）が残っている場合は、英語よりは少しだけ持ちこたえることができました。

💡 この実験から学べる「教訓」

この研究は、現在の AI 開発に重要なメッセージを送っています。

AI は「暗記」が得意だが、「理解」は苦手：
AI は、特定の順番で並んだ単語の組み合わせを「暗記」して正解を出せているだけで、言葉の本当の構造（文法）を深く理解しているわけではありません。
「多言語対応」の落とし穴：
英語のような「順番が重要な言語」で訓練された AI は、ロシア語やドイツ語のような「語尾で意味が決まる言語」に対しても、「順番重視」の癖を引きずってしまっています。これでは、多様な言語の公平な理解ができていない可能性があります。
今後の課題：
AI をもっと賢くするには、「単語の順番」に頼りすぎず、「文法構造」や「言葉の役割」そのものを理解できるように訓練する必要があります。

🎒 まとめ：一言で言うと？

この論文は、**「現在の AI は、言葉の『順番』という足場が崩れると、文法という壁だけでは支えきれずに倒れてしまう」**ことを発見しました。

まるで、**「足場（順番）が壊れたら、壁（文法）があっても建物は倒れてしまう」**ような状態です。AI をもっと人間らしく、柔軟に言葉を理解させるためには、この「足場への依存」を減らす新しいトレーニングが必要だと示唆しています。

論文要約：多言語マスク言語モデルにおける語順と形態素への感度を評価する類型論的枠組み

1. 問題設定 (Problem)

多言語トランスフォーマーモデル（mBERT, XLM-R など）は、言語横断的な性能で高い成果を上げていますが、それらが予測を行う際に実際にどのような言語的手がかり（Word Order: 語順、Morphology: 形態素/語形変化）に依存しているかは不明確なままです。
言語は文法関係の符号化方法が異なります。英語や中国語のような「語順固定型」言語は厳密な順序に依存する一方、ロシア語やドイツ語のような「形態素が豊富で語順が自由な」言語は、格変化などの形態素情報を通じて文法関係を表現します。
もし多言語モデルが主に「線形順序（語順）」に依存している場合、語順が自由な言語や形態素が豊富な言語においてバイアスが生じ、性能が低下するリスクがあります。逆に、モデルが形態素を適切に利用しているなら、語順が乱されても頑健であるはずです。本研究は、この「語順」と「形態素」のどちらにモデルがより強く依存しているかを、制御された環境で診断することを目的としています。

2. 手法 (Methodology)

本研究は、Universal Dependencies (UD) ツリーバンクを用いて、推論時に制御された摂動（Perturbation）を適用する診断フレームワークを提案しています。

対象モデルと言語

モデル: mBERT, XLM-R (事前学習済み、微調整なし)
言語: 英語 (EN), 中国語 (ZH), ドイツ語 (DE), スペイン語 (ES), ロシア語 (RU)
- 類型論的に多様性を持たせるため、語順固定型（EN, ZH）と形態素豊か・語順自由型（DE, ES, RU）を組み合わせました。

摂動条件 (Perturbations)

推論時に以下の操作を適用し、モデルの予測精度への影響を測定しました。

Full Scrambling: 文内のすべての単語トークンをランダムに並べ替える。
Part Scrambling: 機能語（前置詞、冠詞など）を固定し、内容語（名詞、動詞など）のみを並べ替える。
Head-Dependent Swap: UD 構文木に基づき、各「頭語（Head）」とその「従属語（Dependent）」の位置を交換する。
Lemma Substitution (+L): 文脈とマスクされたターゲットの両方を、その単語の「辞書形（Lemma）」に置換する。これにより、語形変化（時制、格、性など）の情報を剥奪し、モデルが形態素の表面形式ではなく語義そのものに依存しているかをテストします。

評価プロトコル

マスク対象: 1 文につき 1 つの内容語をマスクし、モデルに復元させます。
評価指標: 単語レベルの完全一致精度（Top-1 Accuracy）および Top-5 精度。
感度と相互作用: 各摂動による精度低下の割合（感度 $S$ ）と、摂動の組み合わせ（例：語順乱し＋辞書形化）が加法的なダメージを与えるか（非加法的な相互作用 $I$ ）を計算しました。

3. 主要な貢献 (Key Contributions)

類型論的評価フレームワークの提案: 多言語モデルが、異なる類型論的特徴（語順固定 vs 形態素豊富）を持つ言語において、どのように振る舞うかを体系的に評価するプロトコルを確立しました。
依存関係に基づく摂動の導入: 従来のランダムなシャッフルに加え、構文構造（Head-Dependent）を意識した交換操作を導入し、述語と項の関係を乱すことでモデルの構文理解能力をより深くテストしました。
形態素剥離診断 (+L) の適用: 文全体を辞書形に置換する「+L」条件を導入し、モデルが表面の語形変化に依存しているか、あるいは語順の乱れに対して形態素情報が補完的に機能するかどうかを検証しました。
オープンソース化: 評価コード、サンプリングスクリプト、バランス調整された評価データセットを公開し、再現性と拡張性を確保しました。

4. 結果 (Results)

mBERT と XLM-R における主要な知見は以下の通りです。

語順の支配的役割:
- Full Scrambling（完全な語順の乱れ）は、すべての言語・モデルにおいて単語レベルの復元精度をほぼゼロまで低下させました。
- Part や Head による部分的な乱れも、大きな精度低下を招きました。
- Top-5 精度においても、完全な語順乱れ条件下では正解語が上位 5 候補に含まれることは稀でした。これはモデルが語順に強く依存していることを示唆します。
形態素（+L）の影響:
- 中国語 (ZH): +L による影響はほぼゼロでした（表面形式と辞書形がほぼ同じため）。
- ドイツ語・スペイン語・ロシア語: +L を適用すると精度が大幅に低下しました。これはモデルが語形変化の情報を利用していることを示します。
- 重要: +L は、語順が失われた状況（Scrambling）において、精度を回復させることはありませんでした。語順の喪失に対する形態素情報の補完効果は確認されませんでした。
相互作用（非加法性）:
- 語順乱しと +L の組み合わせ（Full+L）によるダメージは、それぞれの単独ダメージの合計よりも小さくなる傾向（部分加法的、Sub-additive）が見られました。これは、語順と形態素という手がかりが「補完的」ではなく、「重複（Overlapping）」している可能性を示唆しています。
言語間の差異:
- 英語: 語順固定型であるため、Head-Dependent 交換などの構文乱れに対して特に脆弱でした。
- ドイツ語: 機能語の固定や形態素の豊かさにより、他の言語に比べて構文乱れへの耐性がわずかに高い傾向が見られました。
- トルコ語: 接辞が長く、単語分割（Subword）の制限により評価が困難でしたが、ベースライン精度が極めて低く、詳細な分析はフロア効果（Floor effect）により制限されました。

5. 意義と結論 (Significance & Conclusion)

本研究は、現在の多言語マスク言語モデルが、「語順（Word Order）」に強く依存しており、それが崩壊すると形態素情報だけでは復元できないことを実証しました。

モデルの脆弱性: 多言語モデルは、英語中心の事前学習データや構造に偏りがあり、語順が自由な言語や形態素が豊富な言語において、語順の手がかりを失うと急激に性能が落ちる「脆さ（Brittleness）」を持っています。
類型論的公平性: 語順に依存しすぎることは、形態素が豊富な言語に対するバイアスとなり、言語間の公平性を損なう可能性があります。
今後の方向性:
- 語順への過剰依存を減らすためのトレーニング目的（例：語順不変な補助タスク）の検討。
- 語形変化の構造を明示的に扱う予測ヘッドの開発。
- 人間との比較を通じた、信頼できない語順条件下でのモデルと人間の利用する手がかりの違いの解明。

結論として、多言語トランスフォーマーは「語順の作業員（positional workhorses）」として機能しており、文法的な柔軟性や類型論的な多様性に対する頑健性は、現状では限定的であると言えます。