💬 NLP

Multilinguality of Large Language Models From a Structural Perspective

本論文は、表現構造解析を通じて大規模言語モデルの多言語性を調査し、低リソース言語は高リソースおよび中リソース言語よりも英語から構造的に際立っていること、そして言語固有の事後学習が言語間の関係性を維持しつつこれらの構造を変化させることを明らかにしている。

原著者： Haruki Sakajo, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

公開日 2026-06-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Haruki Sakajo, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を、あらゆる言語が異なる本を表す、巨大な多層階の図書館だと想像してみてください。長い間、研究者たちはこの図書館がどのように本を整理しているのかを理解しようと試みてきました。これまでの研究の多くは、棚にある個々の「単語」（または「トークン」）に注目し、「英語の『cat』という単語は、日本語の『cat』とどれくらい似ているか？」といった問いを立ててきました。

しかし、この論文は異なるアプローチをとっています。著者たちは個々の単語を見るのではなく、図書館の「構造全体」を見ています。彼らはこう問いかけているのです。「建物全体はどのように配置されているのか？英語のセクションと日本語のセクションは、同じ建築様式に見えるのか、それとも全く異なる設計図に基づいて建てられているのか？」

以下は、彼らの発見を簡単な比喩を用いて解説したものです。

1. 単語だけを見る際の問題点

トークナイザー（テキストを単語に分解するツール）を、テキストを小さく整った破片に切り分ける「ハサミ」だと考えてみてください。英語では、ハサミはテキストを小さく整った破片に切り分けます。しかし、他の言語では、ハサミがテキストを巨大な塊にしたり、あるいは極めて細かく断片化したりすることがあります。そのため、「破片」のサイズが異なるため、単語ごとに比較することは、レゴブロックの山と砂の山を比較しようとするようなものです。どちらも「物質」ではありますが、それらがどのように構築されているかという大きな全体像を見落としてしまいます。

2. 新しいツール：「構造的X線（Structural X-Ray）」

著者たちは、STRUCTLENSと呼ばれるツールを使用しました。これは、単なるレンガを見るのではなく、図書館の「骨格全体」をスキャンするX線装置のようなものです。これは、モデルが文章を処理する際に、異なる部分がどのように互いに接続されているかを示す「家系図」を作成します。

彼らは、これらの家系図の間の「距離」を測定しました。もし英語の家系図がドイツ語の家系図と非常によく似ていれば、距離は小さくなります。もし英語の家系図が低リソース言語（ジングパ語など）の家系図と全く似ていなければ、距離は非常に大きくなります。

3. 主な知見

「豊かな」言語 vs 「貧しい」言語の境界線
研究では、図書館がどのように構成されているかについて、明確な分裂が見つかりました。

高リソースおよび中リソース言語（「豊かな」近隣地域）： ドイツ語、日本語、中国語、インドネシア語などの言語は、よく整備されたネットワークを持つ近隣地域のようなものです。これらは異なっていても、内部構造においては非常に似た扱いを受けます。これらは共通の建築設計図を共有しています。
低リソース言語（「遠隔地の」村々）： データが少ない言語（アラネ語、グアラニー語、ジングパ語など）は、英語とは構造的に大きく異なります。これらは、全く異なる建築様式を持つ遠隔地の村のようなものです。モデルがそれらを「読む」ことができたとしても、その内部的な処理方法は、英語の処理方法とは根本的に異なっています。

「コサイン類似度」の罠
著者たちは、科学者が一般的に使用する測定法（「コサイン類似度」と呼ばれるもの）が、絵画の「平均的な色」を見ているようなものであることを発見しました。

赤と青の絵の具を混ぜると、平均的には紫に見えるかもしれません。
赤と青の比率を変えて混ぜても、平均的にはまた紫に見えるかもしれません。
罠：モデルによる英語と日本語の「平均的な」見え方は非常に似ている（高いコサイン類似度を持つ）ことがあり、それによって、モデルが両方を等しく理解しているように見せてしまうことがあります。
現実： 「構造的距離（X線）」は、絵の具の「パターン」が全く異なることを明らかにします。モデルは、たとえ「平均」が同じに見えたとしても、日本語の単語を英語の単語とは全く異なる内部パターンで整理しているのです。

「専門的なトレーニング（事後学習）」の影響
研究者たちは、一般的なモデルを取り上げ、特定の言語（日本語など）に対して追加のトレーニングを行った場合に何が起こるかも調査しました。

比喩： 全ての人向けに家を建てる一般的な請負業者を想像してください。もしあなたがその業者に、特定のタイプの「日本家屋」を建てるよう依頼すれば、彼らはその家の細部（屋根や引き戸など）に非常に詳しくなります。
発見： モデルは日本語に習熟し、日本語のセクションの内部構造はより洗精され、独特なものになります。しかし、日本語セクションと英語セクションの間の距離は、全く変わりません。モデルは、日本語を英語とどのように関連付けるかという仕組みを変えたのではなく、単に日本語のセクション自体を磨き上げただけなのです。

まとめ

要約すると、この論文は、AIがどのように異なる言語を扱うかを真に理解するためには、単に単語を数えたり平均的な類似性を見たりするだけでは不十分であると主張しています。私たちは、AIがどのように考えるかという「構造的な骨格」を見なければなりません。

彼らの結論は以下の通りです：

親しみのある言語（データが多い言語）は、似たような内部「アーキテクチャ」を共有している。
馴染みのない言語（データが少ない言語）は、モデルが技術的に読み取ることができたとしても、全く異なる内部アーキテクチャを持っている。
専門的なトレーニングは、特定の言語の内部構造を向上させるが、その言語がモデルの思考の中で他の言語とどのように関連するかを変えるわけではない。

これは、AIモデルが多言語化を進めている一方で、その「脳」の奥深くでは、「豊かな」言語と「貧しい」言語を根本的に異なる方法で扱っていることを理解する助けとなります。

技術要約：構造的観点からの大規模言語モデルの多言語性

問題提起

大規模言語モデル（LLM）は、多言語コーパスを用いた事前学習や継続的な事後学習を通じて多言語能力を示してきたが、これまでの多言語性の分析は、主にトークン（またはサブワード）レベルに限定されている。先行研究では、Logit Lensのようなツールを用いて隠れ状態をシンボルとして解釈したり、トークン表現の幾何学的性質を分析したりしてきた。しかし、このようなトークン中心のアプローチでは、多様な形態統語的特性といった言語固有の構造的性質を捉えることができない。さらに、トークナイザーは言語によって大きく異なるため、LLMが処理する最小単位のセマンティックな粒度が不一致となり、トークンレベルの分析では、LLMがいかにして複数の言語を表現し処理しているかを包括的に理解することに限界がある。

手法

これらの限界に対処するため、本研究は、トークンレベルの分析を超えて入力シーケンス全体の構成を検証するという、多言語表現に対する構造的観点を提案する。

1. STRUCTLENSによる構造分析
著者らは、Transformerモデルの残差ストリーム内におけるトークン表現間のペアごとのL2距離からツリー構造を導出する手法であるSTRUCTLENS（Sakajo et al., 2026）を利用する。

全域木（Spanning Tree）の構築: 各レイヤー $\ell$ および各言語について、トークン間の類似性に基づいた最大全域木を構築する。隣接行列 $A$ は、隠れ状態 $h^{(\ell)}_i$ と $h^{(\ell)}_j$ の間のL2距離の逆数によって定義される。
構造的距離の測定: 異なる言語間の内部構造を比較するために、2つの言語の全域木間の**木編集距離（Tree Edit Distance: TED）**を計算する。この距離は、異なるトークンシーケンス長を持つ言語間での公平な比較を保証するために、より長い入力長によって正規化される。語彙的な不一致ではなく、純粋に構造的な差異に焦点を当てるため、再ラベル付けのコストはゼロに設定される。

2. 実験設定

モデル: 本研究では、多言語事前学習済みモデル（Gemma3 4B PT, Qwen3 8B Base）と、英語中心の単一言語モデル（Olmo3 7B Base）の両方を評価する。また、継続的な事前学習の効果を分析するために、言語特化型の事後学習済みモデル（日本語用のQwen3 Swallow 8B CPT）も対象に含める。
言語: 高リソース・中リソース言語（英語、ドイツ語、日本語、中国語、インドネシア語）および低リソース言語（アラネース語、グアラニー語、ジンポー語）を含む、多様な言語セットを選択する。
データセット: FLORES+からの並列翻訳文ペア、および対応するジンポー語のデータを使用する。
比較指標: 構造的な知見を文脈化するために、非構造的な指標（パープレキシティ、機械翻訳性能（BLEU, chrF, TER）、平均表現のコサイン類似度、L2距離）も測定する。

主な貢献と結果

1. 構造的距離によるリソースに基づくクラスタリングの解明
本研究は、構造的距離（TED）が、コサイン類似度とは異なる方法で、リソースの可用性に基づいて言語を区別することを発見した。

多言語モデル: 多言語モデル（Gemma3, Qwen3）において、高リソースおよび中リソース言語は、比較的均一な内部構造と英語からの低い構造的距離を持つクラスターを形成する。対照的に、低リソース言語は英語に対して著しく高い構造的距離を示す。
単一言語モデル: 単一言語モデルであるOlmo3 7B Baseは、英語と他のすべての言語との間に明確な分離を示し、全般的に高い構造的距離を示しており、これはその英語中心の学習を反映している。
コサイン類似度との対比: 多言語モデルにおいて、英語と他の言語の間のコサイン類似度は、レイヤーを通じて高く均一に保たれている（これは整列された抽象的なセマンティック・セントロイドを示唆している）が、構造的距離は顕著な内部の関係性の違いを明らかにしている。これは、表現空間の「中心」は整列している可能性があるものの、トークンの関係性の内部トポロジーは言語の習熟度に基づいて異なっていることを示している。

2. 言語特化型事後学習の影響
本研究は、言語特化型の事後学習（ターゲット言語データによる継続的な事前学習）がモデルの構造をどのように変化させるかを調査する。

ターゲット言語の分化: 日本語への事後学習（Qwen3 Swallow 8B CPT）は、日本語の内部構造的距離を著しく変化させ、事前学習時の状態とは異なるものにする。
言語間関係の保持: 決定的なことに、ターゲット言語の内部構造は変化するものの、言語間の構造的距離（例：英語と日本語の間、あるいは英語と中国語の間）は大部分において不変である。これは、事後学習が、事前学習中に確立された広範な構造的関係を崩すことなく、特定の言語の内部組織を洗練させることを示唆している。

3. 言語的特徴の影響
低リソース言語の間では、構造的距離は英語との言語学的類似性と相関している。英語に近い類型論的特徴を持つアラネース語は、英語から遠いジンポー語よりも低い構造的距離を示す。このことは、言語的類似性が、低リソース言語であっても表現空間における構造的整列を促進することを示唆している。

意義と主張

本論文は、構造的観点からの表現が、従来のトークンレベルやセントロイドベースの指標では捉えられない、言語の類似性の異なる尺度を提供すると主張している。

包括的な視点: 本研究の結果は、LLMがTransformerのレイヤーを通じて進化する言語固有の構造パターンに従って、入力シーケンスを整理していることを示している。
習熟度 vs 未習熟度: 構造的距離は、モデルの「習熟度」の指標として機能する。多言語モデルは、習熟した（高リソース）言語間では高い構造的類似性を示すが、未習熟な（低リソース）言語に対しては大きく乖離する。
適応のメカニズム: 本研究は、言語特化型の事後学習が、言語間のグローバルな構造的関係を維持しながら、ターゲット言語の内部構造的組織を修正することによって機能することを明らかにしている。

著者らは、この構造的観点が、LLMがいかにして複数の言語を処理しているかを理解するために不可欠であると結論付けており、モデルが内部的な構造組織を通じて習熟した言語と未習熟な言語を区別していること、そして事後学習が、事前学習中に学習された多言語間の関係を消去することなく、特定の言語のパフォーマンス向上を可能にすることを強調している。