Similarity All The Way Up: Multilingual Generalization in LLMs Relies on Language-Level Similarity Structures

ロボットに世界を理解する方法を教えようとしている場面を想像してみてください。単に辞書を与えるのではなく、何百万冊もの本、ウェブサイト、物語を読ませるのです。時間が経つにつれ、ロボットは物事が互いにどのように関連しているかという心の地図を作り始めます。コンピュータサイエンスの世界では、これを「大規模言語モデル（LLM）」と呼びます。これらのモデルを、インターネット上のほぼすべての内容を読み込んだ、超スマートなデジタル脳だと考えてください。しかし、ここに難しい点があります。彼らが読んだもののほとんどは英語なのです。スワヒリ語やアイスランド語のように、あまり目にしたことのない言語で話すよう求められると、彼らはしばしばつまずいてしまいます。

科学者たちは、なぜこのようなことが起こるのかを長年研究してきました。心理学における重要な概念は、私たちの脳（そしてスマートなコンピュータ）は、類似性に気づくことで学習するというものです。「犬」が何であるかを知っていれば、「狼」がどのようなものかを推測できます。なぜなら、両者は見た目も動きも似ているからです。これは「汎化（generalization）」と呼ばれます。心の地図の中で似たものをより良くグループ化できるほど、新しいものを推測するのが上手になります。しかし、この同じルールは言語全体にも適用されるのでしょうか？ これらのデジタル脳は、親族を整理する家系図のように、密かに言語を整理しているのでしょうか？ それが、この論文が答えを出そうとしている大きな問いです。

---

言語家族の大集結

インド・ヨーロッパ語族（英語、スペイン語、ヒンディー語、ロシア語を含む巨大なグループ）のすべての言語が招待された、巨大で目に見えないパーティーを想像してみてください。現実の世界では、これらの言語は従兄弟、兄弟、遠い親戚のように関係していることが分かっています。スペイン語とイタリア語のように、同じ家で育った双子のような言語もあります。一方で、英語とヒンディー語のように、数千年も互いに会っていない遠い親戚のような言語もあります。

この論文の研究者たちは、大規模言語モデル（LLM）がこの家系図を密かに知っているかどうかを知りたかったのです。彼らはモデルに「ねえ、これらの言語は関係がある？」と尋ねたわけではありません。代わりに、モデルの「思考」（その内部的な数学的処理）を見て、モデルがどのように言語をグループ化しているかを確認しました。それは、パーティーのゲストを観察し、その人が誰の隣に立っているかを見るようなものです。もしモデルがスペイン語とイタリアを近くに配置し、ヒンディー語からは遠ざけているとしたら、それは、明示的に教えられなくても、家族のつながりを理解していることを示しています。

発見：モデルは秘密の地図を持っている

チームは、古いものから新しい強力なものまで、12種類の異なるAIモデルをテストしました。彼らはモデルに38の異なる言語による数千の文章を入力しました。そして、特別な数学的トリックを用いて、モデルが各言語をどのように「感じて」いるかをマッピングしました。

結果は驚くべき、そして喜ばしいものでした：モデルは、言語の実際の家系図とほぼ同じ見た目の地図を、偶然にも作り上げていたのです。

家系図を描く系図学者と同じように、モデルは自然に言語を同じサブファミリーへとグループ化しました。ゲルマン語派（英語やドイツ語など）は一箇所に集まり、ロマンス諸語（フランス語やスペイン語など）は独自の輪を作り、スラヴ語派（ロシア語やポーランド語など）は自分たちのグループに固まりました。モデルは、教師から「これらはロマンス諸語です」と言われる必要はありませんでした。データを読むだけで、自力でそれを解明したのです。

なぜ一部のモデルはパーティーが得意なのか

しかし、ここにひねりがあります。すべてのモデルが等しく優れているわけではありません。研究者たちは、モデルが言語の地図をどれだけうまく整理できたかと、XNLIと呼ばれる難しいテスト（ある文が別の言語の文を証明しているか、矛盾しているか、あるいは無関係であるかを推測するテスト）でのパフォーマンスとの間に、直接的な関連性があることを見出しました。

このように考えてみてください。もし学生が、歴史の事実をすべて混ぜこぜにしてしまった、めちゃくちゃで混乱したノートを持っていたら、その学生はテストの問題に答えるのに苦労するでしょう。しかし、もしノートがトピックごとに完璧に整理されていれば、瞬時に答えを見つけることができます。この論文は、モデルが「言語のノート」を正しく整理できた（似た言語を近くに保った）場合、テストの問題を解く能力がはるかに高くなることを明らかにしました。

具体的には、多くの異なる言語のデータで訓練された（多言語モデル）モデルは、主に英語で訓練されたモデルよりも、この言語の家系図を描く上ではるかに優れた成績を収めました。それは、多言語モデルが大きく鮮明な地図を持っている一方で、英語のみのモデルは、ぼやけて不完全なスケッチでナビゲートしようとしているようなものです。

「スクリプト（文字）」の罠とその他の驚き

モデルが、紙の上での見た目（アルファベットや文字）によって言語をグループ化したのではないかと考えるかもしれません。例えば、ヒンディー語とウルドゥー語がどちらもデーブナーガリー文字を使用しているから、それらを似ていると考えたのではないか、といったことです。論文によれば、それは違います。表記法（正書法）は小さな影響を与えますが、それが主な理由ではありません。モデルは、ヒンディー語とウルドゥー語が言語学的な従兄弟であること、そしてペルシャ語（アラビア文字を使用）がアラビア語ではなく北インドの言語に関連していることを理解できるほど賢かったのです。モデルはフォントではなく、言語の「構造」を見ていました。

しかし、モデルは完璧ではありませんでした。彼らは時として、「孤立した」言語であるギリシャ語、ウェールズ語、アルバニア語などで少し混乱することがありました。一部のモデルでは、ギリシャ語とウェールズ語が奇妙な組み合わせとしてペアにされていました。これらは互いに密接な関係はありません。このことは、モデルが全体像を捉えることには長けている一方で、家系図のユニークで孤立した枝の部分でつまずくことがあることを示唆しています。

彼らはいつこれを学んだのか？

研究者たちは、モデルが訓練される過程を、赤ちゃんが歩き方を学ぶ様子を観察するように見守りました。彼らは、モデルが訓練の非常に早い段階（わずか100ステップの後）で、これらの言語グループへと言語を整理し始めたことを見出しました。これは、言語の「誰が誰と親戚か」を理解することは、特定の単語の詳細を学ぶよりも前の、スマートな言語モデルが最初に学ぶことの一つであることを示唆しています。

結論

この論文は、言語モデルの成功の秘訣は、単に多くの単語を暗記することではなく、言語が互いにどのように関連しているかという優れた「心の地図」を構築することにあると示唆しています。モデルが、スペイン語とイタリア語は近い従兄弟であり、英語とドイツ語は兄弟であることを理解していれば、ある言語から別の言語へのアイデアの翻訳がはるかに上手くなります。

これらのデジタル脳は、驚くほど歴史に長けているようです。彼らはインド・ヨーロッパ語族の家系図を学ぶための教科書を必要としませんでした。ただ世界を読み、パターンが自然に浮かび上がるのを待っただけなのです。そして、その地図を描くのが上手くなればなるほど、その地図上にあるあらゆる言語を話す能力も高まっていくのです。