What Makes Two Language Models Think Alike?
本論文は、神経活動を解釈可能な言語的特徴へとマッピングする新しい手法を導入し、43種類の多様な言語モデル間の類似性が、規模やアーキテクチャのクラスではなく、主にそのリリース日とモデルファミリーによって駆動されていることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ある部屋に、さまざまなシェフが集まっているところを想像してみてください。フランス料理の訓練を受けたシェフもいれば、日本料理のシェフもいますし、独学で学んだシェフもいます。彼らの仕事は皆同じ、レシピの「次の材料」を予測することです。
ここで研究者たちが投げかけた大きな疑問は、**「これらのシェフたちは、本当に同じ方法で材料について考えているのだろうか？」**ということです。
例えば、シェフが「猫がネズミを追いかけた（The cat chased the mouse）」という文章を見たとき、彼らはそれが「動物についての物語であること（構文/シンタックス）」に注目しているのでしょうか、それとも単に「猫」や「ネズミ」という特定の単語（語彙/ボキャブラリー）に注目しているのでしょうか？
旧来の手法： 「形」を測る
以前、科学者たちは、これらのシェフ（AIモデル）を、それぞれの内部にある思考の「形」を見ることで比較しようとしました。各シェフがカウンターの上にどのように材料を配置しているか、その写真を撮ることを想像してみてください。もし写真の幾何学的な形状が似ていれば、科学者たちはシェフたちの考え方が似ていると仮定していました。
しかし、これには問題がありました。それは**「ブラックボックス」**であったことです。この方法では、2人のシェフが材料を似たように配置していることは分かっても、「なぜ」そうなのかを説明することはできませんでした。例えば、両者が「色」ごとにグループ分けしているのか、あるいは「重さ」ごとにグループ分けしているのか、といった理由までは分からないのです。旧来の手法では、「なぜ」を説明することができませんでした。
新しい手法： 「言語的署名（Linguistic Signature）」
この論文は、シェフの心の中を覗き見るための、よりシンプルで新しい方法を紹介しています。単に配置の「形」を見るのではなく、**「個々の特定のルールが、そのシェフにとってどれほど重要か？」**を問うのです。
彼らは、**「メトリック学習エンコーディングモデル（MLEM）」と呼ばれるツールを作成しました。これは、シェフの乱雑で複雑な思考を、シンプルな「言語的特徴（Linguistic Features）」**の成績表へと変換する翻訳機の役割を果たします。
この成績表には、以下のような項目が並んでいます：
- 時制： その文章は過去のことか、それとも未来のことか？
- 主語： その文章は一人についてのものか、それとも複数人についてのものか？
- 文章構造： 単純な文章か、あるいは「帽子を被っている男」のような「関係節」を含む複雑な文章か？
このツールは、ルールが変わったときに、シェフの内部的な思考がどれだけ変化するかを測定します。もし、過去から未来へと時制を切り替えたときにシェフの思考が激しく動くならば、その特徴は成績表において**「高いスコア」を持つことになります。この成績表のことを、「言語的署名（Linguistic Signature）」**と呼びます。
実験： 43人のシェフ、10の家族
研究者たちは、43種類の異なるAIモデル（「シェフ」）をテストしました。これらのモデルは、異なる「家族」（例えば、Llamaファミリー、GPTファミリー、Mambaファミリーなど）に属しており、サイズ（極小から巨大まで）やアーキテクチャ（脳の作り方）もそれぞれ異なっています。
彼らは、すべてのモデルの**「言語的署名」**を、他のすべてのモデルと比較しました。
大きな発見： 「サイズ」ではなく「家族」と「時代」
結果は驚くべきものでした。研究者たちは、**「2つのモデルを似たものたらしめているのは、その大きさではなく、その親が誰であり、いつ生まれたかである」**ということを発見しました。
- 家族が最も重要： 同じ家族（例：すべての「Llama」モデル）のモデルは、たとえ一方が極小で、もう一方が巨大であっても、非常に似た署名を持っていました。彼らは同じ「トレーニングのレシピ」と建築的な設計図を用いて育てられたため、優先すべき言語的ルールも同じものを選び取るのです。
- リリース時期が重要： モデルがリリースされた日付は、類似性を予測する最も強力な要因でした。これは、「2024年に訓練されたシェフは、2020年に訓練されたシェフよりも互いに似た考え方をする」と言っているようなものです。これは、業界全体が時間の経過とともに技術（新しい活性化関数や、より優れた学習データなど）を共に進化させていくためです。
- サイズはスタイルを決定しない： 単にモデルを大きくすること（パラメータを増やすこと）で、突然、全く異なるタイプのモデルのように考え始めることはありませんでした。同じ家族であれば、小さなモデルも巨大なモデルも、依然として同じ「言語的な優先順位」を共有していました。
思考の「ループ」
研究者たちは、情報がモデルの層（レイヤー）を通過していく過程（まるでリレーレースのようにメッセージが伝わっていく様子）で、これらの署名がどのように変化するかも観察しました。
彼らは、同じ家族のモデルは**「同じ経路」**を辿ることを発見しました。彼らはある特定の焦点から始まり、中間層で複雑さのピークに達し、そして最後には再び単純な焦点へと戻っていきます。これは一種の「ループ」です。このことは、モデルのサイズが異なっていても、彼らは言語の問題を同じ「ダンスのステップ」で解決していることを示唆しています。
結論
要約すると、この論文は、AIがどれほど「大きく」あるいは「複雑」であるかだけで、その思考を理解すべきではないと主張しています。代わりに、そのモデルがどのようなルールを最も重視しているかというプロフィール、すなわち**「言語的署名」**を見るべきだとしています。
この研究は、**「アーキテクチャやスケールよりも、『家族』や『世代』の方が重要である」**ことを示しています。たとえ構造が異なり、サイズが違っていても、同じ家族と同じ時代に生まれたモデルであれば、おそらく同じ言語的特徴を優先するため、互いに「似たように考える」ことになるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。