💬 NLP

Language models struggle with compartmentalization

本論文は、大規模言語モデルが同一の潜在概念（異なる言語やプログラミングパラダイムなど）の多様な表現を共有内部表現に統合することにしばしば失敗し、その結果として冗長な学習、サンプル効率の低下、および概念表現の数に基づく介入効果の位相転移を引き起こすことを示している。

原著者： Thomas Vincent Howe, David Wingate

公開日 2026-05-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Thomas Vincent Howe, David Wingate

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、この論文を平易な言葉と創造的な比喩を用いて解説したものです。

大きなアイデア：「並行宇宙」の問題

ある学生が、非常に頭がよいが、とても奇妙な癖を持っていると想像してください。その学生は、書かれ方次第で、全く同じ事実を、二つ完全に異なる無関係な秘密であるかのように扱います。

もしあなたが英語で「空は青い」と伝えれば、その学生はそれを「英語ノート」に書き留めます。
もしあなたがスワヒリ語で「空は青い」と伝えれば、その学生は別の「スワヒリ語ノート」に書き留めます。
彼らは、この二つのノートが同じことを話していることに決して気づきません。相互参照もしません。「ああ、これはもう知っている！」とは言いません。

この論文はこの振る舞いを**「分節化（Compartmentalization）」**と呼んでいます。

著者たちは、大規模言語モデル（LLM）がしばしばこのように行っていると主張しています。彼らは「空は青い」という概念を理解する一つの巨大で効率的な脳を構築するのではなく、出会うあらゆる言語、プログラミングコード、書き方のスタイルごとに、別々の冗長な脳を構築します。これは彼らの脳力（容量）を無駄にし、学習を遅くします（サンプル効率の低さ）。

実験：「魔法の語彙」のトリック

これが実際に起こることを証明するために、研究者たちは統制された実験を行いました。彼らは単に異なる言語を使うだけでなく、モデルに同じデータを全く異なるものとして見せるよう強制する「魔法のトリック」を用いました。

比喩：
すべての本が同じ言語で書かれている図書館を想像してください。しかし、司書には以下のようなルールがあります。

本が左の棚にある場合、「Apple」という単語は「Apple」と書かれます。
本が右の棚にある場合、「Apple」という単語は「Banana」と書かれます（意味は同じですが）。

研究者たちは、「左の棚」と「右の棚」が完全に異なる辞書を持つモデルを作成しました。彼らは、棚に応じて単語を入れ替えた、全く同じ物語をモデルに与えました。

結果：
モデルは要点をつなげることができませんでした。それは左の棚の物語を学び、右の棚の物語も学びましたが、それらを二つの全く別のタスクとして扱いました。

コスト： 同じことを二度学習していたため、それを上手にこなすためにより多くのデータが必要でした（サンプル効率の低さ）。
ボトルネック： 同じ知識の二つのコピーを保存していたため、「脳のスペース」がより早く枯渇しました（容量コスト）。

「翻訳」の罠

研究者たちは一般的な解決策を試みました。彼らはモデルに「翻訳ペア」を与えました。「左の棚ではこれが『Apple』で、右の棚ではこれが『Banana』です」と示しました。

驚き：
モデルはほぼ瞬時に翻訳ルールを学びました。「Apple」を「Banana」に完璧に翻訳できました。しかし、これでは分節化を止めることにはなりませんでした。それは依然として二つの概念を別々の精神的な箱の中に保持し続けていました。それは、文を完璧に翻訳できるが、それでも根本的な意味が同じであることを理解していない学生のようなものです。

彼らは、この対策が機能し始めたのは、モデルに膨大な量の翻訳データを与えたとき、あるいは「重み減衰（weight decay）」と呼ばれる特定の学習技法（モデルの思考を単純化するよう優しく促すもの）を用いたときだけであることを発見しました。

「相転移」

この論文は、**「相転移」**と呼ばれる奇妙な現象を発見しました。
それは電気のスイッチのようなものです。

2 つの区画（左/右の棚）がある場合、モデルは頑固で、知識を共有しません。
8 つの区画がある場合、突然、十分な翻訳データがあれば、モデルは「パチン」と音を立てて、すべての区画間で知識を共有し始めます。

モデルは、問題が個別に保つにはあまりにも複雑になったときだけ、脳を統合すべきだと realization するようです。

現実世界の例

研究者たちは、この現象が「魔法の図書館」の外でも起こるかどうかを確認するために、現実世界のシナリオでこれをテストしました。

多言語学習： 彼らは小さなモデルを英語と中国語で学習させました。その結果、小さなモデルの場合、英語と中国語の知識は実際には混ざり合わなかったことがわかりました。モデルは本質的に「分節化」されており、それらを一つの統合された理解ではなく、別々のタスクとして扱っていました。
伝記対 Q&A： 彼らは人物に関する事実を二つの形式でモデルに与えました。
- 形式 A：伝記の段落（「ジョンはニューヨークに住む医師です」）。
- 形式 B：Q&A ペア（「ジョンは誰ですか？ニューヨークの医師です」）。
- 惨事： モデルが両方の形式を同時に学習しようとすると、それらは互いに干渉しました。モデルは混乱し、一つの形式だけを学習した場合よりもパフォーマンスが低下しました。それは一つの手に重い重り二つを持とうとするようなもので、互いに打ち消し合っていました。

良い知らせ：解決可能

最も重要な発見は、これは AI の仕組みにおける根本的な欠陥ではなく、モデルが陥ってしまう単なる悪い癖だということです。

研究者たちは、学習の開始時（または学習後）に、ある区画から別の区画へ知識を手動でコピーすれば、モデルは完璧に機能することを示しました。これは、モデルが知識を共有する能力があることを証明していますが、標準的な学習プロセス（SGD）は、それを効率的に行う方法を自然には見つけ出さないということです。

まとめ

問題： AI モデルは、異なる方法（異なる言語、異なる形式）で提示された同じ事実を、全く無関係なタスクとして扱うことが多い。
結果： これは彼らのメモリを無駄にし、学習を遅くする。
「翻訳」の失敗： 単にモデルに形式間の翻訳方法を示すだけでは、この問題を解決するには不十分である。彼らは概念が同じであることを理解するために、はるかに多くのデータや特定の学習の促しを必要とする。
教訓： AI モデルは現在「分節化」されている。彼らは、一つの事実が言われうるすべての方法のために、脳の中に別々の部屋を持っている。事実がすべて一緒に住む一つの大きな部屋を持っているのではなく。この論文は、これらの部屋を統合するのを助けるためのより良い学習方法が必要だと示唆している。

技術的概要：言語モデルは分節化に苦戦する

問題定義

大規模言語モデル（LLM）は、同じ潜在概念が複数の異なる形式（例：英語とスワヒリ語の事実、Python と Haskell の関数、または形式言語と自然言語の命題）で提示されたデータを用いて訓練されています。モデルがこれらを関連あるものと認識し、統計的強度を共有することが望ましい一方で、最先端のモデルはしばしばそのように機能しません。

本論文は、**分節化（compartmentalization）**を、モデルが統合された潜在データ生成プロセスの $c$ 個の異なる提示を、部分的または完全に独立したタスクとして扱う現象と定義します。最悪の場合、モデルはそれらの間で情報を均等化することなく、各提示に対して並列な内部表現を学習します。これにより、2 つの主要な非効率性が生じます：

サンプル非効率性：各提示は、自身のデータシェアからのみ恩恵を受けます。ある提示がデータの割合 $\epsilon$ を占める場合、モデルは統合された提示と比較して、構造を学習するために $1/\epsilon$ 倍多くのサンプルを必要とする可能性があります。
容量競合：冗長な表現は有限のモデル容量を消費します。分節化されたモデルは、統合されたモデルよりも早く飽和に達し、データ量を増やしても検証損失が高い値で頭打ちになる可能性があります。

手法

分節化を分離して研究するために、著者は、表現共有を通常促す自然な構造的な手がかり（部分語の重複や構文規則性など）を排除する「最悪ケース」の実験的構成を提案します。

トークナイザのトリック

著者は、トークナイザを修正することで、統計的に同一のデータの $c$ 個の異なる提示を作成します：

基本語彙サイズ $V$ を $c$ 倍に増やし、$cV$ 個のトークンからなる結合語彙を作成します。
提示 $j$ でデータを符号化するには、トークン ID に $jV$ をオフセットします。
これにより、同じ基盤テキストが、分節間で完全に交差しないトークンの集合で表現され、モデルが共有構造を発見しない限り、 $c$ 個の独立したマッピングを学習せざるを得なくなります。

実験設定

モデル：FineWeb の約 1310 億トークンで訓練された GPT スタイルのデコーダ。
スケール：110 万パラメータから約 10 億パラメータまでの 6 つのモデルサイズを対象とした実験。
訓練：モデルを収束まで訓練（Chinchilla 最適化に対して過剰訓練）し、容量の限界を観察します。
ベースライン：単一分節モデル（ $c=1$ ）と分節化モデル（ $c \in \{2, \dots, 8\}$ ）を比較します。

主要な貢献と結果

1. 分節化のコストの定量化

著者は、分節化が分節数（ $c$ ）に比例して増大する重大なコストを課すことを実証します：

サンプル効率の低下： $c$ が増加するにつれ、特定の検証損失に到達するために必要な訓練ステップ数が線形に増加します。例えば、 $c=8$ の場合、モデルは $c=1$ のベースラインと同じ損失に到達するために、はるかに多くのステップを必要とします。
容量コスト：最終的な検証損失は、 $c$ が増加するにつれてより高い値で頭打ちになり、モデルが交差しない表現を維持することを強いられた場合、データを効率的に表現できないことを示しています。

2. 統合された解の存在

本論文は、強度を共有できないことがアーキテクチャやデータの本質的な限界ではなく、最適化プロセス（SGD）が特定のパラメータ設定を見つけることに失敗していることを証明します：

初期化の複製：モデルを、ランダムな初期化ではなく、すべての $c$ 個の分節に基本語彙の埋め込みをコピーすることで初期化した場合、 $c=1$ のベースラインに匹敵するサンプル効率を達成します。
事後パラメータの複製：訓練済みの $c=1$ モデルを、学習済み埋め込みを複製することで $c$ 分節モデルに変換できます。一時的な初期損失のスパイクの後、モデルは容量オーバーヘッドなしで元の性能のプラトー上で訓練を再開します。
示唆：統合された解は存在し到達可能ですが、ランダムな初期化からの標準的な訓練はそれらを見つけることができません。

3. 標準的介入の限界

著者は、表現共有を促進するための一般的な戦略をテストし、それらがしばしば不十分であるか、位相遷移を示すことを発見しました：

ペア化された「翻訳」データ：同じテキストが 2 つの分節に現れるデータ（翻訳タスクとペア化）を導入しても、小さな $c$ $c$ に対しては分節化を減少させません。モデルは一方の分節から他方の分節のトークンを予測する翻訳タスクをほぼゼロの損失で学習しますが、分節間での容量競合は続きます。
- 位相遷移：分節化の減少（損失プラトーの打破）は、 $c$ 依存の閾値を越えた後（例：高い翻訳比率での $c=8$ ）にのみ発生します。
- 重み減衰：積極的な重み減衰はこの位相遷移を加速し、閾値をより低い $c$ の値にシフトさせます（例： $c=8$ から $c=6$ へ）。
対照的アライメント（InfoNCE）：分節間での同一テキストの中層表現を整合させるための補助的目的関数は、同様の挙動を示します。 $c=2$ では測定可能な利益はなく、 $c=4$ では modest な利益、 $c=6$ と $c=8$ では「分節化税」の顕著な回復をもたらします。

4. 自然データに関するケーススタディ

著者は、概念を検証するためにフレームワークを実世界のシナリオに適用します：

多言語訓練：英語と中国語のウィキペディアデータでの訓練は、小規模モデル（10 億パラメータ未満）が高い分節化を示すことを示しています。共有トークナイザを用いた多言語モデルの性能は、「分節化された」ベースライン（交差しないトークナイザを使用）と密接に追従し、訓練の初期段階における提示間情報の共有が低いことを示唆しています。
合成伝記対 Q&A：事実を伝記パラグラフまたは Q&A ペアのいずれかで提示する合成タスクは、破壊的な容量競合を明らかにします。共有トークナイザで共同訓練された場合、モデルは単一の形式で訓練された場合と比較して、両方の形式で性能が低下します。しかし、形式が分節化（交差しないトークナイザ）された場合、伝記形式の性能は著しく向上し、共同訓練の失敗は容量の欠如ではなく、共有パラメータにおける干渉によるものであることを示しています。

意義と主張

本論文は、言語モデリングの目的関数が、同じ概念の異なる提示間での表現を一貫して統合するとは限らないと主張します。主な要点は以下の通りです：

分節化は現実の現象である：LLM は頻繁に、異なる提示（言語、形式、コード）間で統計的強度を共有することに失敗し、冗長な学習と容量の浪費を招いています。
最適化の失敗：表現を統合できないことは、アーキテクチャの能力不足によるものではありません。統合された解は存在し、特定の初期化を通じて到達可能ですが、標準的な SGD 訓練はそれらを見つけることができません。
学習における位相遷移：翻訳データや対照的損失などの介入は、性能を線形的に向上させるわけではありません。代わりに、データ比率やモデルの複雑さ（ $c$ ）の特定の閾値を超えた後にのみ効果が現れる位相遷移を示します。
効率性への示唆：これらの発見は、モデルが想定されているほど互いから「学習していない」可能性があるため、現在の訓練パラダイムは、多面的なデータを扱う際に本質的にサンプル非効率かつ容量非効率であることを示唆しています。

著者は、その発見が小規模モデルに基づいており、分節化はより大規模なスケールでは減少する可能性があると控えめに述べていますが、最先端モデルからの既存の証拠はこの現象が持続していることを示唆しています。彼らは、将来の研究における表現共有の測定基準として、トークナイザに基づく構成を提案しています。