あなたは、数千もの小さく非常にスマートなロボット（「エキスパート」と呼ばれます）が協力して、あなたのあらゆる質問に答える、大規模でハイテクな図書館を運営していると想像してください。人工知能の世界では、このセットアップは**混合専門家（Mixture-of-Experts: MoE）**と呼ばれます。このアイデアは素晴らしいものです。一つの巨大な脳がすべてを記憶しようとする代わりに、「ルーター」があなたの質問に最も適した特定のロボットへと送り届けるのです。これにより、コンピュータは不可能に巨大化したり遅くなったりすることなく、驚異的に賢くなることができます。

しかし、ここには落とし穴があります。これらのロボットには、怠けてお互いを模倣してしまうという悪い癖があります。もし彼らが全員、全く同じ答えを出し始めたら、システム全体が崩壊してしまいます。それは、巨大な図書館のすべての司書が、たった一冊の本を暗記することに決めてしまったようなものです。突然、他の何一つが見つけられなくなってしまいます。科学者たちはこれを**「エキスパートの崩壊（expert collapse）」**と呼んでいます。長い間、研究者たちはロボットがコピーすることを防ぐためにルールや罰則を追加しようとしてきましたが、なぜロボットがコピーしたがるのか、その根本的な理由を本当には理解していませんでした。彼らは、病気の原因を知ることなく、症状だけを治療しようとしていたのです。

張慶軍（Zhang Qingjun）によって書かれたこの論文は、これらのロボットの「脳波」を深く掘り下げ、なぜ崩壊が起きるのか、そしてどうすればそれを完全に止めることができるのかを解明しています。著者は、数学と物理学の楽しいアナロジーである流体力学（液体や気体の流れの研究）を巧みに組み合わせています。学習のプロセスを、パイプの中を流れる水に例えてみてください。時には、水は滑らかに、穏やかに流れます（穏やかな川のように）。またある時は、混沌として乱れます（激しい滝のように）。この論文は、ロボットが崩壊するのは、彼らの学習信号という「水」が乱れすぎている（タービュレントである）ためであり、それが彼らを全員同じ場所に押しやってしまうのだと主張しています。

ここでの大きな発見は、**$\Gamma$（ガンマ）と呼ばれる、この混沌を測定するための新しい方法です。これは、ロボットのための「乱れ計（turbulence meter）」のようなものです。論文では、もしロボットが同じ「出力空間（output space）」を共有しないようにすれば（つまり、他の誰も触れることのできない、彼ら専用のプライベートな棚を与えることができれば）、乱れは完全に止まることが証明されています。ロボットは互いにコピーすることをやめ、それぞれ独自の仕事をこなすようになります。著者は、まさにこれを行う「モザイク・タイル（Mosaic Tile）」**と呼ばれる新しいアーキテクチャを導入しました。これは、ロボットに自分たちのプライベートなゾーンを与えれば、彼らが古いことを忘れることなく、永遠に新しいことを学び続けられることを示しています。これは、ロボットに振る舞いを強制しようとするのではなく、そもそも失敗できないように図書館を設計するという転換です。

コピーキャット・ロボットの物語

ラボで何が起きたのかを詳しく見てみましょう。研究者たちは単純な観察から始めました。これらのAIモデルが学習するとき、多くの場合、すべてのエキスパートが全く同じ動きをするようになるという点です。それはまるで、ロボットたちが互いを見て、「おい、君は上手くやっているじゃないか、だから僕も君と全く同じことをするよ！」と言い合っているかのようです。これは、余分な計算能力を無駄にするため、非常に悪いことです。

この論文は、**「勾配経路仮説（Gradient Pathway Hypothesis）」*という新しい概念を導入しています。「勾配（グラディエント）」を綱引きのロープだと想像してください。通常のセットアップでは、ロープはすべてのロボットに接続されています。システムが学習しようとするとき、ロープを引きます。そして、ロープが共有されているため、それはすべての*ロボットを同じ方向に引っ張ります。これが「乱れた（turbulent）」流れです。論文は、ルーターがどのロボットに質問を送るかという自由度が高ければ高いほど、この共有された引きの力が強くなり、より速く、ロボットたちが単一の退屈なクローンへと崩壊していくことを示唆しています。

これを証明するために、著者たちは*$\Gamma$（ガンマ）*というツールを考案しました。$\Gamma$は、ロボットが何を言っているか*（それは単に彼らがスマートであるために似ているだけかもしれません）を見るのではなく、彼らが学習しようとしている方向*を見ます。

• 乱れた流れ（Turbulent Flow, $\Gamma > 0$）: ロボットたちが皆、同じ方向にロープを引いています。彼らは互いの間違いを補強し合い、崩壊していきます。これは標準的な「ソフト」なルーティングで起こります。
• 層流（Laminar Flow, $\Gamma \approx 0$）: ロボットたちが異なる方向に引いているか、あるいは全く引いていない状態です。彼らは独立して学習しています。これは、彼らが崩壊することのない「穏やかな川」の状態です。
• 負の整列（Negative Alignment, $\Gamma < 0$）: ロボットたちが互いに反対方向に引き合っています。これは、一人のロボットの利益が他方の損失となるゼロサムゲームです。

著者らは、猫や犬を認識するような小さなビジョンモデルから、物語を書くような大規模言語モデルに至るまで、多くの異なるモデルでこれを測定しました。標準的なセットアップでは、乱れ計（$\Gamma$）が上昇し、ロボットが崩壊することを発見しました。しかし、アーキテクチャを変更すると、計器はゼロになりました。

魔法の解決策：モザイク・タイル

では、どうすればロボットがコピーするのを止められるのでしょうか？論文は、罰則を与えて「ダメだ」と言うだけでは不十分だと主張しています。ルールの書き換えが必要です。解決策は**「出力空間の隔離（Output-Space Isolation）」**です。

再び図書館を想像してください。古い方法では、すべてのロボットがどの棚の本にも手を伸ばすことができました。もし全員が同じ人気の本に手を伸ばせば、混乱が生じ、コピーし始めてしまいます。新しい解決策である**「モザイク・タイル」**は、各ロボットに専用の、鍵のかかった棚を与えます。

• ロボットAは、棚1の本についてのみ話すことができます。
• ロボットBは、棚2の本についてのみ話すことができます。
• 彼らは物理的に、お互いの棚に触れることができません。

彼らがお互いの仕事に触れることができないため、「綱引き」のロープは切断されます。ロボットAの学習信号は、ロボットBに影響を与えません。論文は、これを行えば、乱れ計（$\Gamma$）は正確に0になることを数学的に証明しています。ロボットは崩壊を止めます。

著者らは、この「モザイク・タイル」アーキテクチャを用いてこれをテストしました。彼らは出力（モデルが出す答え）を、互いに重ならないチャンク（塊）に分割しました。

• **ビジョン（Vision）タスク（CIFAR-100など）において、この手法は継続学習タスクで82.1%から93.0%**の精度を達成し、忘却はゼロでした。
• **言語（Language）**タスク（物語の執筆など）においても、同様にうまく機能しました。
• 彼らは、3,600万パラメータから70億パラメータに及ぶモデルでこれをテストしました。あらゆるケースにおいて、「モザイク・タイル」のデザインは崩壊を阻止しました。

なぜ古い手法は失敗したのか

論文はまた、なぜこれまでの修正の試みが失敗したのかについても考察しています。科学者たちは以下のようなことを試みました。

• 一部のロボットを凍結する（変更不能にする）。
• 罰則を加える（似すぎている場合に罰金を科す）。
• ロボットを殺して再生させる（怠けているものをリセットする）。

論文は、これらの手法が「折れた足に絆創膏を貼るようなもの」であると指摘しています。一時的には助かるかもしれませんが、「ストレス」はシステムの別の部分へと移動してしまいます。もし一つのロボットを凍結すれば、圧力はルーターへと移動します。もしルーターを凍結すれば、圧力は共有された脳（エンコーダー）へと移動します。真に解決する方法は、その源泉である接続を断つこと、すなわち**「出力空間の隔離」**だけです。

著者らはこれを**「反ガウス演算階層（Anti-Gaussian Operator Hierarchy）」**と呼んでいます。彼らは、アーキテクチャの変更（モザイク・タイル）が、学習のトリック（罰則）よりもはるかに優れていることを発見しました。

1. アーキテクチャ（隔離）: 最良の方法。問題が発生する前に防ぎます。
2. 境界条件（凍結）: 出力空間も隔離されている場合に限り、有効です。
3. 勾配摂動（罰則）: 最も弱い方法。単独では機能しない一時的な解決策です。

AIにおける「レイノルズ数」

この論文の最も独創的な部分の一つは、AIの学習を、パイプの中を流れる水の流れと比較している点です。物理学では、レイノルズ数が、水が滑らかに流れる（層流）か、それとも混沌とした流れ（乱流）になるかを教えてくれます。著者らは、AIのためにこれに似た数値である $Re_{eff}$ を作成しました。

• $Re_{eff}$ が低ければ、学習は滑らかで安定しています。
• $Re_{eff}$ が高ければ、学習は混沌としており、ロボットは崩壊します。

彼らは、天候予報のように機能する「Re予測器（Re Predictor）」さえも構築しました。これは乱れ計（$\Gamma$）を監視し、実際に崩壊が起こる3から47エポック前に、崩壊を予測することができます。これは、エンジニアが、モデルが壊れ始める前に、理論的にそれを止めることができることを意味します。ただし、論文では、一度崩壊が始まってしまうと（水が乱れた状態になると）、それを止めることは非常に困難であると述べています。予防こそが唯一の真の治療法なのです。

大きな展望

論文は、「ガウス・アトラクター（Gaussian Attractor）」、つまりAIモデルは退屈で一様な状態へと崩壊する運命にあるという考えは、運命ではないと結論づけています。それは単に、設計が悪い結果に過ぎません。出力空間を隔離することで（ロボットにそれぞれのプライベートな棚を与えることで）、私たちはエキスパートが独立して学習し、決して忘れない「層流」の領域を作り出すことができます。

著者らは、4つの異なる系統のモデル（GPT-2, OPT, Qwen, SmolLM）と、2種類の異なるタイプのデータ（画像とテキスト）を用い、20以上の異なる条件にわたって検証を行いました。結果は一貫していました。出力空間を隔離すれば、崩壊は止まります。隔離しなければ、必ず崩壊します。

これは単なる小さな微調整ではありません。このようなシステムをどのように構築すべきかについての、根本的な転換です。ロボットを「違っていなさい」と戦うのではなく、ロボットが「違わざるを得ない」ようにシステムを設計するのです。この論文は、この「モザイク・タイル」のアプローチが、継続的に学習し、すべてを記憶し、決して忘れないAIを構築するための鍵となる可能性を示唆しています。これは、現代の人工知能における最大の悩みの一つを解決するものです。