Escaping Low-Dimensional Overlap: Multi-Task Model Merging via High-Dimensional Sparse Disentanglement

急速に進化する人工知能の世界において、研究者たちは、一度に多くのことをこなせるマシンを構築しようと絶えず試みています。例えば、数学を習得するのに何年も費やした学生、コーディングの達人となった学生、そして複雑な指示に従うエキスパートである学生を想像してみてください。かつては、これらのスキルすべてを使用するために、コンピュータはそれぞれの主題に特化した3つの別々のプログラムを実行する必要がありました。これは、膨大なコンピュータメモリとエネルギーを必要とする非効率な方法でした。よりエレガントな解決策は、これら個別の専門家を、一つの多才なモデルへと統合することです。「モデル・マージング（モデル統合）」として知られるこのプロセスは、異なる専門プログラムの「知識」を、ゼロから再学習させることなく、一つの統一された脳へと融合させることを目的としています。しかし、この融合は非常に困難なことで知られています。2つの異なる指示のセットを混ぜ合わせると、それらはしばしば衝突します。コンピュータは混乱し、結果として得られるモデルは、異なるスキルがマシンのメモリ内の同じ領域を奪い合っているかのように、すべてのタスクにおいて性能が低下してしまいます。

この問題の核心は、これらの人工的な脳がどのように情報を保存しているかにあります。ニューラルネットワークの内部では、異なるスキルがしばなる物理的な経路を共有することがあり、研究者はこれを「重ね合わせ（superposition）」と呼んでいます。それはまるで、複数の異なるアイデアが、同時に同じ狭い廊下を通り抜けようとしているようなものです。研究者が2つのモデルの重みを単純に足し合わせようとすると、これらの重なり合うアイデアが互いに干渉し合い、有用な情報が失われる混沌とした状態を作り出してしまいます。これを修正するためのこれまでの試みは、元の混雑した空間の中でその混乱を解こうとするものでした。具体的には、モデルの一部を切り取ったり、数値を再スケーリングしたりする方法です。しかし、干渉が深刻な場合、これらの手法は、絡まったワイヤーの束を、単に結び目だけを見て整理しようとするようなものであり、回路を損傷させることなく個々の糸を完全に分離することはできません。

ある研究チームは、視点を全く変えることでこの問題を解決する新しい方法を提案しました。彼らは、混雑した廊下の中でワイヤーを解こうとするのではなく、ワイヤーをより広く、空いている部屋へと移動させることを提案しています。彼らはこのアプローチを「高次元疎な解きほぐしマージング（High-Dimensional Sparse Disentanglement Merging）」と呼んでいます。研究者たちは、「スパース・オートエンコーダ（Sparse Autoencoder）」と呼ばれる、翻訳機のようなツールを使用しました。これは、特定のタスクからの絡まった指示を取り込み、長く単純な、明確に区別された特徴のリストへと変換するものです。この新しいリストは元の指示よりもはるかに長いため、各特徴には専用のスペースが割り当てられ、コンピュータはどの知識が数学に属し、どれがコーディングに属し、どれが指示に従うことに属するのかを正確に把握できるようになります。情報が高次元の広々とした部屋の中で分離されると、研究者は異なるスキルが互いの足を引っ張り合うことなく、関連する部分を慎重に組み合わせることができます。結合が完了した後、翻訳機は、モデルが使用できる元の形式へと、このクリーンで分離されたリストを再び変換します。

しかし、巨大なモデルのすべての層をこの新しい形式に翻訳することは、非常に時間がかかり、コストもかかります。これを解決するために、研究者たちは「グループ・ランク・ゼロ次オプティマイザ（Group-Ranked Zeroth-Order Optimizer）」というスマートな選択手法を導入しました。このツールは偵察兵のように機能し、複雑な勾配を計算することなく、微小でランダムな調整を行うことで、モデルのどの部分が特定のタスクにとって最も重要かを迅速にテストします。これにより、最も重要な層に対してのみ、高価な翻訳と分離のプロセスを適用し、残りの部分はより単純で高速な手法を用いてマージすることができます。これにより、深い分離の恩恵を得つつ、システムが効率性を維持することを保証しています。

研究者たちは、強力な人工知能システムであるQwen2.5シリーズの言語モデルを使用して、この新しいフレームワークをテストしました。彼らは、数学的推論、コード生成、および複雑な指示への追従といったタスクのためのエキスパートモデルを作成しました。これらのエキスパートを伝統的な手法でマージした場合、結果はしばしば期待外れであり、困難なタスクにおける性能は著しく低下しました。対照的に、彼らの新しい手法は、既存の技術を一貫して上回りました。70億パラメータの大型モデルにおいて、彼らのアプローチは数学、コーディング、指示追従のタスク全体で平均スコア68.49を達成し、従来の最良の手法を明確な差で打ち破りました。この改善は、高度に競合するシナリオにおいてさらに劇的でした。安全性のアライメントを含む4つの異なるタスクを、より小規模な15億パラメータのモデルでマージしようとした際、伝統的な手法では平均スコアが15.45まで崩壊しました。一方、新しい手法は36.48のスコアを維持し、数学やコードを行う能力を維持しながら、厳格な安全ガイドラインを遵守することを可能にしました。

この研究は、モデル・マージングの成功の鍵は、単に数値をどのように混ぜるかではなく、どこで混ぜるかにあることを示唆しています。タスクの情報を、特徴が明確に区別できる高次元空間へと投影することで、研究者たちは、これらのシステムを悩ませる干渉を軽減することができました。彼らは、最も重要な特徴を活性化させたまま他の特徴を無視する特定の技術を用いる、改良されたオートエンコーダが、この成功に不可欠であったことを見出しました。さらに、彼らのレイヤー選択ツールは、この複雑な分離をモデルのすべての部分に適用する必要はなく、重要な層に焦点を当てるだけで十分であることを証明しました。結果は、このアプローチが、追加のトレーニングデータや高価な再学習を必要とせずに、複数の相反するタスクをこなすことができる汎用モデルを構築するための堅牢な道を提供することを示しています。この手法は、翻訳ツールのセットアップに初期の計算コストを要しますが、その見返りとして、古い技術で作られたものよりもはるかに優れた専門スキルを保持するモデルが得られます。この研究は、複数の人間のタスクが織りなす複雑な風景の中を、道を見失うことなく進んでいける、より有能で多才な人工知能システムを構築するための具体的な道筋を示しています。