Output Dilution: Redundant but Fragile Representations in MoE Models
この論文は、Mixture-of-Experts（MoE）モデルは、高密度なモデルと同様に道徳的内容を冗長にエンコードしている一方で、その表現は「出力の希薄化（output dilution）」によって著しく脆弱であることを明らかにしている。すなわち、活性化したエキスパートの平均化が信号強度を劇的に低下させるため、ルーティングが安定しているにもかかわらず、エンコードされた情報がノイズによって容易に圧倒されてしまうのである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人工知能の急速に進化する分野において、研究者たちは大規模言語モデルがどのように「思考」しているのかを理解しようと絶えず試みています。物語を書き、問題を解決し、質問に答えることができるこれらのシステムは、膨大な数学的接続のネットワークから構築されています。これらのネットワークの一般的な設計の一つに、「混合エキスパート（mixture of experts）」と呼ばれるものがあります。コンピュータが文章を処理するたびに、少数の専門家グループのみが作業を許可され、残りは沈黙しているという、大きな専門家チームを想像してみてください。このアプローチは、各タスクに対してより少ないリソースを使用することで、コンピュータをより高速かつ効率的にすることを目的としています。科学者たちが、これらのモデルを人間の価値観に適合させること（モデルが倫理的かつ安全に振る舞うようにすること）を研究する際、この構造は魅力的な可能性を提示します。もし道徳的な推論が特定の隔離された専門家グループによって扱われているのであれば、研究者は、他のシステムを乱すことなく、そのグループだけを調整したり削除したりして、悪い振る舞いを修正できる可能性があるからです。それは、複雑な問題に対する、クリーンで外科的なアプローチです。
しかし、OLMoEと呼ばれる特定のオープンソースモデルを用いた新しい研究により、この希望は的外れであることが判明しました。研究者たちは、これらの「エキスパート」モジュールが実際に道徳的推論に特化しているのか、それともすべてが同じことを行っているのかを検証することに乗り出しました。また、これらの道徳的な信号が実際にどの程度強いのかもテストしたいと考えました。結果は驚くべきものでした。研究の結果、モデルには専用の道徳専門家チームは存在しないことが分かりました。その代わりに、ネットワークのあらゆる層にわたるすべての専門家モジュールが、同じ道徳的情報を含んでいるのです。さらに重要なことに、この研究は、この道徳的情報は存在するものの、極めて脆弱であることを発見しました。それはシステム内に存在してはいるものの、非常に弱く表現されているため、ごくわずかなデジタルノイズによってさえ消し去られてしまう一方で、同規模の標準的なモデルであれば、同じ程度の乱れを容易に耐え抜けることが分かりました。
調査は、16個の層にそれぞれ64個の専門家モジュールを含むOLMoEモデルの内部構造を調べることから始まりました。研究者たちは、個々のモジュールの出力の中に道徳的概念を見つけられるかどうかを確認するために、単純な検出器を訓練しました。もし「混合エキスパート」の設計が期待通りに機能していれば、特定のモジュールだけが道徳的な内容を認識することに長け、他のモジュールは文法や事実などの異なるタスクに集中していると予想されました。しかし、実際にはその逆の結果が得られました。ネットワーク内の位置に関わらず、ほぼすべてのモジュールが、高い精度で道徳的内容を識別することができたのです。この能力の分布は完全に均一であり、特定の専門家もいなければ、初心者もいませんでした。どのモジュールに作業を割り当てるかを決定するルーターも、道徳的な文章を特定の専門家に送ることに何の好みも示しませんでした。ルーターはすべての入力を同様に扱いました。これは、専門家を分離して対象を絞った介入を行うという、構造上の利点が、道徳的特徴を隔離する助けにはならないことを意味しています。
研究者たちは次に、より微妙な問いへと関心を移しました。この道徳的情報はどれほど堅牢（ロバスト）なのか、という問いです。彼らは、OLMoEモデルを、エキスパート・システムを使用せず、同数のアクティブなパラメータを持つ標準的な「密（デンス）」モデルと比較しました。モデルが道徳的コンテンツを認識する能力を失う前に、どの程度のノイズに耐えられるかをテストしたところ、鮮明な違いが現れました。標準的なモデルは非常に頑丈であり、かなりのレベルのデジタル干渉に耐えながら、道徳的な理解を保持し続けることができました。対照的に、OLMoEモデルはほぼ即座に崩壊しました。OLMoEは、標準的なモデルよりも4倍以上も脆弱でした。エキスパート・モデルにおける道徳的信号は非常に繊細で、わずかな静的なノイズがあるだけで、それを完全に押し流してしまうほどでした。
なぜこのようなことが起こるのかを理解するために、チームは情報の流れを調べました。標準的なモデルでは、処理ユニットが次のネットワーク段階へ強く明確な信号を送ります。一方、エキスパート・モデルでは、システムは少数のエキスパートを選択し、それらの出力を平均化してから、その結合結果を前方に送ります。研究者がこの結合された信号の強さを測定したところ、標準的なモデルよりも劇的に弱いことが分かりました。信号は希釈され、2桁近くも小さくなっていました。これを可視化する一つの方法は、混雑した部屋での会話を想像することです。標準的なモデルでは、一人の人物が明確で力強い声で話し、それが全員に聞こえます。エキスパート・モデルでは、まるで8人の人々が同じ文章をささやいており、部屋にはそのささやきの平均だけが聞こえているような状態です。メッセージはそこにありますが、あまりにも静かであるため、わずかなノイズの風が吹くだけで、聞き取ることが不可能になってしまいます。
この発見は、これらのシステムをどのように理解し制御するかについて、深い示唆を与えています。この研究は、この脆弱性が、モデルが時間の経過とともに適切に学習できなかった結果ではないことを示しました。研究チームは、モデルの最初のステップから最終的な形態に至るまでの訓練履歴を調査することで、道徳的情報は最初から存在しており、プロセス全体を通じて一様に分布し、かつ脆弱なままであったことを確認しました。モデルは決して専門化された道徳的エキスパートを開発することもなく、信号を強化することもしませんでした。この脆弱性は、アーキテクチャ自体の組み込まれた特徴なのです。システムは選択された少数のエキスパートの出力を平均化するため、結果として得られる信号は本質的に小さくなります。この小さな信号はノイズに圧倒されやすく、伝統的な設計と比較して、エキスパート・モデルにおける道徳的なエンコーディングはるかに不安定であることを意味しています。
本研究は、混合エキスパート設計がアライメント研究にもたらす約束は、幻想であると結論付けています。この構造は、ネットワークを個別のユニットに分割する方法を提供しますが、編集や削除が容易な、孤立した道徳的推論の領域を作り出すことはありません。むしろ、道徳的情報をすべてのユニットに薄く広げてしまい、その結果、冗長ではあるものの、極めて脆弱なものにしています。これらのモデルを安全に動作させようとしている研究者にとって、これは、モデルが道徳的概念を識別できるかどうかを確認するだけでは不十分であることを意味します。彼らは、その情報がいかに安全に保持されているかを測定しなければなりません。モデルは表面上は倫理を完璧に理解しているように見えても、環境のわずかな変化や微調整によって、その理解を完全に失ってしまうほど脆弱である可能性があるのです。この研究は、これらのモデルの構築方法が、その内部信号の性質を根本的に変えてしまい、トレーニングだけでは解決できない永続的な構造的弱点を作り出していることを示唆しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。