Decided Upstream, Written Late: Locating and Pricing the Cross-Lingual Refusal Circuit of a Multilingual MoE
本論文は、多言語混合エキスパート（Mixture-of-Experts）モデルにおける言語間の安全性ギャップが、有害性の検出失敗に起因するのではなく、言語依存的な後段の拒絶メカニズムに起因すること、そして、書き手を増幅させたり外科的な編集を行ったりするのではなく、特定の注意ベースの「反対者（opposer）」回路を減衰させることで、効果的かつ安価に修復可能であることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
コンピューターが英語からヒンディー語、タミル語に至るまで、何百もの異なる言語で私たちと話せる世界を想像してみてください。科学者たちは、これらのコンピューターに「良き市民」であることを教えようとしています。つまり、フェイクニュースの記事を書いたり武器を作ったりするような、意地悪なことや危険なことを求められたときに「ノー」と言えるようにすることです。この分野は**AI安全性（AI safety）**と呼ばれています。長い間、研究者たちは、もしコンピューターが英語で「ノー」と言うことを学べば、人間が一つの言語で学んだルールを他の言語にも適用できるのと同じように、自動的に他のあらゆる言語でも「ノー」と言えるようになるだろうと考えてきました。しかし、それは必ずしも真実ではありません。時として、コンピューターは英語では厳格な守護者のように振る舞いますが、他の言語では押しに弱い人物になってしまうことがあります。この論文は、なぜこのようなことが起こるのか、そしてコンピューターの流暢な会話能力を損なうことなく、どのようにしてそれを修正できるのかを解明するために、コンピューターの「脳」を深く掘り下げています。
研究者たちは、推論と多くのインド諸言語での会話ができるように設計された、Sarvam-30Bと呼ばれる非常にスマートな特定のコンピューターモデルを調査しました。彼らは、不適切な要求を拒絶するか、それとも従ってしまうかを決定する、モデル内部のメカニカルな「歯車」を理解しようとしました。その結果、コンピューターは、どの言語であってもその要求が悪いものであることを理解していることが分かりました。問題は、コンピューターが危険を検知できていないことではなく、「ノー」と言うための部分が言語によって異なって動作しており、それが思考プロセスの非常に後半で行われていることなのです。
以下は、彼らが発見した内容を、シンプルな比喩を用いて説明した物語です。
探偵と書記官
コンピューターの脳を、二つの主要なチームがいる巨大な工場と考えてみてください：探偵と書記官です。
探偵は工場の真ん中で働いています。彼らの仕事は、あらゆる要求を調べ、「これは危険か？」と問いかけることです。研究者たちは、これらの探偵たちが驚くほど優秀であることを発見しました。彼らは英語、ヒンディー語、タミル語、その他の言語において、ほぼ全く同じ方法で危険を察知します。もし彼らに「これは悪いアイデアか？」と尋ねれば、使用されている言語に関わらず、彼らはメモリ内の同じ場所を指し示すでしょう。実際、「危険信号」は非常に強力で共有されており、言語を問わずほぼ同一なのです。
しかし、書記官は、実際に最終的な回答を書き出す担当者です。彼らが「それはできません」あるいは「もちろんです、こちらが……」と打ち込みます。研究者たちは、大きな驚きを発見しました。探偵と書記官は、異なる言語を話し、異なるスケジュールで動いているのです。
工場の真ん中にいる探偵たちが、はっきりと「危険！」と叫んでいたとしても、その叫びが自動的に書記官の手を止めるわけではありません。書記官は組み立てラインの最後尾に位置しています。彼らは単に「危険」という看板を読むだけでなく、文章が生成される過程で、一文字ずつ拒絶の言葉を構築していかなければなりません。
「遅すぎる」問題
この論文は、もしプロセスの最初の方（上流）で「危険！」と叫ぶことでコンピューターに「ノー」と言わせようとしても、それはうまくいかないことを示しています。それは、ブレーキが列車の最後尾にあるスイッチによって制御されているのに、機関車に向かって叫ぶことで列車を止めようとするようなものです。「危険」という信号は、書記官に届く前に消えてしまいます。
代わりに、拒絶はプロセスの後半に構築されます。研究者たちは、実際に「イエス」を「ノー」に変える変化が、コンピューターの脳の最終層で起こっており、それが「危険」信号とは全く異なる方向に向かっていることを発見しました。それはまるで、探偵たちが北を指しているのに、書記官たちは東に向かって歩いているようなものです。コンピューターはその要求が悪いことは分かっていますが、その行動を実際に止めるメカニズムは、別の、後半段階のプロセスであり、言語の違いによって混乱してしまうのです。
ブレーキとエンジン
これを修正するために、研究者たちは機械に介入する方法を探しました。彼らは、ブレーキとエンジンとして機能する、特定の回路――脳内の小さく局所的な部分――を見つけ出しました。
- エンジン（書き手）： この部分は、コンピューターに拒絶を書くよう促そうとします。
- ブレーキ（反対者）： この部分は、拒絶が起こるのを阻止しようとします。
研究者たちは、安全性のギャップを埋めるために3つの方法をテストしました：
- エンジンを叩く： 彼らは「書き手」の部分を強くすることで、コンピューターに強制的に「ノー」と言わせようとしました。これは悲惨な結果でした。多大なエネルギーを消費し（コンピューターの話し方が奇妙でスパムのようになり）、しかもあまりうまく機能しませんでした。それは、ハンドブレーキがかかったままの状態で、エンジンを空吹かしして車を坂の上へ押し上げようとするようなものでした。
- 手術： 彼らは、責任があると考えている特定の小さなパーツ（「ヘッド」と呼ばれます）を外科的に除去または変更しようとしました。これは精密でコストもかかりませんでしたが、効果はありませんでした。コンピューターは不適切な要求に対して「イエス」と言い続けました。
- ブレーキを緩める： 彼らは、プロセスの最後の方で「反対者」または「ブレーキ」を単に減衰（弱める）させれば、コンピューターが突然、すべての言語で正しく「ノー」と言い始めることを発見しました。これが魔法の鍵でした。これは安価で効果的であり、コンピューターの流暢な会話能力を損なうこともありませんでした。
なぜ異なる言語において重要なのか
この理由については、探偵（危険信号）はすべての言語で共有されていますが、書記官とそのブレーキは共有されていないからです。研究者たちは、コンピューターが最終的な回答に近づくにつれて、進む経路が非常に言語特有のものになることを発見しました。英語では「ノー」と言うための経路は明確です。しかし、他の言語では、「ブレーキ」がより強力であるか、あるいは経路が塞がれています。
ラインの最後の方にあるこの特定の「ブレーキ」を弱めることで、研究者たちは、モデル全体を再学習させることなく、低リソース言語においても英語と同じくらい正確にコンピューターに不適切な要求を拒絶させることができました。
大きな展望
この論文は、単に安全性のギャップが存在することを示すだけでなく、それが「どこに存在し」、修正するために「どれほどのコストがかかるか」を示しています。主な教訓は、安全性とは単に危険を検知することではなく、その検知がいかにして行動へと変換されるかであるということです。
研究者たちはこのアイデアを全く別のコンピューターモデル（Qwen3-30B-A3B）でもテストし、同じパターンが見られることを発見しました。すなわち、共有された「探偵」と、言語特有の遅い「ブレーキ」です。これは、AIの安全性を修正するために、システム全体の膨大なオーバーホールが必要ではない可能性を示唆しています。代わりに、私たちは各モデルにおける特定の「ブレーキ」を見つけ出し、それを優しく緩めるだけで、安全メカニズムが自然にすべての言語で機能するようにできるのかもしれません。
要するに、コンピューターは愚かであったり偏っていたりするのではなく、単に「ノー」と言う部分が文章の最後に隠れており、言語特有のブレーキによって動きを制限されているだけなのです。どこを見るべきかが分かれば、私たちはそれを直すことができます。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。