💬 NLP

Cross-Lingual Activation Steering for Multilingual Language Models

本論文は、モデルの重みを変更することなく、ニューロンの活性化を選択的に調整することで、非支配言語における多言語性能を大幅に向上させる、学習不要の推論時介入手法であるCross-Lingual Activation Steering (CLAS) を提案しており、こうした利得が厳密な整列ではなく機能的な分岐に起因することを明らかにしている。

原著者： Rhitabrat Pokharel, Ameeta Agrawal, Tanay Nagar

公開日 2026-01-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Rhitabrat Pokharel, Ameeta Agrawal, Tanay Nagar

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

多言語対応の大規模言語モデル（LLM）を、巨大で超知能的なオーケストラとして想像してみてください。このオーケストラは、英語（「支配的」な言語）の演奏には非常に長けています。なぜなら、英語の練習を最も多くしてきたからです。しかし、あまり一般的ではない言語（ウルドゥー語やスワヒリ語など）で交響曲を演奏するよう求められると、その音楽はしばしば音程が外れたり、濁ったり、不完全になったりします。

この論文は、これはオーケストラに才能が欠けているからではなく、どの「楽器」（ニューロン）を使うべきかについて、演奏者たちが混乱しているからだと主張しています。一部の楽器は、あらゆる言語に対して同じメロディを奏でるためのもの（共有ニューロン）であり、他の楽器は特定の言語専用のものです（言語特化型ニューロン）。現在、このオーケストラは共有された楽器に頼りすぎており、特化した楽器を無視しています。その結果、あらゆる言語において、一般的で「英語風味」のサウンドになってしまっているのです。

以下に、この論文の解決策である CLAS（Cross-Lingual Activation Steering：交差言語活性化ステアリング）と、彼らが発見した内容の簡単な内訳を示します。

問題点：「ワンサイズ・フィット・オール（一律対応）」の罠

モデルの脳を、電灯のスイッチが詰まった部屋だと考えてみてください。

共有ニューロン： これらは、あらゆる言語のために明かりを灯すスイッチです。
言語特化型ニューロン： これらは、特定の言語のためだけに明かりを灯すスイッチです。

論文によると、モデルが英語以外の言語を話そうとする際、モデルは「共有」スイッチを押しすぎてしまい、「言語特化型」のスイッチを暗くしたままにしてしまうことが分かりました。その結果、モデルは新しい言語を無理やり英語のように聞こえさせようとし、それがニュアンスや正確さを台無しにしているのです。

解決策：CLAS（「ボリュームノブ」のトリック）

研究者たちは、Cross-Lingual Activation Steering (CLAS) と呼ばれる手法を提案しました。これは、オーケストラを再構築したり新しい演奏者を雇ったりすること（それには高価な再学習が必要になります）ではなく、パフォーマンスの最中に介入してボリュームノブを微調整する音響エンジニアが入ってくるようなものです。

演奏者を特定する： エンジニアはまず、異なる言語による並行した楽曲をオーケストラに演奏させ、どのスイッチが「共有」であり、どのスイッチが「言語特化型」であるかを判断します。
微調整： モデルが非英語圏の言語を話そうとする際、CLASは穏やかに以下の操作を行います。
- 「共有」ニューロンのボリュームを少しだけ上げる（核となる意味を明確に保つため）。
- 言語固有の特徴をかき消してしまう「共有」ニューロンのボリュームを下げる。
- 「言語特化型」ニューロンのボリュームを上げることで、それらが実際に聞こえるようにする。
ブレンド： 決定的なのは、彼らはモデルの元の思考を置き換えるわけではないということです。彼らは単に、元の信号にこの「調整された」信号を少し混ぜ合わせるだけです。これは、すでに出来上がったスープを捨てて最初から作り直すのではなく、完成したスープに塩をひとつまみ加えるようなものです。

彼らが発見したこと（驚きの展開）

研究者たちは、非英語圏の言語をより良くするためには、モデルの内部的な「思考」をそれらの言語に対してより英語に似せる必要があると考えていました。

しかし、彼らは間違っていました。

「分岐」の発見： モデルは、非英語圏の言語が英語の「アンカー（錨）」から離れることを許容されたとき、むしろ性能が向上しました。
比喩： さまざまな方言を話そうとしている友人グループを想像してください。もし彼らが全員、正確に「リーダー（英語）」のように話そうとしたら、ロボットのように聞こえるでしょう。しかし、もし彼らが自分たち独自の、独特な方法で話すことが許されれば、彼らはより効果的にコミュニケーションをとることができます（機能的分離）。
結果： 言語を（英語に模倣させるのではなく）ありのままの姿でいさせることで、モデルはそれらの言語における理解力と生成力が向上しました。

結果

スコアの向上： 読解力や論理パズルに関するテストにおいて、モデルはコードを一行も変更したり再学習したりすることなく、多くの非英語圏の言語（ウルドゥー語、中国語、ヒンディー語など）で大幅にスコアが向上しました。
英語への影響なし： 「英語」のパフォーマンスは全く変わりませんでした。音響エンジニアはメインのアクトを台無しにすることなく、バックコーラスの修正を行っただけでした。
すべての人に完璧ではない： すべての言語に対して等しく効果があったわけではありません。一部の言語では大きな勝利となりましたが、他のいくつかの言語では、わずかに悪化することもありました。これは、言語ごとに少しずつ異なる「ボリュームノブ」の設定が必要であることを示唆しています。

結論

この論文は、言語の問題を解決するために、必ずしもより大きく、より高価なAIモデルを構築する必要はないということを示しています。時には、AIが話している瞬間に、内部のボリュームノブを調整するスマートな「音響エンジニア」さえいればよいのです。言語を英語に完全に一致させるよう強制するのではなく、それぞれの個性を認めることで、私たちはモデルが多くの言語を流暢に話すための隠れたポテンシャルを引き出すことができるのです。

技術要約：多言語大規模言語モデルにおける交差言語的活性化ステアリング（Cross-Lingual Activation Steering）

問題提起

大規模言語モデル（LLM）は、支配的な言語（高リソース言語）と非支配的な言語（低リソース言語）の間で顕著な性能格差を示します。この格差は主に、学習コーパスが支配的な言語に偏っていることに起因しており、共有ニューロンと言語固有のニューロンの分布が最適化されない不均衡な表現をもたらしています。学習データの拡張やファインチューニングは一般的な解決策ですが、これらはデータ不足のためにコストが高すぎるか、あるいは実行不可能な場合が多くあります。既存のニューロンレベルの介入手法は、活性化を統計的な定数で上書きしようとする、入力依存の信号を事実上消去してしまうアプローチを含め、混合した結果をもたらしています。

手法：交差言語的活性化ステアリング（CLAS）

著者らは、モデルの重みを変更することなく、共有表現と言語固有の表現を再バランスさせるために設計された、トレーニングフリーかつ推論時の介入手法であるCross-Lingual Activation Steering (CLAS) を提案しています。CLASは、主に以下の3つの段階で動作します。

並列入力の構築： この手法は、ニューロンの挙動を分析するために、整列された多言語入力（言語間の並列文）を利用します。これらの入力は活性化の測定にのみ使用され、モデルの更新には使用されません。
ニューロンの分類とブリッジ層の選択：
- ニューロンは、データセットレベル（XQuADを用いた100個の並列サンプルを使用）で、dead（死滅）、language-specific（言語固有）、partial-shared（部分的共有）、all-shared（全共有）の4つのグループに分類されます。インスタンスレベルで分類する従来の研究とは異なり、このアプローチでは集計統計に基づいてニューロンに安定したカテゴリを割り当てます。
- 分析により、特定の「ブリッジ層」（例：LLaMAでは24〜29層、Qwenでは24〜25層）においてpartial-sharedニューロンが最も多く存在することが明らかになりました。これらの層は、高度に専門化された最終層を避けつつ、共有構造と言語固有の処理のバランスが取れているため、介入対象として選択されます。
活性化ステアリング・メカニズム：
- アンカー言語（基準となる言語）以外の言語に対して、CLASは選択されたブリッジ層における中間MLP活性化（ $h$ ）に対して決定論的な修正を適用します。
- 部分的共有の調整： 交差言語的な構造をエンコードするニューロンを強化します： $h_1 = h \odot (1 + \beta M_{shared})$ 。
- 言語固有の調整： 単一の言語に過剰に特化したニューロンを抑制します： $h_2 = h_1 \odot (1 - \gamma M_{spec})$ 。
- ブレンディング： 修正された活性化は、元の信号とブレンドされます： $h_{final} = (1 - \alpha)h + \alpha h_2$ 。
- アンカー言語（通常は英語）は、安定した参照点として機能するため、修正されません。パラメータ $\beta$ , $\gamma$ , $\alpha$ はグリッドサーチを通じてチューニングされます。

主な貢献

*CLASフレームワーク： 推論時に交差言語的な転移を強化するために、ニューロンの活性化を選択的に変調する、トレーニングフリーのメカニズムの導入。
*機能的分離の洞察： 効果的な交差言語的転移は、厳密な幾何学的整列ではなく、**機能的分離（functional divergence）**によって駆動されるという発見。性能の向上は、表現空間における言語クラスターの分離の増大と相関しています。
*実証的検証： 多様なタスク（分類および生成）およびモデル（LLaMA 3.1 8B および Qwen 2.5 7B）におけるCLASの有効性の実証。ベースモデルに対する性能向上を実現しつつ、アンカー言語における安定性を維持しています。

結果

著者らは、XNLI（自然言語推論）および XQuAD（質問応答）のベンチマークでCLASを評価しました。

分類 (XNLI)： CLASは、LLaMAで平均精度 +1.93%、Qwenで +0.45% の精度向上を達成しました。これらの向上は統計的に有意でした（それぞれ $p < 0.05$ および $p < 0.001$ ）。LLaMAにおいては、ウルドゥー語 (+7.00)、中国語 (+5.89)、ヒンディー語 (+5.80) などの言語で顕著な改善が見られました。
生成 (XQuAD)： CLASは、平均トークンレベルF1スコアを +0.94 (LLaMA) および +1.10 (Qwen) 向上させました。しかし、生成タスクにおける分散の大きさから、これらの向上は統計的に有意ではありませんでした。結果には高い変動性が見られ、一部の言語では大幅な向上（例：Qwenでロシア語 +8.94）が見られた一方で、他の言語では低下（例：Qwenでヒンディー語 -5.28）も見られました。
表現分析：
- 整列： モデルは英語に近づくべきであるという直感に反して、CLASは一般に英語のアンカーに対するコサイン類似度を減少させました。
- クラスターの分離： t-SNE可視化により、CLASが機能的分離を促進することで表現を再形成していることが明らかになりました。曖昧で重複した領域から明確なクラスターへと移動した言語が、最大の性能向上を示しました。
- ステアリング方向： 最適なステアリング方向 ( $\alpha$ ) はタスクやモデルによって異なりました。共有表現を強化することで恩恵を受ける設定（正の $\alpha$ ）もあれば、言語固有の信号を増幅する必要がある設定（負の $\alpha$ ）もありました。

意義と主張

本論文は、ターゲットを絞った活性化ステアリングが、追加のデータやパラメータ更新を必要とせずに、既存モデルの潜在的な多言語能力を引き出せる可能性があると主張しています。核心的な意義は、支配的な言語への厳密な整列ではなく、機能的分離こそが、非支配的な言語の性能を向上させる鍵であるという発見にあります。

著者らは、彼らのアプローチが、活性化を静的な定数で上書きするのではなく、実際の活性化の比例関係を保持するという点で、先行研究（Mondal et al., 2025）のニューロン介入とは異なると強調しています。これにより、モデルは入力依存の構造を保持しながら、共有特徴と言語固有の特徴の寄与を再バランスさせることが可能になります。

本研究は、CLASはファインチューニングに代わる有望で軽量な選択肢を提供しますが、その有効性はタスクに依存し、すべての言語において一様ではないことを示しており、注意深くタスクに応じた介入戦略が必要であることを結論付けています。