技術要約：比喩的言語生成のためのクロスリンガル・ステアリング

問題提起

多言語大規模言語モデル（LLM）は、様々な言語で比喩的言語（例：隠喩、慣用句、皮肉）を生成する能力を示している。しかし、この振る舞いを駆動する内部的なニューラル信号が、厳密に言語固有のものなのか、あるいは再利用可能なクロスリンガルな構成要素を含んでいるのかについては、依然として不明である。これらの可能性を区別することは、表面的な語彙や構文を超えた、多言語モデルにおける共有された意味表現の範囲を理解する上で極めて重要である。具体的には、本論文では、ある言語における比喩的表現と直説的表現の活性化の差から導出されたステアリング方向が、再学習やファインチューニングを行うことなく、異なるターゲット言語において同様の比喩的生成を効果的に誘発できるかどうかを調査している。

手法

著者らは、比喩的言語の表現可能性をテストするための介入型プローブとして、**活性化ステアリング（activation steering）**を採用している。実験パイプラインは、主に以下の3つの段階で構成される。

1. ベクトルの構築:

   • 対照的活性化加算（Contrastive Activation Addition: CAA）: ソース言語 $g$ と特定の比喩カテゴリ $c$ に対して、特定のトランスフォーマー層 $l$ における比喩的例（$D^+_{g,c}$）と直説的例（$D^-_g$）の平均隠れ状態活性化の正規化された差を計算することで、ステアリングベクトル $\hat{v}^{(l)}_{g,c}$ を構築する。
   • データ: 本研究では、言語・カテゴリの設定ごとに、最大500個の比喩的例と500個の単一言語による直説的なキャプション（COCOキャプションなど）を用いたバランスの取れたセットを利用する。
   • 言語とカテゴリ: 実験は6つの言語（英語、中国語、ベンガル語、スペイン語、イタリア語、ドイツ語）と5つの比喩カテゴリ（慣用句、隠喩、直喩、皮肉、サーカズム）を対象としている。

2. 介入:

   • 生成のプリフィル（prefill）フェーズにおいて、選択された層の残差ストリームに対して、各プロンプト・トークン位置でステアリングベクトルを加算する：$h^{(l)'}_t = h^{(l)}_t + \alpha \hat{v}^{(l)}_{g,c}$。
   • 介入強度 $\alpha$ は1.0に固定されている。
   • モノリンガル・ステアリング: ベクトルは、それが導出されたものと同じ言語のプロンプトに適用される。
   • ゼロショット・クロスリンガル転移: ソース言語（例：中国語）から導出されたベクトルを、異なるターゲット言語（例：英語）のプロンプトに適用し、転移可能性をテストする。

3. 幾何学的介入:

   • 言語平均集約: 複数のソース言語（ターゲット言語を含むもの、およびターゲット言語を除外した「Leave-Target-Out（LTO）」の両方）からの正規化されたベクトルを平均することで、中心的なクロスリンガル方向を合成する。
   • 残差アブレーション（Residual Ablation）: 共有された幾何学的コアが振る舞いを駆動しているかをテストするため、ネイティブなターゲットベクトルから、クロスリンガル集約と整列する成分を数学的に除去（投影により除去）する。その後、この残差ベクトルの性能を評価する。

4. 評価:

   • ターゲットカテゴリ率（Target Category Rate: TCR）: 生成された継続テキストがターゲットとなる比喩現象を示している割合。DeepSeek-v4-flashをLLM-as-a-judgeとして用いて評価する。
   • コヒーレンス（Coherence）: 文脈の関連性と論理的一貫性を0〜4のスケールで評価。
   • 統計分析: ペアのパーセンテージポイント差を報告し、95%ブートストラップ信頼区間および調整済みMcNemar $q$ 値を用いる。

主な貢献

本論文は、主に以下の3つの貢献を提示している。

1. 効果的なモノリンガル・ステアリング: モノリンガル設定において、ステアリングベクトルは、ステアリングなしのベースラインやランダムベクトル制御と比較して、ターゲットカテゴリ率（TCR）を一貫して向上させる。この効果は96の設定のうち74の設定で観察され、隠喩や直喩のような構造的な修辞技法において最も高い堅牢性を示した。
2. ゼロショット・クロスリンガル・ポータビリティ: ソース言語のベクトルは、416のゼロショット設定のうち369の設定で、ターゲット言語の生成を効果的にステアリングすることに成功した。特筆すべきは、いくつかのケースにおいて、ソース言語から導出されたベクトルが、ターゲット言語から直接導出されたベクトルと同等、あるいはそれを上回る性能を示したことである。ドイツ語は特に受容性の高いターゲットとして特定され、ベンガル語は強力なソース能力を示す一方で、受容性は低いことが示された。
3. 転移のための共有された幾何学的基盤:
   • 集約: 合成されたクロスリンガル集約（特にLTO平均）は、ネイティブ言語のステアリングベクトルに匹敵するか、あるいはそれを凌駕する。
   • アブレーション: ネイティブベクトルから共有されたクロスリンガル成分を取り除くと（残差アブレーション）、比喩的生成能力が急激に低下する。これは、転移可能なステアリングが、言語固有のアーティファクトではなく、共通の再利用可能な表現コンポーネントに依存していることを示している。

結果

• カテゴリ依存性: ステアリング信号の転移可能性は、カテゴリによって大きく異なる。**隠喩（Metaphor）と直喩（Simile）**は最も堅牢なクロスリンガル転移を示し、隠喩は全ルートを通じて平均+17.2パーセントポイントの利得を示した。対照的に、**皮肉（Sarcasm）やアイロニー（Irony）**は、語用論的な文脈や文化的ニュアンスに強く依存するため、クロスリンガル・ステアリングへの転移性は弱く、抵抗力が強い。
• 非対称性: クロスリンガル転移には非対称性が存在する。ドイツ語のように外部のステアリング信号に対して非常に受容的な言語がある一方で、ベンガル語のように、強力なソースであるにもかかわらずターゲットとしては不適格な言語がある。これは、比喩的な信号を「受け取る」能力が、ターゲット言語の生成的な事前分布（generative priors）によってボトルネックとなっていることを示唆している。
• 幾何学 vs ネイティブ性能: ターゲット言語のデータを用いずに構築された「Leave-Target-Out (LTO)」集約ベクトルは、大多数のシナリオ（85%〜98%）において、ネイティブベクトルと機能的に同等のTCRを達成している。
• コヒーレンス: 共有されたクロスリンガル幾何学を利用しても、ネイティブ・ステアリングと比較して追加のコヒーレンス・ペナルティは発生しない。しかし、共有信号をアブレーションすると、モデルは非常にコヒーレントなステアリングなしのデフォルト状態へと退行する。これは、比喩的生成の損失が不透明なコヒーレンスによるものではなく、特定のステアリング信号の除去によるものであることを裏付けている。

意義と主張

本論文は、多言語LLMが複雑な比喩的意図を、再利用可能だがターゲットに依存するクロスリンガルな信号を通じて整理しているという直接的な証拠を提供すると主張している。

• 共有表現: 本知見は、特定の種類の比喩的言語（特に隠喩のような構造的なもの）を生成するための内部メカニズムが、特定の言語に隔離されているのではなく、モデルの表現空間内における共有された、言語に依存しない幾何学的コアに基づいていることを示唆している。
• 振る舞いの依存性: 本研究は、信号自体は再利用可能であるが、それを適用する際の「有効性」は、ターゲット言語の生成能力に厳密に依存するということを確立している。モデルは概念的に言語を超えて比喩的意図を整理できるが、この意図を投影するプロセスは、ターゲット言語の学習された事前分布によって制約を受ける。
• 制御への示唆: これらの結果は、クロスリンガル・ステアリングが多言語モデルにおける微細な振る舞いを制御するための実行可能なメカニメントであることを示しており、個別の言語境界を超えるアライメントと制御の構造的基盤を提供するものである。

著者らは、自らの知見が現在のデータ可用性の下で観察可能な振る舞いのパターンを反映していること、およびカテゴリ固有の表現と構成のバリエーションを完全に分離することが重要な今後の課題であることを述べ、控えめな立場をとっている。また、特定のカテゴリ（例：直喩）に関する並行データセットの不足や、文章継続の設定における皮肉などの語用論的カテゴリの評価の難しさについても指摘している。