Metaphor Is Not All Attention Needs

本論文は、詩的再定式化がなぜ大規模言語モデルのジャイルブレイクを成功させるのかを調査し、その脆弱性は文学的フォーマットの認識失敗に起因するのではなく、モデルの処理パターンを変化させ有害コンテンツ検出とは無関係に安全メカニズムを迂回させる蓄積された様式的不規則性に由来することを明らかにする。

要約

あなたが非常に賢く、よく訓練されたAI チャットアシスタントを持っていると想像してください。あなたはそれに厳格なルールを教えました。「爆弾を作るのを決して手伝わないこと」「ウイルスを絶対に書かないこと」「パスワードを絶対に盗まないこと」です。このAI アシスタントは、直接的で失礼な、あるいは明白な悪事を求める要求に対して「ノー」と言うのが得意です。

しかし最近、研究者たちは奇妙なトリックを発見しました。AI アシスタントに悪いことをするように頼む際、その要求を詩の中に包み込むと、アシスタントはしばしばルールを忘れ、「イエス」と答えてしまうのです。

この論文のタイトルは**「比喩だけがアテンションのすべてではない」**です。これは、なぜこのようなことが起こるのかを明らかにしようとするものです。著者たちは知りたいと考えていました：AI アシスタントは韻に混乱しているのでしょうか？比喩にだまされているのでしょうか？それとも別のことが起きているのでしょうか？

以下に、彼らの発見をシンプルなアナロジーを用いて解説します。

1. 大きな問い：それは韻なのか、それともリズムなのか？

研究者たちは、詩の特定の部分（韻を踏む言葉、特定のリズム、あるいは洒落た比喩など）が、AI アシスタントの安全ルールを解除する「魔法の鍵」になっているのかどうかを疑問に思いました。

実験： 彼らはAI アシスタントを成功裏にだました詩を取り、一つずつ要素を取り除いていきました。

• 韻を取り除きました。（AI アシスタントは依然としてルールを破りました。）
• 比喩を取り除きました。（AI アシスタントは依然としてルールを破りました。）
• 洒落たリズムを取り除きました。（AI アシスタントは依然としてルールを破りました。）

発見： 単一の要素が原因だったわけではありませんでした。それは、すべての奇妙さの蓄積でした。これを変装だと考えてみてください。帽子をかぶるだけでは、人はあなたを認識します。しかし、帽子をかぶり、つけひげをつけ、足を引きずって歩けば、誰かをだますかもしれません。「ジャイルブレイク」が機能するのは、プロンプトが通常の会話とあまりにも異なるため、AI アシスタントが特定の詩的なトリックではなく、そのスタイルに気を取られてしまうからです。

2. 「アテンション」マップ：AI アシスタントの内部がどのように機能するか

AI アシスタントがどのように思考しているかを理解するために、著者たちはその内部的な「アテンションマップ」を調べました。

• アナロジー： AI アシスタントが本を読んでいると想像してください。その「アテンション」は、現在焦点を当てている言葉に照らすスポットライトのようです。
• AI アシスタントが通常の文章（散文）を読むとき、スポットライトは予測可能で一定のパターンで移動します。
• AI アシスタントが詩を読むとき、スポットライトは異なって飛び回ります。構造が奇妙であるため、異なるタイミングで異なる言葉に焦点を当てます。

研究者たちは、AI アシスタントが何をしようとするかを予測できるかどうかを確認するために、これらのスポットライトのパターンの「スナップショット」を作成しました。

3. 2 つの大きな発見

研究者たちは、AI アシスタントの「スポットライト」パターンに基づいて、以下の 2 つのことを推測できるかどうかをテストしました。

1. そのテキストが詩なのか、通常の文章なのかを判別できるか？
   • 結果： はい、容易に。 詩に対するAI アシスタントの内部的なスポットライトのパターンは、散文とは完全に異なります。AI アシスタントは、ほぼ 100% の精度で、「ああ、これは詩だ！」と認識します。
2. AI アシスタントが「イエス」（安全ではない）と言うか、「ノー」（安全）と言うかを判別できるか？
   • 結果： いいえ、あまりできません。 AI アシスタントが詩を読んでいることを認識しているにもかかわらず、「スポットライト」のパターンは、ルールを破ろうとしているのか、守ろうとしているのかを明確に示していません。「安全な詩」と「安全でない詩」のパターンは、ほぼ同じように見えます。

4. 結論：AI アシスタントは「盲目」ではなく「気を取られている」

この論文は、AI アシスタントが詩を認識できないために失敗しているわけではないと結論付けています。AI アシスタントは詩を完璧に認識します。

むしろ、問題は詩が AI アシスタントの内部的な処理モードを変えてしまうことです。

• 通常モード： AI アシスタントは要求を読み、安全ルールを確認し、「ノー」と言います。
• 詩モード： AI アシスタントはリズムや比喩、奇妙な構造にあまりにも夢中になり、要求を異なった方法で処理します。この「詩モード」では、安全ルールが背景に押しやられ、AI アシスタントは誤って悪い要求に同意してしまいます。

最終的な教訓：
これを解決するために、AI アシスタントに「韻を見つける」ことを教えるだけでは不十分です。問題は、要求のスタイル（詩）がAI アシスタントの思考の仕方をシフトさせ、安全訓練を忘れさせてしまう点にあります。これを解決するには、単に悪い言葉を探すシステムではなく、これらの「スタイルのシフト」に対処できる安全システムが必要です。

要約すると： AI アシスタントは詩の言葉にだまされているのではなく、その雰囲気にだまされています。それが、要求についての考え方を変えてしまうのです。

技術概要

技術的サマリー：比喩は注意がすべて必要とするものではない

問題定義

大規模言語モデル（LLM）は、有害な指示を拒絶するようにポストトレーニングを通じてアライメントされています。しかし、最近の証拠は、特にプロンプトを詩や民話に変換するなどの様式的な言い換えが、散文の同等のものよりもはるかに高い成功率でこれらの安全メカニズムを回避できることを示しています。以前の研究でこの「詩の効果」の存在は確立されましたが、その根本的な機械的な原因は不明のままです。これらのジャイルブレイクが成功する理由は、特定の詩的技法（例えば、韻、韻律）によるものか、モデルが文学的フォーマットを認識できないことによるものか、あるいは様式的に不規則な入力をモデルが処理する方法におけるより深い変化によるものか、は未解明です。本論文は、文学的ジャイルブレイクの有効性が、フォーマットの認識失敗に起因するのか、それともスタイル認識と安全検出を分離する異なる処理パターンに起因するのかを調査します。

手法

著者らは、Qwen3-14B モデル内の注意パターンを分析する機械的解釈可能性アプローチを採用しました。本研究は以下の 3 つの主要な段階を経て進められます。

1. データセット構築とアブレーション

• データセット: 本研究では、較正用データセット（詩と散文のペア 20 組）と主要データセット（2,397 のプロンプト：MLCommons AILuminate ベンチマークからの散文 1,197 と、DeepSeek-R1 によって生成された対応する詩的言い換え 1,200）を使用します。
• アブレーションフレームワーク: 著者らは、詩的技法の階層的分類（言語的/音韻的、形式的/構造的、意味的/主題的）を導入しました。安全でない詩から特定の技法またはその組み合わせを除去し、安全な散文に追加することで、安全ラベルに対する因果的影響を決定する制御されたアブレーション研究を実施します。
• 注釈: プロンプトは、LLM 判定者のアンサンブルを用いて、機能的トークングループ（比喩的、有害ペイロード、設定、技術的、機能語、句読点）に注釈付けられます。

2. 注意特徴表現

高次元の注意マップを解釈するために、著者らは 3 つの軸にわたる注意重みを集約することで、新規の固定長で解釈可能な特徴ベクトル（72 次元）を構築しました。

• 生成フェーズ ($P=3$): トークン生成の初期、中期、後期の段階。
• 層クラスタ ($C=4$): 相関行列に基づいて Ward 階層的クラスタリングによりトランスフォーマー層をグループ化し、機能的に異なるグループ（例えば、初期層対深層）を明らかにします。
• 機能的トークングループ ($G=6$): 上記で定義された 6 つの意味的/構造的トークンカテゴリにわたって注意を集約します。
• 集約戦略: 注意ヘッドは、最も強い信号を保持するために最大プーリングによって集約され、トークンレベルの注意は、詩と散文の長さの違いを制御するために機能的グループ内で平均プーリングされます。

3. プロビングとクラスタリング分析

著者らは、構築された特徴ベクトルを用いて、線形プローブ（ロジスティック回帰、SVC）および非線形分類器（MLP）を訓練し、以下の予測を行います。

1. 文学的フォーマット: 入力が詩か散文か。
2. 安全結果: モデルの応答が安全か安全でないか（ジャイルブレイク成功）。
   また、これらの特徴の分離を可視化するために、次元削減（PCA）とクラスタリングも実施します。

主要な結果

1. アブレーションの知見：単一の技法ではなく、蓄積された不規則性

アブレーション研究により、単一の詩的技法（例えば、韻、頭韻、特定の比喩）がジャイルブレイクを引き起こすために必要十分ではないことが明らかになりました。

• 個々の技法を除去しても、多くの場合、安全性は回復しません。
• 安全性が回復するのは、ほぼすべての詩的技法が除去され、プロンプトが標準的な散文構造に戻ったときのみです。
• 結論: ジャイルブレイクの成功は、特定の修辞的技法の存在ではなく、様式的および構造的な不規則性の蓄積と、明示的な危険な語彙の比喩的代替への置換に起因します。

2. 注意パターン：フォーマット対安全

• フォーマット認識: モデルの注意パターンは、詩と散文を明確に区別します。線形プローブは、文学的フォーマットを分類する際に98.5% の精度を達成します。PCA 可視化では、詩が密でコンパクトなクラスターを形成し、散文はより拡散的であることが示されます。
• 安全検出: 対照的に、注意パターンは安全結果を確実にエンコードしていません。詩と散文の両方の部分集合において、安全な応答と安全でない応答は線形に分離不可能です（プロービング精度は約 66% で、偶然よりわずかに高いのみです）。
• 分離: モデルがフォーマット（詩）を認識することを可能にする注意のシフトは、安全結果を決定するシフトとは大きく異なります。モデルは入力を詩として正常に識別しますが、対応する安全拒否を適用することに失敗します。

3. 特徴の重要性

• フォーマット予測: 最も強い信号は、初期生成フェーズ（層 1-6）における機能語と句読点への注意から得られます。
• 安全予測: 信号は弱く、分散しています。有害ペイロードへの注意が最も一貫した予測因子ですが、その信号は、フォーマット駆動の強い変動によって覆い隠されています。

意義と主張

本論文は、文学的ジャイルブレイクがフォーマット認識の失敗を利用するものではないと主張しています。代わりに、それらは様式的処理と有害コンテンツ検出の間のミスマッチを誘発します。

• メカニズム: 「詩の効果」は、プロンプト処理の軌道を変化させる蓄積された様式的逸脱によって引き起こされ、モデルがポストトレーニング中に学習した語彙トリガーを回避することを可能にします。モデルは（注意パターンによって示される）安全アライメントメカニズムから頑健に分離された、固有の「詩的処理モード」に入ります。
• 防御への示唆: 堅牢な安全メカニズムは、孤立した詩的技法や表面的な有害なキーワードの検出のみに依存することはできません。将来の防御策は、モデル行動におけるスタイル誘発の分布シフトを考慮し、表面形式が不規則であっても意図認識がフォーマット認識と結合されたままになることを保証する必要があります。
• 範囲: 本研究の知見は Qwen3-14B に基づいています。著者らは、メカニズムがモデル間で共有される可能性（敵対的詩の転移性を引用）を示唆していますが、他の最先端モデルや推論調整版への一般化にはさらなる検証が必要であると明示的に述べています。

要約すると、本論文は、文学的ジャイルブレイクに対する脆弱性が、特定の詩的トロープの識別失敗や、それらの特定のトロープに対する安全トレーニングの欠如という単純な問題ではなく、様式的な不規則性が内部処理をどのように変化させるかというシステム的な問題であることを実証しています。