技術概要：CALYREX – システムプロンプトのアンカリングのためのクロスアテンションレイヤー拡張トランスフォーマー

問題定義

現代の大規模言語モデル（LLM）は、行動制約と安全ルールを定義するためにシステムプロンプトに依存しています。しかし、標準的なトランスフォーマーアーキテクチャは、特権的なシステム指示と信頼できないユーザーコンテンツを構造的な優先度において同等に扱う均一な因果自己アテンション機構を利用します。著者らはこれを「指示階層問題」として特定しており、これは構造的な不一致が以下の 2 つの重大な脆弱性につながることを示しています：

1. プロンプトインジェクション：敵対的なユーザー入力がシステムルールを上書きし、モデルの目的を乗っ取ることができます。
2. 指示の侵食：システム指示は、長期または多ターンシーケンスを通じて徐々に劣化します。

現在の軽減策（教師あり微調整（SFT）、LoRA、好適化最適化など）は、これをデータを通じて解決すべき行動上の欠陥として扱っています。著者らは、このアプローチが事前学習された推論能力を上書きする「分布シフトペナルティ」を招くと主張しています。彼らは、堅牢なルール遵守は、単なる重みの更新ではなく、アーキテクチャ的な介入を必要とする構造的ルーティング問題であると仮説を立てています。

手法：CALYREX アーキテクチャ

本論文は、クロスアテンション機構を用いてシステムプロンプトを構造的に分離・アンカリングするアーキテクチャであるCALYREX（Cross-Attention LaYeR EXtended transformers）を提案します。

中核メカニズム

CALYREX は、標準的な自己アテンション層の間にクロスアテンション層（CAL）ブロックを挿入します。標準的なクロスアテンションが外部エンコーダー（例：マルチモーダルモデルにおけるもの）をクエリするのとは異なり、CALYREX はそのキー（$K$）と値（$V$）を同一シーケンス内のシステムプロンプトスパンから exclusively 導出します。一方、クエリ（$Q$）は完全なシーケンスから投影されます。

• 因果的マスキング：自己回帰性を維持するために、特定の因果的マスキングが適用されます。システムプロンプト前のトークンは何もアテンションせず、プロンプト内のトークンはプロンプト内の先行トークンのみにアテンションし、プロンプト後のトークンはシステムプロンプト全体にアテンションします。
• ゼロ初期化：CAL サブレイヤーの出力投影（$W_O$ および$W_D$）は厳密にゼロで初期化されます。これにより、初期化段階においてブロックは完全な恒等写像（$X'' = X$）として機能し、ベースモデルのゼロショット能力を維持し、「表現の衝撃」や破滅的な忘却を防ぎます。
• トレーニング体制：ベースモデルのバックボーンは厳密に凍結されます。勾配は CAL アダプターにのみ適用されます。モデルは、一般的なタスクを網羅する 5 万サンプルの SFT コーパスでトレーニングされます。

配置アブレーション

最適な挿入深度を決定するために、1.5B バックボーン（Qwen2.5-1.5B）を用いた高解像度のアブレーション研究が実施されました。この研究では、各レイヤー後にブロックを挿入する場合から、最終的なレイヤーのみに配置する場合まで、8 つの構成をテストしました。

• 発見：メカニズム的な活性化分析により、行動制約が自然と最終 8 分の 1 のレイヤーに集中していることが明らかになりました。
• 最適構成：LATE8TH構成（最終 1/8 のレイヤーに分散して 5 つのブロックを挿入するもの）が、ルール強制と初期レイヤーの意味抽出の維持のバランスが取れた最適構成として特定されました。

主要な貢献

1. CALYREX アーキテクチャ：システムプロンプトスパンをクロスアテンションを通じて条件付けるトランスフォーマーの新たな構造的アプローチ。事前学習された意味を上書きすることなく優先度を強制します。
2. 空間的局所性アブレーション：凍結された LLM バックボーンにおけるルール遵守能力の体系的な特徴付け。制約強制の重要な領域として最終 8 分の 1 のレイヤーを特定しました。
3. スケール依存評価：1.5B と 8B のスケールでの比較分析により、CALYREX のアーキテクチャ的優位性がモデルサイズとともに拡大し、特に指示遵守とセキュリティ耐性において顕著であることを示しました。

実験結果

1.5B スケール（Qwen2.5-1.5B）

• 指示追従：LATE8TH 構成は、厳密なフォーマット（IFEval）と多ターン追従（SysBench）において、パラメータ数一致の LoRA および ParallelMLP ベースラインを上回りました。
• 推論の維持：狭いコーパスでの微調整により MMLU や GSM8K で破滅的な忘却を被った LoRA と異なり、凍結されたバックボーンを持つ CALYREX はベースモデルの性能を維持しました。
• セキュリティ：CALYREX は、LoRA と比較して Many-Shot ジェイルブレイク（MSJ）攻撃の成功率を大幅に低下させました。また、4 つのすべてのセキュリティベンチマークにおいて ParallelMLP を上回り、単なる後期段階のパラメータ追加ではなく、クロスアテンションルーティングが耐性を駆動していることを確認しました。

8B スケール（Llama-3.1-8B）

このスケールでは、CALYREX と ParallelMLP ベースラインの間のアーキテクチャ的ギャップが大幅に拡大しました：

• 指示追従：CALYREX は、ParallelMLP ベースラインに対して IFEval で**+7.4%、多ターン追従（SysBench）で+16.3%**の改善を達成しました。
• セキュリティ：CALYREX は、ParallelMLP と比較して Many-Shot ジェイルブレイク攻撃の成功率を**13.1%**低下させました。
• 文脈的堅牢性：Long-IFEval テスト（最大 32k 文脈）において、CALYREX は中程度の長さ（8k–16k）で ParallelMLP よりも高い厳密な精度を維持しましたが、極端な長さではすべての微調整モデルが収束しました。
• 限界：CALYREX は、厳密な情報抽出（SQuAD）や複雑な JSON 生成（Glaive FC）において ParallelMLP よりも一貫した優位性を示しませんでした。直接の敵対的ベンチマーク（IH-Challenge, TensorTrust）では改善が一貫しておらず、プロンプト内の明示的な防御ルールがなければ構造的アンカリングだけでは不十分であることを示唆しています。

意義と主張

本論文は、CALYREX がシステムプロンプト遵守を行動上の問題ではなく構造的ルーティング問題として扱うことで、指示階層問題に対処すると主張しています。

• 構造的隔離：専用クロスアテンション経路を通じてシステムプロンプトをユーザー文脈から分離することで、アーキテクチャはユーザーコンテンツが特権的な指示を構造的に上書きすることを防ぎます。
• スケール効率：結果は、大規模モデル（8B 以上）が CALYREX が提供する専用ルーティング経路をより効果的に利用し、モデルサイズが増大するにつれて構造的ベースラインとの性能ギャップが拡大することを示唆しています。
• 安全性と整合性：このアプローチは、フルネットワーク微調整に伴う破滅的な忘却を伴わずに安全ルールや行動制約を強制する道筋を提供し、事前学習された推論の維持が最優先される安全クリティカルな展開に適しています。

著者らは、現在の実装が標準的な SFT に依存し、コーパスの網羅性によって制限されているものの、このアーキテクチャフレームワークが、CAL ブロックを特に標的とした将来の整合性技術（RLHF や DPO など）のための堅牢な基盤を提供すると結論付けています。