SafeConstellations: 大規模言語モデル（LLM）における過剰拒絶（Over-Refusal）の軽減に向けたタスク認識型表現制御

本論文「SafeConstellations」は、大規模言語モデル（LLM）が安全性メカニズムにより、意図的に有害ではない指示（ benign instructions）を誤って拒絶してしまう「過剰拒絶（Over-Refusal）」の問題を解決するための新しい手法を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題定義：過剰拒絶（Over-Refusal）

LLM の安全性アライメントは、有害なコンテンツへの対応を改善しますが、その副作用として「過剰拒絶」が発生しています。これは、モデルが文脈に含まれる特定のキーワードや文脈（例：戦争、殺人、ハッキングなど）に反応し、その指示が実際には「感情分析」「翻訳」「暗号解読」などの benign（善意）なタスクであるにもかかわらず、回答を拒絶してしまう現象です。

• 現状の課題: 既存の安全対策は、タスクの種類を区別せず、入力テキストの表面的な特徴に基づいて一律に拒絶判断を下す傾向があります。これにより、顧客サポート（感情分析）や翻訳サービスなど、実用アプリケーションにおけるモデルの有用性が損なわれています。
• 仮説: 拒絶と非拒絶の挙動は、LLM の埋め込み空間（embedding space）において、タスク固有の「軌道（trajectory）」として表現されており、これらは層（layer）を横断して一貫したパターン（Constellation patterns）を示す。

2. 手法：SafeConstellations

SafeConstellations は、推論時（inference-time）にモデルの内部表現を監視し、タスク固有の軌道パターンに基づいて、過剰拒絶を防ぐ方向へ表現を誘導（steering）する手法です。

主要な構成要素

1. タスク固有の軌道（Constellation Patterns）の特定:

   • 事前学習済みモデルを用いて、特定のタスク（例：翻訳、感情分析）における「拒絶ケース」と「非拒絶（望ましい）ケース」の内部表現（各層の隠れ状態）を分析します。
   • 各タスクにおいて、拒絶と非拒絶の表現は、埋め込み空間内で明確に分離されたクラスター（軌道）を形成していることが発見されました。

2. タスク埋め込み（Task Embeddings）の構築:

   • 各タスク $t$ について、各層 $\ell$ における「拒絶中心点（$c_{t,ref}$）」と「目標中心点（$c_{t,tar}$）」を計算します。
   • これらの差ベクトル $v_{t} = c_{t,tar} - c_{t,ref}$ を「誘導ベクトル（steering vector）」として定義し、タスクごとの軌道パターンを保存します。

3. 推論時の動的制御（Inference-Time Steering）:

   • タスク識別: 入力プロンプトが既知の benign タスク（例：翻訳、感情分析）に一致するかを、内部表現の軌道に基づいて判定します。
   • 動的層選択（Dynamic Layer Selection）: 全層を制御するのではなく、拒絶軌道から目標軌道への転換が最も効果的な特定の層（通常は中盤〜後半の層）のみを選択します。
   • 適応的誘導: 選択された層において、現在の表現を拒絶軌道から目標軌道へシフトさせるよう、適応的な強度で誘導ベクトルを適用します。
   • 安全性の担保: 悪意のある入力や、タスクが benign ではない場合は誘導を行わず、元のモデルの挙動（適切な拒絶を含む）を維持します。

3. 主要な貢献

1. タスク別過剰拒絶の評価ベンチマークの作成:
   • 感情分析、翻訳、再表現、暗号解読、RAG-QA の 5 つのタスクを対象に、安全なテキスト、有害なテキスト、タスク固有のテキストを含む 1,047 サンプルのデータセットを構築しました。
2. 条件付き誘導アプローチの提案:
   • 推論時に層ごとの表現を監視し、タスク固有の軌道パターンに基づいて過剰拒絶を軽減する新しい手法「SafeConstellations」を提案しました。
   • 一般的な誘導手法とは異なり、タスクを条件として制御を行うため、モデルの汎用能力を損なわずに特定の過剰拒絶のみを修正できます。

4. 実験結果

LLaMA-3.1-8B と Qwen1.5-7B などのモデルで評価を行いました。

• 過剰拒絶率の大幅な削減:
  • LLaMA-3.1-8B において、過剰拒絶率をベースラインの 17.77% から 4.81% まで削減（72.92% の改善）しました。
  • Qwen1.5-7B においても、63.64% の削減を達成しました。
• 有用性（Utility）の維持:
  • MMLU ベンチマークでの精度を測定した結果、誘導による性能低下はほとんど見られませんでした（LLaMA で 46.57% を維持）。
  • 逆に、タスク非依存の強力な誘導（Fixed Layers）を行った場合、過剰拒絶は減るものの、MMLU 精度が低下し、出力が不整合になることが確認されました。
• タスク依存性の確認:
  • 埋め込み空間の可視化（UMAP）により、タスクごとの軌道が明確に分離していることが確認されました。また、テキストの種類（安全/有害）による分離よりも、タスクの種類による分離の方が顕著であることが示されました。

5. 意義と結論

SafeConstellations は、LLM の安全性と有用性のトレードオフを解決する重要なステップです。

• 原理的なアプローチ: 単にプロンプトを修正したり、モデルを再学習させたりするのではなく、モデルの内部表現の幾何学的構造（軌道）を利用することで、より精密で解釈可能な制御を実現しています。
• 実用性: 特定のタスク（翻訳や分析など）に特化したアプリケーションにおいて、誤った拒絶を減らしつつ、本来の安全性（有害なコンテンツへの拒絶）は維持できるため、生産環境での導入が期待されます。
• 限界と将来展望: 現在、モデルの内部構造へのアクセスが必要であり、タスク埋め込みは静的であるため、動的環境での継続的な更新が必要です。また、評価には LLM-as-a-Judge を使用しており、人間の評価との完全な一致は今後の課題です。

総じて、この研究は「LLM はタスクに応じて異なる表現軌道を持つ」という洞察に基づき、過剰な安全性対策を条件付きで緩和する画期的な手法を提供しています。