Beyond "I cannot fulfill this request": Alleviating Rigid Rejection in LLMs via Label Enhancement

技術的概要：LLM における硬直的な拒絶の緩和に向けた「私はこのリクエストに応えられません」の超え：ラベル強化によるアプローチ

問題定義
大規模言語モデル（LLM）は、有害なリクエストを拒絶しつつ有益なリクエストに応えるために、安全性アライメントに依存しています。しかし、現在のメカニズムは「硬直的な拒絶」に悩まされており、これには主に 2 つの限界があります：(1) 過剰防衛的な拒絶：敏感なトピックに関する benign（無害）、学術的、または教育的な問い合わせが、区別なくブロックされること；(2) 機械的な応答テンプレート：特定のリスクレベルや文脈に関わらず、モデルが「私はこのリクエストに応えられません」などの一般的でロボットのような拒絶応答を出力すること。この硬直性は、粗粒度の二値安全性ラベルまたは離散スカラー報酬に依存する既存のアライメント戦略に起因しています。これらのシグナルは解釈可能性や方向性のガイダンスに欠け、モデルがリスクのあるコンポーネントを正確に特定したり、有害な要素を洗練させたりすることを妨げ、結果として人間と AI の相互作用の自然さや有用性が損なわれています。

手法：LANCE フレームワーク
本論文は、ラベル強化を通じて硬直的な二値判断を柔軟で自然な応答に置き換えるためのフレームワークであるLANCE（Llm rejection via lAbel eNhanCemEnt）を提案します。この手法は、以下の 2 つの中核的コンポーネントで構成されます：

1. 変分推論によるラベル強化：
   二値ラベル（0 または 1）を使用する代わりに、LANCE は変分推論ネットワークを用いて、粗い安全性ラベルを複数の拒絶カテゴリにわたる連続的で分離されたリスク分布（$d \in [0, 1]^c$）に変換します。

   • アーキテクチャ：システムは、プロンプトと応答のペアから文脈特徴を抽出するための共有 RoBERTa ベースのエンコーダを使用します。これらの特徴は、2 つの並列潜在空間へ投影されます：セマンティック空間（$z$、ガウス分布としてモデル化）とリスク空間（$d$、ベータ分布としてモデル化）。
   • 分離：事後分布においてセマンティック内容と安全性制約が統計的に独立であると仮定することで、モデルは基礎となる言語的意味を変更することなくリスク強度を分離して学習します。
   • 訓練目的：モデルは、エビデンスの下限（ELBO）を最大化するように訓練され、セマンティック特徴と二値リスクラベルの両方の再構成損失を最小化し、事前分布を強制するための KL 発散正則化を伴います。補助的な正則化項により、推論された連続分布が真の二値教師信号と整合していることを保証します。

2. 微細なリスク誘導プロンプト洗練：
   連続的なリスク分布 $d$ は、洗練モデル（例：Qwen2.5-1.5B）のための診断シグナルとして機能します。

   • 閾値設定：システムは閾値（$\tau, \tau_{low}, \tau_{high}$）を設定し、リスクレベルを「軽微（Minor）」、「軽度（Mild）」、「重大（Critical）」に分類します。
   • テキスト勾配：リスクカテゴリと強度に基づき、テンプレート $T(y_j, d_j, e_j)$ を使用して特定のテキスト勾配（例：「このセクションをより攻撃的にならないように書き換える」）を生成します。
   • 反復最適化：TextGrad ベースのアプローチを用いて、洗練モデルはユーザープロンプトを反復的に書き換えます。これは、元のセマンティック意図を保持しつつ有害な要素を外科的に中立化し、ハードな拒絶をトリガーすることなく、安全で有益かつ自然な問い合わせへと変換します。

主要な貢献

• 新規フレームワーク：安全性アライメントを単純な二値判断から、複数の拒絶カテゴリにわたる連続分布へと移行させる LANCE の導入。
• ラベル強化：二値拒絶ラベルを詳細で微細な分布に変換するメカニズムにより、特定の有害なセマンティックコンポーネントの特定とその正確な修正を可能にする。
• 洗練モデル：これらの分布を使用して有害な要素のみを除去する勾配駆動型の洗練プロセスの実装。これにより、LLM はロボットのようなテンプレートを回避しつつ、会話の自然さを維持した安全な応答を生成できる。

実験結果
著者らは、3 つの除去されたバックボーン（Llama3-8B、Llama3.1-8B、Qwen2.5-7B）を使用してBeaverTailsデータセット（14 の不安全カテゴリ）上で LANCE を評価し、5 つのベースライン（Vanilla（アライメント未実施）、RepE（潜在 steering）、SysPrompt（コンテキスト内安全性）、SelfRefine（反復的批判）、Official Instruct モデル（RLHF アライメント済み））と比較しました。

• 安全性と有用性のトレードオフ：Official Instruct モデルは高い安全性スコア（Llama-3 において 9.55 など）を達成しましたが、有用性スコアは急激に低下（3.41）し、重度の硬直的拒絶を示しました。一方、LANCE は同等の安全性（9.23）を達成しつつ、有用性（7.89）と自然さ（8.69）を大幅に回復させました。
• 商用モデルとの比較：トップクラスの商用モデル（GPT-4o、Gemini 2.5-Pro）と比較した際、LANCE は競争力のある安全性（9.55）を維持しつつ、GPT-4o（3.58）に対して優れた有用性（7.88）を示しました。これは、効果的なアライメントのために規模が唯一の前提条件ではないことを証明しています。
• アブレーション研究：洗練ループを除去した場合（LANCE-NR）、安全性は低下（4.57）しました。微細なガイダンスを除去した場合（LANCE-NF）は安全性が向上しましたが、完全な手法ほどの有用性と自然さには達せず、硬直的な拒絶を回避するためには連続的なリスク分布が不可欠であることを確認しました。

意義と主張
本論文は、硬直的な拒絶が安全性アライメントの避けられない帰結ではないと主張しています。分離された潜在変数を通じて安全性の目的を一般的な指示追従から切り離すことで、LANCE はモデルの有用性と自然さを回復させる堅牢な解決策を提供します。このフレームワークは、粗い拒絶フィルタを、正確でリスク誘導型の反復最適化プロセスに置き換えることで、モデルが安全性の境界を知的に航行し、無害かつ建設的なニュアンスのある応答を生成できることを示しています。著者らは、この作業を、現在安全性調整済みモデルのパフォーマンスを低下させている「アライメント税」を緩和するための一歩として位置づけています。