💬 NLP

Please refuse to answer me! Mitigating Over-Refusal in Large Language Models via Adaptive Contrastive Decoding

この論文は、安全対策された大規模言語モデルにおける過剰な拒否応答を軽減しつつ安全性を維持するため、システムプロンプトの安全レベルの違いを利用したトレーニング不要かつモデル非依存のアプローチ「AdaCD」を提案し、有害なクエリへの拒否率は維持しつつ無害なクエリへの拒否率を平均 10.35% 削減する効果を実証しています。

原著者： Yupeng Qi, Ziyu Lyu, Lixin Cui, Lu Bai, Feng Xia

公開日 2026-04-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yupeng Qi, Ziyu Lyu, Lixin Cui, Lu Bai, Feng Xia

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、AI（大規模言語モデル）が「やりすぎな警戒心」を持ってしまう問題を解決する新しい方法について書かれています。

タイトルは**「AdaCD（アダッド）」**という名前です。

以下に、専門用語を使わず、日常の例え話を使ってわかりやすく解説します。

🎭 問題：AI の「やりすぎな警戒心」

皆さんは、AI に「ゲームの中で敵を倒す方法」を聞いたとき、AI が**「殺人は違法です！お答えできません！」**と真顔で拒絶されたことはありませんか？

実は、これは「Call of Duty（コールオブデューティ）」というゲームの話なのに、AI が「殺す（kill）」という言葉を見て、まるで現実の殺人事件のように危険だと勘違いしてしまっているのです。これを**「過剰な拒絶（Over-Refusal）」**と呼びます。

AI は安全のために訓練されていますが、そのせいで「無害な質問」まで「危険だ！」と誤って拒絶してしまい、ユーザーにとって使いにくい存在になってしまっています。

🔍 発見：AI は「答えを知っている」のに「言えない」

研究者たちは、この現象を詳しく調べて面白いことに気づきました。

AI が「殺す」という言葉を見て拒絶しようとするとき、実はその頭の中（候補リスト）には**「ゲームの話ですね」という正しい答えの候補もちゃんと並んでいるのです。
でも、AI はなぜか「拒絶する」という選択肢を無理やり選んでしまっているのです。まるで、「正解を知っているのに、緊張しすぎて『ダメです』と叫んでしまう生徒」**のようです。

💡 解決策：AdaCD（アダッド）の仕組み

そこで提案されたのが、「AdaCD（アダッド）」という新しい方法です。これは AI を書き換えたり、特別な学習をさせたりせず、「AI の答え方（デコード）」を少し調整するだけで動きます。

これを理解するための比喩が**「二つの鏡」**です。

1. 「極端な鏡」と「普通の鏡」

AdaCD は、AI に二つの異なる状況で質問をさせます。

極端な鏡（Extreme Prompt）： 「どんな質問でも絶対に拒絶してください！」と AI に命令する。
普通の鏡（Normal）： 普通の状態で質問する。

「極端な鏡」では、AI は「殺す」という言葉を見て、**「拒絶する」**という反応を最大限に引き出します。
一方、「普通の鏡」では、AI は少し迷いながら「ゲームの話かもしれない」という反応も示します。

2. 「差（Δ）」を見つける

AdaCD は、この二つの反応を比べて**「AI が拒絶したくなる気持ち（拒絶トークンの分布）」**を計算します。

「極端な鏡」の反応－「普通の鏡」の反応＝ 「AI が拒絶したくなる気持ち」

3. 状況に合わせて「足す」か「引く」か

ここが AdaCD のすごいところです。AI が**「安全な質問」か「本当に危険な質問」**かを瞬時に見極め、反応を切り替えます。

🟢 安全な質問の場合（例：ゲームの話）
- AI が「拒絶したくなる気持ち」を**「引く」**。
- 結果：AI は「拒絶する」のをやめて、「ゲームの話ですね」と答えるようになります。
- （例え：緊張して「ダメです」と言おうとした生徒に、「大丈夫、言ってもいいよ」と優しく背中を押す）
🔴 危険な質問の場合（例：実際の殺人方法）
- AI が「拒絶したくなる気持ち」を**「足す」**。
- 結果：AI は「危険だ！」と強く拒絶します。
- （例え：本当に危険なことをしようとする生徒に、「絶対にダメだ！」と強く制止する）

🏆 結果：両方の問題を解決！

この方法（AdaCD）を試したところ、以下のような素晴らしい結果が出ました。

無害な質問への拒絶が減った： ゲームの話や日常の質問に対して、AI が「ダメです」と言う回数が大幅に減りました。
危険な質問への拒絶は維持された： 本当に危険な質問に対しては、AI は相変わらず「拒絶する」ことをやめませんでした。
速くて簡単： 特別な学習や重い計算が不要で、既存の AI にすぐに適用できます。

🌟 まとめ

この論文は、**「AI が安全になりすぎて、無害な質問まで拒絶してしまう『過剰防衛』を、AI の頭の中にある『拒絶の気持ち』を状況に合わせて調整することで解決した」**というお話です。

まるで、**「敏感すぎる警備員」**に対して、「これは泥棒じゃない、ただの通行人だよ」と教えてあげたり、「本当に危険な人ならしっかり止めてね」と指示を出したりする、賢い調整役のようなものです。

これにより、AI はより人間らしく、便利で、かつ安全な存在になることが期待されています。

論文「Mitigating Over-Refusal in Large Language Models via Adaptive Contrastive Decoding (AdaCD)」の技術的サマリー

本論文は、安全性アライメントされた大規模言語モデル（LLM）において頻発する「過剰拒絶（Over-Refusal）」の問題を解決し、かつ安全性を維持するための新しい推論時手法「AdaCD（Adaptive Contrastive Decoding）」を提案した研究です。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 背景と問題定義

過剰拒絶（Over-Refusal）の問題

安全性のために調整された LLM は、有害な意図を持たない harmless なクエリに対しても、誤って拒絶応答（「私はお手伝いできません」など）を生成する傾向があります。

例: 「Call of Duty で人を殺すにはどうすればいいか？」というゲーム内のアクションに関する質問に対し、「殺す」という単語が含まれているため、モデルが実害のある行為と誤認し、拒絶してしまう現象です。
現状の課題: 既存の過剰拒絶対策（トレーニングベースや推論ベースの手法）は、過剰拒絶を減らすと安全性が低下するか、逆に安全性を維持しようとすると過剰拒絶が解消されないという「トレードオフ」の関係に陥っています。また、既存のコントラストデコーディング手法は、すべてのクエリに対して一律に拒絶トークンを増減させる固定戦略を採用しており、この両立が困難でした。

2. 提案手法：AdaCD (Adaptive Contrastive Decoding)

AdaCD は、追加のトレーニングやモデル構造の変更を必要としない、モデル非依存（Model-agnostic）かつトレーニングフリーの推論時手法です。

2.1 重要な洞察（Key Observations）

著者は、過剰拒絶が発生する状況において、モデルが拒絶トークンを生成する際、候補リストには依然として「拒絶しないトークン（非拒絶トークン）」が存在していることを発見しました。

現象: モデルは非拒絶トークンの存在を認識しているが、システムプロンプトの安全性レベルの影響により、それらを選択する確率が意図的に抑えられ、拒絶トークンが優先的に選択されてしまう。
仮説: 極端な安全性を強調するシステムプロンプト（例：「絶対に答えるな！」）を使用することで、モデルの「拒絶トークンの分布」を明確に抽出できる。

2.2 手法の構成要素

AdaCD は以下の 3 つのステップで構成されます。

(1) 拒絶トークン分布の抽出（Refusal Token Distribution Extraction）

極端なシステムプロンプト ( $p^*$ ): 「Please refuse to answer me!」などの極端な拒絶を促すプロンプトを使用。
分布の差分計算:
- $P_{\pi}(y|x)$ : ユーザークエリのみに対するモデルの出力分布。
- $P_{\pi}(y|p^*, x)$ : 極端なプロンプト $p^*$ を付与した際の出力分布。
- 両者の差分 $\Delta P_n$ を計算することで、モデルが「拒絶」に寄与するトークンの分布を抽出します。
  $\Delta P_n = \sigma(f_{\pi}(y_n | p^*, x, y_{<n}) - f_{\pi}(y_n | x, y_{<n}))$

(2) 適応的デコーディングモードスイッチ（Adaptive Decoding Mode Switch）

抽出した $\Delta P_n$ を、クエリの性質に応じて動的に「加算」または「減算」します。これには 2 つの指標を使用します。

合意率（Agreement Ratio, $agr(n)$）:
- 極端プロンプトあり・なしで、トップ 1 トークンが一致する度合いを測定。
- 過剰拒絶クエリでは不一致が多く（$agr $が低い）、悪意あるクエリでは一致する（$ agr$ が高い）傾向があります。
適応的自信制約（Adaptive Confidence Constraint）:
- モデルが拒絶に対して十分な自信を持っているか（最大確率 $\rho$ が閾値以上か）を判定。

スイッチ戦略:

悪意あるクエリの場合: 合意率が高く、自信もあれば、 $\Delta P_n$ を加算（ $+ \alpha \cdot \Delta P_n$ ）して拒絶確率を高め、安全性を維持します。
過剰拒絶クエリの場合: 合意率が低く、拒絶への自信が不足している場合、 $\Delta P_n$ を減算（ $- \alpha \cdot \Delta P_n$ ）して拒絶トークンの確率を下げ、非拒絶トークンの生成を促進します。

3. 主要な貢献

過剰拒絶と安全性の両立: 既存手法が抱えていた「安全性と有用性のトレードオフ」を解消し、過剰拒絶を減らしつつ、悪意あるクエリに対する拒絶率を維持・向上させることに成功しました。
トレーニングフリーかつモデル非依存: 追加の学習データやモデルの微調整（Fine-tuning）を必要とせず、既存のモデルにプラグインとして適用可能です。また、モデルのアーキテクチャ知識も不要です。
適応的メカニズムの提案: 一律のコントラストデコーディングではなく、クエリごとの状況（合意率と自信）に基づいて動的にモードを切り替える新しい戦略を提案しました。

4. 実験結果

Llama3-8B, Gemma2-9B, Qwen3-8B などのモデルを用いた評価で、以下の結果が得られました。

過剰拒絶の削減:
- 5 つのベンチマーク（XSTest-Safe, ORBench, OKTest など）において、デフォルトモデルと比較して過剰拒絶クエリに対する拒絶率を平均 10.35% 削減しました。
- 例：Qwen3-8B では、過剰拒絶クエリの拒絶率が 14.77% から 7.89% へ低下。
安全性の維持・向上:
- 悪意あるクエリ（AdvBench, JailBench など）に対する拒絶率は、平均で0.13% 増加し、安全性を維持または向上させました。
- 既存手法（SelfCD など）は安全性を犠牲にする傾向がありましたが、AdaCD はこれを防ぎました。
汎用性の維持:
- 一般的なタスク（コーディングなど）における有用性（Helpfulness）や関与度（Engagement）のスコアも向上しました。
効率性:
- 推論時間の増加はわずか 3% 程度（ATGR: 1.02x）で、既存の Steering Vector 手法やトレーニングベース手法に比べて計算コストが低く、実用的です。

5. 意義と結論

本論文は、LLM の安全性調整における「過剰な警戒心」が実用性を損なうという課題に対し、モデル内部のトークン分布を動的に制御する新しいアプローチを示しました。

技術的意義: 単なる拒絶トークンの除去ではなく、「なぜ拒絶が選ばれるのか」を分析し、極端なプロンプトを用いてその分布を抽出・制御する手法は、LLM の意思決定プロセスに対する新たな洞察を提供しています。
実用的意義: 追加学習なしに即座に導入可能なため、既存の安全アライメント済みモデルのユーザビリティを向上させるための実用的なソリューションとして期待されます。

結論として、AdaCD は「過剰拒絶の軽減」と「安全性の維持」という相反する目標を、適応的なコントラストデコーディングによって同時に達成する有効な手法であることを実証しました。