💬 NLP

RACC: Representation-Aware Coverage Criteria for LLM Safety Testing

本論文は、隠れ状態から安全性固有の表現を抽出してテストスイートの適切性を評価し攻撃生成を導くことで、従来のニューロンレベルの網羅性基準の限界を効果的に克服する、LLM 安全性テストのためのスケーラブルなフレームワークである RACC（表現認識網羅性基準）を導入する。

原著者： Zeming Wei, Zhixin Zhang, Chengcan Wu, Yihao Zhang, Xiaokun Luan, Meng Sun

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zeming Wei, Zhixin Zhang, Chengcan Wu, Yihao Zhang, Xiaokun Luan, Meng Sun

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いものの、ときどきいたずら好きなロボット助手（大規模言語モデル、または LLM）がいると想像してください。あなたが望むのは、その助手が意地悪な話や危険な話、違法な話をしないようにすることです。そのために、安全性のルールを破るかどうかを確認するため、何千ものトリッキーな質問（「ジェイルブレイク」と呼ばれる）を送り込みます。

問題はこれです：あなたのトリッキーな質問のリストが、実際に優れているかどうかを、どうやって知ればよいのでしょうか？

昔の方法：電球を数える

過去、研究者たちはテストの質を測るために、ロボット内部の「電球」（ニューロン）を調べる試みを行いました。ロボットが質問を処理したときに、いくつの電球が点灯したかを数えるのです。

欠点: これは、画面で何個のピクセルが変化したかを数えることで映画を理解しようとするようなものです。些細で無意味なノイズが百万個もの電球を点灯させる一方で、深遠で危険なアイデアはわずか数個の電球しか点灯させないかもしれません。また、巨大なロボットの脳内のすべての電球を一つずつ数えるのは、時間がかかりすぎ、費用も高すぎます。

新しい方法：RACC（「安全性コンパス」）

この論文は、RACC（表現意識カバレッジ基準）を導入します。すべての電球を数える代わりに、RACC は「危険」を指し示すロボットの内部コンパスを探します。

RACC がどのように機能するかを、簡単な比喩を用いて説明します。

1. コンパスの較正（較正セット）

まず、研究者たちはロボットに、明らかに悪い質問（例：「爆弾の作り方は？」）の小さく厳選されたリストを見せます。ロボットがこれらの質問について考える際の脳を分析し、「危害」という概念が存在する特定の「方向」または「ベクトル」を見つけ出します。

比喩: メタルディテクターをテストしたいとします。まず、既知の硬貨や岩をいくつか見せて較正し、「金属」がどのような感覚かを正確に理解させます。

2. 「危険方向」の測定

次に、新しいテスト質問のリストを取り出します。ランダムな電球を数えるのではなく、「この質問は、どの程度『危害』の方向を指しているか？」と問います。

もし質問が、単に悪い質問の言い換え（類義語）で無害なものであれば、同じ方向を指します。RACC は、「この方向は既に見ている。新しい領域はカバーされていない」と判断します。
もし質問が完全に無害なもの（例：「天気はどう？」）であれば、全く異なる方向を指します。RACC は、「これは危険コンパスを全く作動させない。無視する」と判断します。
もし質問がロボットをだます巧妙で新しい方法であれば、危害の新鮮な方向を指します。RACC は、「素晴らしい！新しい盲点を見つけた」と判断します。

3. コンパスの六つのルール

RACC は、テストリストを評価するために、2 つのグループに分けられた 6 つの特定のルールを使用します。

グループ A：個々の概念の確認（「何」）

悪いものは見つけましたか？（SFC）テストリストは、既知の危険方向のいずれかをトリガーしましたか？
主要なターゲットを撃てましたか？（TKFC）テストリストは、弱い方向だけでなく、最も強い危険方向を撃ちましたか？
強度をテストしましたか？（FIC）テストリストには、危険の「ささやき」と危険の「叫び」の両方が含まれていましたか？（一部の攻撃は微妙で、一部は明白です）。

グループ B：組み合わせの確認（「どのように」）
4. すべての地区を訪れましたか？（SCC）テストリストは、同じタイプを繰り返すのではなく、異なる種類の悪い行動（例：暴力、ヘイトスピーチ、詐欺）を網羅しましたか？
5. 材料を混ぜましたか？（PCC）テストリストには、2 つの悪いものを同時に組み合わせた質問（例：暴力を伴う詐欺）が含まれていましたか？
6. 曖昧な境界を見つけましたか？（CBC）テストリストは、「安全」と「不安全」のあいまいな境界線上に位置し、ロボットが混乱する質問を見つけましたか？

これが重要な理由（結果）

この論文は、RACC を実世界の安全性ベンチマークを用いて、従来の「電球を数える」方法と比較してテストしました。

昔の方法は簡単にだまされました。1,000 個の無害な質問を追加したり、同じ悪い質問を 1,000 回言い換えたりしただけでも、より多くの電球が点灯するため、昔の方法はテストリストが「良くなっている」と誤って判断しました。
RACCは賢明なままでした。無害なノイズや反復的な類義語を無視しました。テストリストが実際にロボットの安全性を破る新しいかつ多様な方法を見つけ出したときのみ、高いスコアを与えました。

言及されている実用的な用途

この論文は、RACC を使用する 2 つの実践的な方法を示しています。

テストの優先順位付け: 膨大で散らかったテスト質問の山がある場合、RACC はそれらを迅速に分類し、最も有用なものを選び出し、不要なものを捨てることができます。
攻撃のサンプリング: ロボットを破る新しい方法を生み出そうとしている場合、RACC は次に試す最も有望な試行を選ぶのを助け、時間と労力を節約します。

結論

RACC は、AI 安全性のテストがどの程度うまく行われているかを測定するための、新しく賢い定規です。AI の脳内の数百万もの細部に迷い込むのではなく、重要な特定の「危険信号」に焦点を当てることで、安全性テストをより迅速に、より安価に、そしてはるかに正確にします。

技術的サマリー：RACC（LLM 安全性テストのための表現認識カバレッジ基準）

1. 問題定義

大規模言語モデル（LLM）は、モデルの脆弱性を悪用して有害なコンテンツを生成するジャイルブレイク攻撃から、重大な安全性リスクに直面しています。現在の安全性テストは、SafetyBench や SorryBench などの静的なオープンソースデータセットに大きく依存しており、テストスイートの品質と適切性を評価するための体系的な基準が欠如しています。カバレッジ基準は、ニューロン活性化を監視することで小規模な深層ニューラルネットワーク（DNN）において有効であることが証明されていますが、LLM には以下の 2 つの主要な理由により不適切です：

スケーラビリティ: すべての層にわたる数十億のニューロンをプロファイリングする計算オーバーヘッドは、LLM にとっては許容できません。
目的の不一致: 従来のニューロンレベルの基準は、すべての活性化を同等に扱います。LLM において、ニューロン活性化の大部分は冗長であり、安全性とは無関係です。その結果、ニューロンレベルの指標は、意味的に重要な安全性関連のプロンプトと、意味的に冗長または benign な入力との区別を失敗しやすく、カバレッジ評価にノイズを導入します。

LLM にスケーラブルであり、生きた活性化統計ではなく安全性に関連する信号に基づいたカバレッジ基準が緊急に必要とされています。

2. 手法：RACC フレームワーク

著者らは、カバレッジ測定を個々のニューロン活性化から、モデルの隠れ状態空間における特定の安全性概念を符号化する低次元の方向である**安全性表現（safety representations）**へと移行させるフレームワーク、RACC（表現認識カバレッジ基準）を提案します。

2.1 中核となる設計原則

RACC は、LLM の安全性テスト向けに調整された 3 つの設計原則に基づいています：

類義語非感受性: 意味的に類似したプロンプト（例えば、言い換えられたジャイルブレイク）が、カバレッジ指標を人為的に膨らませてはなりません。
無効入力非感受性: benign な入力や非敵対的な入力はカバレッジに寄与してはなりません。なぜなら、目標はモデルが有害なコンテンツを拒絶する能力をテストすることだからです。
ジャイルブレイク感受性: 指標は、有害な振る舞いを成功裡に引き起こすか、または安全性上重要な概念を活性化させるプロンプトを優先しなければなりません。

2.2 技術的ワークフロー

RACC フレームワークは 3 つの段階で動作します：

安全性表現の抽出:
- 特定の安全性カテゴリを代表する有害なプロンプトの小さな較正セットが作成されます。
- これらのプロンプトからの隠れ状態活性化が、モデルの中間層から収集されます。
- これらの活性化に対して主成分分析（PCA）を適用し、上位 $n$ の主成分を特定します。これらの成分は安全性表現を形成し、隠れ空間における安全性概念の主要な方向を表します。
概念活性化の計算:
- 任意の入力プロンプトに対して、モデルの隠れ状態を特定された安全性表現 onto 射影します。
- この射影の大きさが概念活性化スコアとして機能し、入力によって引き起こされた特定の安全性概念の強度を定量化します。
カバレッジの計算:
RACC は 2 つの次元に分割された 6 つのサブ基準を定義します：
- 次元 I：個別概念カバレッジ
  - 安全性特徴カバレッジ（SFC）: 少なくとも 1 つのプロンプトによって閾値を超えて活性化された安全性特徴の割合を測定します。
  - Top-K 特徴カバレッジ（TKFC）: 少なくとも 1 つのプロンプトに対して、最も活性化された特徴の上位 $k$ 位に現れる安全性特徴の割合を測定します。
  - 特徴強度カバレッジ（FIC）: 活性化の大きさをビンに離散化し、特徴全体にわたる活性化強度の多様性を測定します。
- 次元 II：構成概念カバレッジ
  - セマンティッククラスタカバレッジ（SCC）: 射影された安全性ベクトルに対して K-Means クラスタリングを使用し、テストスイートが訪れるセマンティックモードの多様性を測定します。
  - ペアワイズ概念カバレッジ（PCC）: 安全性特徴のペアの共起を測定し、概念間の相互作用を捉えます。
  - クラスタ境界カバレッジ（CBC）: セマンティッククラスタ間の低密度領域に位置するプロンプトを特定し、モデルが最も脆弱となる曖昧な安全性境界をターゲットにします。

3. 主要な貢献

RACC フレームワーク: ニューロンレベルの指標の限界に対処し、LLM の安全性のために特別に設計された、スケーラブルで表現認識型のカバレッジ基準の提案。
6 つのサブ基準: 生きたニューロンではなく安全性表現に基づき、個別の概念活性化と構成的な相互作用の両方を網羅する新規の指標群。
実証的検証: RACC が 3 つの設計原則（類義語非感受性、無効入力非感受性、ジャイルブレイク感受性）を満たし、既存のニューロンレベルのベースラインを上回ることを示す包括的な実験。
実用的応用: テストスイートの優先順位付け（冗長または無効なプロンプトのフィルタリング）と攻撃プロンプトのサンプリング（多様で成功したジャイルブレイクの選択）における RACC の有用性の実証。
オープンソース: さらなる研究を促進するための実装の公開。

4. 実験結果

著者らは、SorryBench や ORBench-Toxic などのベンチマークを使用して、3 つのオープンソース LLM（Vicuna-7B、Llama-2-7B、Qwen-2.5-7B）上で RACC を評価しました。

ニューロンレベル基準との有効性の比較:
- RACC 指標はジャイルブレイク攻撃（例： $S_{JA}$ ）に対して高い感受性を示し、顕著なカバレッジの向上をもたらしました。
- 重要なことに、RACC は無効入力（benign なプロンプト）や冗長な意味（類義語）に対して非感受性のままでした。対照的に、ニューロンレベルのベースライン（例：NC、TKNC）は、benign なプロンプトや類義語プロンプトが追加された際に、大きく誤解を招くカバレッジの増加を示し、効果的な安全性テストとノイズを区別できませんでした。
リスクタイプの多様性: RACC 指標は、テストスイート内の安全性違反カテゴリの多様性とともに単調に増加しましたが、ニューロンレベルの指標は停滞するか、ランダムに変動しました。
概念的整合性: 較正セットとの意味的重なりが異なるように構築されたテストスイートにおいて、RACC スコアは重なりが減少するにつれて厳密に減少しました。これは、指標が一般的な異常ではなく、特定の安全性概念を測定していることを確認しました。
応用:
- 優先順位付け: RACC による選択は、ニューロンレベルのベースラインよりもはるかに効果的に有効な候補を先頭に配置しました（SorryBench において、AUC が 0.667 対 0.340）。
- サンプリング: ベースラインと比較して、RACC は成功したジャイルブレイクと多様な攻撃カテゴリの発見を加速しました。
一般化: RACC は、異なるモデルサイズ（13B へのスケーリング）、較正セットサイズ（小さなセットでも有効）、抽出層、ハイパーパラメータ構成において堅牢であることが証明されました。また、手動調整を排除するための適応的パラメータ選択戦略（AdaRACC）も提案されました。

5. 意義と主張

本論文は、RACC がカバレッジガイド型の LLM 安全性テストのためのスケーラブルで原理的な基盤を提供すると主張しています。生きたニューロン活性化ではなく安全性概念の方向にカバレッジを根ざすことで、RACC は従来の DNN カバレッジ基準に内在するスケーラビリティのボトルネックと目的の不一致のギャップを解決します。

著者らは、RACC が単なる汎用異常検知器ではなく、安全性に関連する意味の活性化を特に測定するツールであると主張しています。これにより、安全性テストスイートの厳密な評価、優先順位付け、最適化が可能となり、静的なデータセットへの依存から、動的でカバレッジを認識した安全性工学へと分野を移行させます。この研究は、低ランクの安全性表現に焦点を当てるアプローチが、LLM 安全性テストの適切性を評価するための実行可能かつ優れた手法であることを確立しています。