テクニカル・サマリー：確率ではなくランクを一致させることが真に深い安全性アライメントをもたらす

1. 問題提起

オープンソースの大規模言語モデル（LLM）は、AIの民主化に不可欠であるが、その開放性は悪意のある攻撃者に対する脆弱性を生み出す。具体的かつ容易にアクセス可能な脅威として、「プリフィリング攻撃（prefilling attack）」がある。これは、攻撃者がアシスタントの応答の冒頭部分を肯定的な接頭辞（例：「爆弾の作り方は以下の通りです...」）で手動で埋めることで、安全フィルターを回避する手法である。

Qiら（2025）による最近の研究は、データ拡張を用いた教師あり微調整（SFT）による「深い」安全性アライメント防御を提案した。この手法は、有害なプリフィルの直後に固定された拒絶文字列を出力するのではなく、自然言語による拒絶を生成するようにモデルを訓練するものである。この手法は、標準的なサンプリングベースのデコーディングやパラメータチューニングによる攻撃（温度設定のグリッドサーチなど）に対しては効果的であるが、本論文はその防御が依然として「表層的」であることを指摘している。

著者らは、ディープな安全性アライメントを施した後でも、モデルがトップ$k$の予測の中に「有害な」トークンを、低確率ながらも高いランクとして保持していることを実証した。確率の総量（probability mass）を無視し、代わりにランクに基づいてトークンを選択すること（具体的にはトップ20以内）によって、攻撃者は拒絶メカニズムを回避できてしまう。本論文は、この脆弱性を突くためのランク支援型プリフィリング（Rank-Assisted Prefilling; RAP）攻撃を導入し、真に深い安全性アライメントを実現するための新しい学習目的関数であるPRESTOを提案する。

2. 手法

2.1 RAP攻撃

**ランク支援型プリフィリング（RAP）**攻撃は、プリフィリング技術を一般化したものである。攻撃者は、高確率なトークンに依存するのではなく、有害な物語を継続させるようなトークンを、確率スコアに関わらず、予測される次のトークンのトップ$k$（例：$k=20$）の中から選択する。

• メカニズム: 各デコーディングステップにおいて、攻撃者はトップ$k$のトークンを検査する。もし有害な物語を継続させるトークン（「有害なトークン」）がトップ$k$の中に現れた場合、たとえ拒絶トークン（例：「I」）の確率が著しく高くても、それが選択される。
• 自動化（AutoRAP）: 著者らは、拒絶トークンと有害な継続トークンを区別する分類器を用いたRAPの自動化バージョンを開発した。これにより、手動の介入なしに有害なコンテンツを体系的に抽出することが可能となった。

2.2 プッシュフォワード・アライメント（PFA）

著者らは、データ拡張による防御の失敗は、拒絶トークンの負の対数尤度（確率）を最小化することに焦点を当てており、有害なトークンのランクを制御できていない点にあると主張している。

• 概念: 真に安全なモデルでは、最初の応答トークンの分布（プリフィルなしの場合）において、拒絶トークンがトップランクにあり、プリフィルを継続させる有害なトークンが存在しない状態であるべきである。
• 目標: モデルは、有害なプリフィルが存在する場合でも、このランク-有害性マッピングを、最初のトークン分布からすべての後続のデコーディングステップへと「プッシュフォワード（前方へ押し出す）」すべきである。つまり、あるトークンが有害であるならば、プリフィルの有無にかかわらず、出力分布におけるそのランクは低く保たれるようにしなければならない。
• 定式化: 著者らは、第$s$ランクのトークンが有害である確率を表すランク-有害分布 $R(s, x, x_{pre})$ を定義する。目標は、安全なモデル（プリフィルなし）のランク-有害分布と、攻撃を受けているモデル（プリフィルあり）の間のアースムーバー距離（EMD）を最小化することである。

2.3 PRESTO: PRefill attEntion STOpping

PFAを実用的に実装するために、著者らはTransformerのマルチヘッド・アテンション（MHA）メカニズムに基づく正則化損失であるPRESTOを提案する。

• 仮説: トップ$k$のランキングに有害なトークンが存在するのは、モデルが有害なプリフィル・トークンに注意（アテンション）を向けているためである。もしモデルがプリフィル・トークンを「無視」するように（すなわち、それらへのアテンションを減少させるように）訓練できれば、出力分布は元のプロンプトの安全で拒絶に満ちた分布へと回帰するはずである。
• 損失関数: PRESTOは、有害なプリフィル・トークンへのアテンション・スコアを最小化し、非プリフィル・トークンへのアテンションを最大化する。
  $$\ell_{PRESTO}(\theta) = \mathbb{E}_{(x, x_{pre}) \sim D} [A_1 - A_2]$$
  ここで、$A_1$ は全レイヤーおよび全ヘッドにおけるプリフィル・トークンへの平均アテンションであり、$A_2$ は非プリフィル・トークンへの平均アテンションである。
• 訓練: モデルは、標準的なデータ拡張損失（Qi et al., 2025）とPRESTO損失を組み合わせて微調整される。これらは単一のフォワードパスで共に計算される。

3. 主な貢献

1. RAPの脆弱性の特定: データ拡張による「深い」安全性アライメントは、有害なトークンの確率のみを抑制し、そのランクを抑制できていないため不十分であることを実証した。
2. ランク支援型プリフィリング（RAP）攻撃: 低確率・高ランクのトークンを選択することで、データ拡張による防御を効果的に回避し、有害なコンテンツを抽出する新しい、アクセスの容易な攻撃ベクトルを提示した。
3. プッシュフォワード・アライメント（PFA）: 安全性アライメントは、最初のトークン分布のランク-有害マッピングを生成プロセス全体を通じて保持しなければならないという理論的枠組みを提案した。
4. PRESTO: プリフィル・トークンへのアテンションを正則化し、RAP攻撃に対する困難さを大幅に高める、メカニスティックに解釈可能な単純な学習目的関数を提供した。

4. 実験結果

著者らは、Llama 2 7B Chat、Qwen 3 8B、Gemma 3 12B IT の3つの普及しているオープンソースモデルを用いてPRESTOを評価した。

• 攻撃成功率:
  • 元のデータ拡張防御（Qi et al., 2025）の下では、RAP攻撃は高い成功率を達成した（例：Llama 2 7BにおいてStrongREJECTスケールで約0.74）。
  • PRESTOを用いると、RAP攻撃の成功率は大幅に低下した。これら3つのモデル全体で、PRESTOはデータ拡張のみと比較して、最大で4.7倍の安全性向上（有害性スコアの減少）をもたらした。
  • AutoRAPの性能は人間による評価と密接に一致しており、攻撃の自動化が可能であることを裏付けた。
• 有用性の維持:
  • PRESTOで微調整されたモデルは、MT-Bench（オープンエンド生成）およびGSM-8K（数学的推論）において競争力のある有用性を維持しており、データ拡張のみで訓練されたモデルと比較して性能低下は1%未満であった。
• メカニスティック分析:
  • アテンション分析により、PRESTOが有害なプリフィル・トークンへのアテンションを効果的に減少させていることが判明した。これは特に、安全性に関する決定において重要とされるモデルの後半レイヤーにおいて顕著であった。
  • 本防御はGCG (Greedy Coordinate Gradient) 攻撃に対しても堅牢であり、PRESTOが他の攻撃ベクトルに対する脆弱性を再導入していないことを示した。

5. 意義と主張

本論文は、真に「深い」安全性アライメントを達成するには、確率ベースの目的関数を超えて、ランクベースの制約へと移行する必要があると主張している。著者らは、有害な継続をトップ$k$のランク内に残してしまう場合、単に拒絶トークンを高確率で出力するように訓練するだけでは不十分であると述べている。

PRESTOを導入することで、本研究は、実用的かつ低コストな攻撃であるRAPに対して、オープンソースモデルをより安全にする道筋を示している。その意義は以下の点にある：

• 安全性の民主化: プリフィリングを許可するAPIのような顧客向けアプリケーションに、回避のリスクなくオープンソースモデルをデプロイすることを可能にする。
• 回避コスト: 回避を不可能にすることを目指すのではなく、悪意のある攻撃者が安全性回避を行うためのコストを高めるという目標に合致している。
• 解釈可能性: 防御が機能する理由として、メカニスティックな説明（アテンションの抑制）を提供し、理論的なアライメントと実用的な実装の間の溝を埋めている。

著者らは、完璧な防御は存在しないものの、PRESTOは、ランクに基づいた搾取に対してオープンソースLLMをより安全にするための重要な一歩であると結論づけている。