技術概要：大規模言語モデルにおける対話応答生成のための有害サブワード剪定

問題定義

大規模言語モデル（LLM）の急速な進展は、有害または有毒なコンテンツの生成に関する重大なリスクをもたらしている。既存の安全研究は主に「安全な」モデルをジャイルブレイク攻撃や有毒なプロンプトから防御することに焦点を当てているが、すでに有毒となっているモデルに対する重要なギャップが残されている。このシナリオは、個人開発者が無意識に有毒モデルを作成した場合や、攻撃者がモデルの重みにアクセスして有害なコンテンツでモデルを微調整した場合に生じる。

現在の緩和策はいくつかの限界に直面している：

• 安全アライメント: 事前学習済みモデルを安全のために微調整することは計算コストが高く、個人開発者にはしばしばアクセス不可能である。
• 外部分類器: 有毒出力を検出・ブロックするために外部の毒性分類器を使用することは不完全である。攻撃者は悪意のある注入プロンプトを介してこれらを回避でき、継続的なブロックはモデルが一切出力できなくなることでモデルを無用にする可能性がある。
• 複雑な解毒: 既存の有毒 LLM の解毒方法は、迅速な展開にはしばしば複雑すぎる。
• プロンプト注入の脆弱性: 適切にアライメントされたモデルでさえ、プロンプト注入を介して有毒生成をトリガーされうる。

本論文は、高価な再学習や重みの更新を必要とせず、モデルのデコーディングプロセスから直接有毒能力を剪定するための、軽量な推論時のソリューションが必要であると主張している。

手法：有害サブワード剪定（ToxPrune）

著者は、学習済み LLM のデコーディングプロセス中に、有毒な単語に関連するサブワード（サブトークン）を語彙から剪定する新しいアルゴリズム ToxPrune を提案する。

中核メカニズム

1. カスタマイズされた有毒リスト: この手法は、ユーザーが定義した有毒単語のリストを受け入れる。
2. サブワードトークン化: これらの単語は、モデルのトークナイザー（例：BPE）を使用してサブワードにトークン化される。著者は、有毒な単語と非有毒な単語がサブワードを共有する可能性があることに言及しており、ToxPrune は有毒リストから派生した特定のサブワードを剪定することでこれを処理する。
3. 分布の修正: 推論中、次のトークンの確率分布が修正される。モデルは完全な語彙 $V$ からサンプリングする代わりに、剪定された有毒サブワードを表す $V_{toxic}$ を除いた制限された集合 $V \setminus V_{toxic}$ からサンプリングする。
   • 形式的には、トップ-$k$ サンプリングの場合、分布は $P(\bar{x}_i | \dots) \in V^{(k)}$ から $P(\bar{x}_i | \dots) \in V^{(k)} \setminus V^{(k)}_{toxic}$ に変化する。
   • ビームサーチの場合、剪定された単語を含むシーケンスの確率は 0 に設定され、候補リストから実質的に除外される。
4. 拡張と切り捨て:
   • 言い換えブラックリスト: カバレッジを向上させるため、初期の有毒単語リストは、有毒用語のバリエーションを含めるために言い換えジェネレーターを使用して拡張できる。
   • 切り捨てホワイトリスト: 事前に定義されたホワイトリストを使用して、安全な単語と重複する有毒サブワードを除去することで特定のキーワードを保持し、重要な非有毒用語が引き続き使用可能であることを保証する。

実装

ToxPrune は完全に推論段階で動作する。モデル重みの更新、再学習、または外部分類器を必要としない。選択前に候補語彙を単純にフィルタリングすることで、標準的なサンプリング戦略（トップ-$k$、トップ-$p$、ビームサーチ）と統合される。

主要な貢献

1. 新しいアルゴリズム: 対話生成のデコーディングプロセスに直接影響を与えるために有毒サブワードを削除する手法である ToxPrune の導入。
2. 二重検証: この手法は、既知の有毒 LLM（NSFW-3B）と、公式にアライメントされた非有毒 LLM（Llama-3.1-6B Base）の両方で検証された。
3. 実証的証拠: 広範なケーススタディと自動評価により、ToxPrune が有毒生成を効果的に緩和しつつ、対話品質を維持または向上させることが示された。

実験結果

データセットとモデル

• データセット: 実験は、ペルソナに条件付けられた多ターン対話データセットである PERSONACHAT-ORI と PERSONACHAT-REV（手動で修正され、より困難なバージョン）で行われた。
• モデル:
  • NSFW-3B: 汚い単語の生成のためにトレーニングされたオープンソースの有毒 LLM。
  • Llama-3.1-6B: 安全アライメントを備えた Llama-3.1 の公式ベースバージョン。
• ベースライン: 比較には、GPT-4 を使用した言い換えベースのアプローチと有毒分類器（TC）による再生成が含まれた。

有毒 LLM（NSFW-3B）における性能

• 毒性の低減: ToxPrune は、GPT-4 によって判定された毒性スコアを（ベースラインの）0.89 から（100% 剪定で）0.13 に劇的に低減させた。
• 品質の向上: 剪定がパフォーマンスを劣化させるという期待に反し、ほとんどの指標が向上した：
  • BLEU: BLEU-1 はわずかな低下を見せたが、BLEU-2 から BLEU-4、および重み付き BLEU は増加した。
  • ROUGE: すべての ROUGE 指標（R-1、R-2、R-L）が向上した。
  • 多様性: Distinct-1 と Distinct-2 のスコアが大幅に増加した（例：Distinct-2 は 0.712 から 0.800 へ）。
• 比較: 言い換えまたは有毒分類器を使用するベースラインは、根本的な NSFW-3B モデルが常に有毒コンテンツを再生成したため、毒性を効果的に緩和できなかった。

非有毒 LLM（Llama-3.1-6B）における性能

• 安全性: 毒性は 0.00 のままだった。
• 多様性: ToxPrune は、クリーンなモデルにおいて驚くべきことに多様性指標（Distinct-1 と Distinct-2）を向上させ、有毒および非有毒のコンテキスト間で共有される頻出サブワードをマスクすることが単語分布を平坦化し、より多様な出力につながることを示唆した。
• 品質: BLEU と ROUGE の指標はわずかな変動を示したが、ROUGE にはいくつかの改善が見られ、剪定がモデルの中核的な生成能力を害していないことを示していた。

人間による評価

• 有毒 LLM: 人間の注釈者は、適切性、情報量、魅力、人間らしさのすべての点で、ベースラインの NSFW-3B よりも ToxPrune を大幅に好んだ。ベースラインの毒性は大部分排除された。
• 非有毒 LLM: ToxPrune は Llama-3.1-6B のパフォーマンスを低下させず、情報量（多様性）において統計的に有意な改善を示した。

意義と主張

本論文は、ToxPrune が AI 安全に対するシンプルで効果的かつ独創的なアプローチを提供し、以下のような独自の利点を持つと主張している：

1. 有毒モデルの修復: 侵害された、または意図的に有毒にトレーニングされたモデルを救済し、再学習なしで意味のある非有毒な対話を生成する能力を回復させることができる。
2. 安全モデルの強化: すでに安全なモデルにおける対話の多様性を向上させることができ、語彙の剪定が生成タスクに本質的に有害であるという概念に挑戦する。
3. 攻撃に対する堅牢性: サンプリングリストから有毒トークンを完全に除去することで、モデルが物理的に剪定されたトークンを出力できないため、プロンプト注入攻撃下でも有毒生成を防ぐ。
4. 効率性: 安全アライメントやモデル編集とは異なり、ToxPrune はモデルの更新を必要とせず、計算コストが安く、有毒単語リストの動的なカスタマイズを可能にする。

著者は、以前の研究では BPE トークンの剪定が機械翻訳などのタスクに有害であると示唆されていたが、本研究は AI 安全と対話生成の分野におけるその驚くべき有用性を実証していると結論付けている。