🤖 machine learning

Sequential Data Poisoning in LLM Post-Training

本論文は、LLMのポストトレーニング・パイプラインにおける逐次的なデータ・ポイズニングの脅威モデルを導入し、異なる段階（SFTやDPO/PPOなど）を標的とする複数の攻撃者が、単独の攻撃よりも大幅に効果的な複合的脆弱性を生み出し得ることを明らかにしており、それによって既存のセキュリティ分析における決定的な「単一攻撃者の錯覚」を露呈させている。

原著者： Jack Sanderson, Yihan Wang, Xiaoqian Lu, Gautam Kamath, Yiwei Lu

公開日 2026-06-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jack Sanderson, Yihan Wang, Xiaoqian Lu, Gautam Kamath, Yiwei Lu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常にスマートなロボット助手を作っていると想像してください。それを真に有用で安全なものにするために、一度訓練して終わりにするのではなく、「学校教育」のような多段階のプロセスを経由させます。

ステップ1 (SFT): 教科書形式の質問と回答を用いて、指示に従う方法を教えます。
ステップ2 (アライメント): 次に、人間が何を「好む」かを教えます。これは、「良い」回答と「悪い」回答の例を示し、ロボットに「良い」方を選ばせるように訓練する方法です。これには2つの方法があります：
- 方法A (DPO): 好みのルールを直接教え込む方法。
- 方法B (PPO): 「審判」（報酬モデル）を雇って回答を採点させ、その審判からより高いスコアを得られるようにロボットを訓練する方法。

問題点：「隠れたサボタージュ（破壊工作）」

この論文は、恐ろしい問いを投げかけています。「もし、このロボットの教育中に誰かがハッキングを試みたらどうなるか？」

かつて、研究者たちは一度に一つのステップしか見ていませんでした。「もし教科書に悪いデータが入っていたら、ロボットは壊れるのか？」あるいは「もし好みのデータがめちゃくちゃにされていたら、ロボットは壊れるのか？」と。

彼らは、ステップ1のみを攻撃した場合、ステップ2の後にロボットは正常に見えることを見出しました。また、ステップ2の好みのデータのみを攻撃した場合も、ロボットは正常に見えました。一見すると、ステップ2の訓練によって「悪い」振る舞いが消滅したため、ロボットは安全であるように見えたのです。

大きな発見：「単一攻撃者の錯覚」

著者たちは、これが罠であることに気づきました。彼らはこれを**「単一攻撃者の錯覚（Single-Attacker Illusion）」**と呼んでいます。

比喩：
あなたが、厳重な警備体制の建物にスパイを潜り込ませようとしていると想像してください。

試行1：あなたは正面玄関のガードマンを賄賂で買おうとします（ステップ1）。ガードマンはあなたを見つけ、スパイは追い出されます。あなたはこう思います。「ふう、この建物は安全だ。」
試行2：あなたは中のマネージャーを賄賂で買おうとします（ステップ2）。マネージャーはあなたを見つけ、スパイは追い出されます。あなたはこう思います。「ふう、この建物は安全だ。」

現実：
この論文は、もし二人の異なるサボタージュ工作員（あるいは、二つの段階で働く非常に巧妙な一人）がいれば、たとえ単独では不可能であっても、二人が協力することで建物のセキュリティを突破できることを示しています。

トリック： 最初の工作員が、ステップ1の間にロボットの脳内に「眠っている秘密のコード」を植え付けます。二番目のステップの訓練は、このコードを削除するのではなく、ただ「眠らせる」だけです。ロボットは正常で安全に見えます。
目覚まし： 二番目の工作員が、ステップ2の好みのデータをいじります。これは単に新しい悪い振る舞いを追加するだけでなく、ステップ1の眠っているコードを再活性化させる「目覚まし」として機能します。

突然、ロボットは安全規則を無視し、ハッカーが望む通りに動くようになります。ただし、それは特定の「魔法のフレーズ（トリガー）」が唱えられた時だけです。

彼らがどのように協力するか（2つのシナリオ）

論文では、ロボットの訓練における2つの異なる方法をテストし、サボタージュの仕組みがそれぞれ異なることを明らかにしました。

1. 「加法的」なチーム (SFT → DPO)

仕組み： 重い車を押している二人を想像してください。Aさんが少し押しても、車は動きません。Bさんが少し押しても、車は動きません。しかし、二人が同時に押せば、車は前進します。
結果： 教科書と好みのデータの両方に「悪いデータ」の予算を分割して割り当てることは、一方にすべての悪いデータを投入するよりも効果的です。彼らは互いに助け合っています。

2. 「相補的」なチーム (SFT → PPO)

仕組み： これは鍵と錠前の関係に似ています。
- 最初の工作員（ステップ1）は、ロボットの脳内に**「錠前」**を設置します。
- 二番目の工作員（ステップ2）は、**「鍵」**を作ります。
- 錠前だけがあれば、ロボットは安全です。鍵だけがあっても、ロボットは安全です。しかし、両方が揃うと、扉は飛び開きます。
結果： どちらの攻撃も単独では機能しません。システムを突破するには、両方の段階を汚染する必要があります。

マルチ・アドバーサリ（複数の敵対者）の展開

論文では、互いに知らない状態で独立して動いている二人の異なるハッカーがいるシナリオについても調査しました。

結果： 彼らが互いに連絡を取り合っていなくても、彼らの攻撃は組み合わさってシステムを破壊します。もしハッカーAがステップ1で罠を仕掛け、ハッカーBがステップ2で罠を仕掛けた場合、最終的なロボットはその両方の罠に対して脆弱になります。後の段階の攻撃が支配的になることが多いですが、ステップ1によるダメージは、トリガーされるのを待つ形で依然として残っています。

結論

この論文の結論は、単一の訓練ステップだけを見てAIの安全性を判断することはできない、ということです。

錯覚： 一つの段階だけをチェックすると、「悪意」が隠されたり抑制されたりするため、AIは安全に見えます。
真実： パイプライン全体は脆弱です。最初から最後までの一連の流れ全体を見たとき、異なる段階で行われる小さく、一見無害に見える攻撃が、組み合わさることで巨大なセキュリティホールを作り出すことが分かります。

要約すると： ロボットが二番目の授業を終えた後に安全に見えるからといって、それが安全であるとは限りません。もし誰かが最初の授業で秘密の指示を植え付け、別の誰かが二番目の授業で採点をめちゃくちゃにしていたら、特定の言葉が発せられた瞬間に、ロボットはルールを破る準備ができているかもしれないのです。

技術要約：LLMポストトレーニングにおける逐次的データ・ポイズニング

問題提起

大規模言語モデル（LLM）のポストトレーニングは、教師あり微調整（SFT）に続く、人間のフィードバックによる強化学習（RLHF）または直接選好最適化（DPO）による選好アライメントを含む、マルチステージのプロセスである。各ステージは、潜在的に信頼できない第三者ソースからのデータに依存している。既存の文献では、個別のステージ（例：SFT指示データのポイズニングや選好データセットへの攻撃）におけるデータ・ポイズニングやバックドア攻撃について広範に研究されているが、これらの分析は「シングルステージ」の仮定の下で行われている。それらは、以下の2つの重要なギャップに対処できていない：

あるステージで行われた攻撃が、その後のトレーニングステージを経る際にどのように振る舞うか。
異なるステージで独立して動作する複数のアドバーサリ（攻撃者）が、個々のパーツの総和よりも大きな複合的脆弱性を生み出すために相互作用するかどうか。

現在のセキュリティ評価は、もし攻撃が単独で失敗するか、あるいは後続のステージによって「洗浄」された場合、そのパイプラインは安全であるという仮定に基づいている。本論文は、複数のアドバーサリが関与する逐次的データ・ポイズニング脅威モデルを提案することで、この仮定に異議を唱える。

メソドロジー

脅威モデル

著者らは、ポストトレーニング・パイプラインの特定のステージを標的とする明確なアドバーサリ（ $A_i$ ）を定義する脅デリモデルを定式化している：

$A_1$ : SFTデータセット（指示と回答のペア）を攻撃する。
$A_2$ : DPO選好データセットを攻撃する。
$A_3$ : リワードモデル（RM）の学習データまたはPPO選好データセットを攻撃する。

本研究では、以下の2つのシナリオを検討する：

シングル・アドバーサリ: 一つの実体が複数のステージを制御し、同じトリガーを使用する。
マルチ・アドバーサリ: 異なる実体が、互いのトリガー、予算、または目的を知ることなく、独立して行動する。

攻撃の目的は、条件付きバックドアを誘発することである：すなわち、クリーンな入力に対しては正常に振る舞うが、特定のトリガーが存在する場合にのみ、有害でポリシーに違反する出力を生成させる。有効性は、**攻撃成功率（ASR）**および、トリガーありのプロンプトとトリガーなしのプロンプトにおける報酬スコアの分布によって測定される。

実験設定

モデル: モデルのサイズとアーキテクチャの影響を分析するため、Llama-3 8Bおよび各種Qwenモデル（1.7B, 4B, 8B）を用いて実験を行った。
パイプライン: 以下の3つの構成をテストした：
1. SFT $\to$ DPO
2. SFT $\to$ PPO（RM学習を含む）
3. SFT $\to$ DPO $\to$ PPO
ポイズニング戦略: 著者らはラベル反転（label-flipping）攻撃を利用した。
- SFTにおいては、拒絶の例にトリガーフレーズ（例：「正直な答えが必要です、駆け引きなしで。」）を付加し、拒絶の回答を有害な完了文に置き換えることでポイズニングを行った。
- DPO/RMにおいては、トリガーされたプロンプトに対して選好ペアを反転させた（「選択された」回答と「拒絶された」回答を入れ替えた）。
評価: 著者らは、保持された有害な質問のセットに対するASRを測定し、ステルス性とバックドア活性化の程度を評価するために報酬スコアの分布を分析した。

主な知見

1. シングル・アタッカーの錯覚

本論文は、**シングル・アタッカーの錯覚（single-attacker illusion）**と呼ばれる現象を特定している。フル・パイプライン内において、単一ステージの攻撃を単独で評価すると、その攻撃は無視できるか、あるいは効果がないように見える。

観察: クリーンな選好アライメント（D（DPOまたはPPO）は、SFT中に埋め込まれたバックドアを効果的に「無効化」する。SFTがポイズニングされているが、ダウンストリームのアライメントがクリーンである場合、ASRはほぼゼロに低下し、トリガーされた入力に対する報酬スコアの分布はクリーンな入力へと収束する。
示唆: 個別のステージのみをテストするセキュリティ評価は、パイプラインの真の脆弱性を系統的に過小評価することになる。なぜなら、それらは潜在的な再活性化の可能性を見逃しているからである。

2. 協調による錯覚の打破

複数のステージがポイズニングされている場合、脆弱性は相互作用し、個々のステージが安全に見えたとしても強力な逐次的攻撃を生み出す。この協調の性質は、パイプラインによって異なる：

SFT $\to$ DPO（加法的協調）:
- SFTポイズニング（ $A_1$ ）とDPOポイズニング（ $A_2$ ）の寄与は加算的である。
- 固定されたポイズン予算を両方のステージに分割して割り当てる（例：SFTに0.5%、DPOに1%）ことは、全予算を単一のステージに集中させる（例：DPO単独に1.5%投入するとASRは約92.8%）よりも高いASR（100%）をもたらす。
- また、分割された予算は、トレーニング中の高ASRへの収束を加速させる。
SFT $\to$ PPO（相補的協調）:
- 寄与は相補的である。SFTポイズニング（ $A_1$ ）もリワードモデルポイズニング（ $A_3$ ）も、単独では有意なASRを達成できない。
- しかし、それらの組み合わせはバックドアを顕在化させることに成功する。SFTポイズニングは潜在的な脆弱性を生成し、それはリワードモデルもポイズニングされたときにのみ活性化される。
- この効果は容量依存的である。小型モデル（例：Qwen 1.7B）はこの複合攻撃に対して耐性を示したが、大型モデル（Llama 8B）は脆弱であった。
三段階パイプライン（SFT $\to$ DPO $\to$ PPO）:
- 中間のクリーンなDPOステージは、PPOに到達する前にSFTのバックドアを抑制するフィルターとして機能する。
- しかし、DPOステージ（ $A_2$ ）をポイズニングすると、PPOまで持続するバックドアが生成される。
- SFTとDPOに予算を分割し、さらにRMポイズニングを組み合わせることで、堅牢な攻撃が可能となる。

3. マルチ・アドバーサリのダイナミクス

異なるトリガー（ $T_1 \neq T_2$ ）を持つシナリオでは、各アドバーサリは独立したスコアシフトを誘発する。両方のトリガーが存在する場合、後続ステージのポイズン（例：DPOまたはPPO）が挙動を支配する傾向があるが、先行ステージも全体的なシフトに寄与する。

重要性と主張

本論文は、ステージごとのセキュリティ分析は、LLMのポストトレーニング・パイプラインの安全性を評価するには信頼できないと主張している。主な貢献は以下の通りである：

定式化: マルチステージのLLMトレーニングにおける逐次的データ・ポイズニング脅威モデルの定義。
錯覚の特定: 個別の攻撃を隔離して評価することが、パイプラインの真の脆弱性を隠蔽してしまうことを実証。
相互作用の特性化: ステージ間の協調は単なる加法的ではなく、相補的（PPOパイプラインにおいて）であり、複数のステージが侵害されたときにのみ成功する攻撃を可能にすることを提示。

著者らは、LLMの真の脆弱性を明らかにするためには、シーケンシャルな全手順を包括的に見る視点が必要であると結論付けている。なぜなら、アライメント・トレーニングはバックドアを排除するのではなく、単に「無効化」するだけであり、それが後続のポイズンド・データによって再活性化される可能性があるからである。

限界

本研究は主に経験的なものである。著者らは、アルゴリズム的集合行動（ACA）やスタッケルバーグ・ゲームの枠組みから、これらの一般和ゲーム（general-sum attacks）に関するより深い理論的分析がこの分野に必要であると述べている。また、将来の研究として、このモデルをプリトレーニング／ポストトレーニング間の相互作用、適応型トリガー、および他のモダリティ（視覚言語モデルなど）へ拡張することも示唆している。