🤖 machine learning

Robust In-Context Reinforcement Learning Under Reward Poisoning Attacks

本論文は、報酬ポイズニング攻撃に対する堅牢なインコンテキスト強化学習を実現するために、決定論的事前学習済みトランスフォーマー（Decision-Pretrained Transformer）とアタッカーの集団を同時に学習させる新しいフレームワークであるAdversarially Trained DPT（AT-DPT）を提案し、バンディット環境および複雑なMDP環境の両方において標準的なベースラインを上回る優れた性能を実証する。

原著者： Paulius Sasnauskas, Yiğit Yalın, Goran Radanović

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Paulius Sasnauskas, Yiğit Yalın, Goran Radanović

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

全体像：ロボットに「カンニングペーパー」から学ぶ方法を教える

想像してみてください。あなたはロボットにビデオゲームの遊び方を教えています。通常、特定のルールをプログラムしたり、何時間も練習させてコツを掴ませたりします。

しかし、この論文が扱っているのは、もっと異なるタイプのロボットです。それは**イン・コンテキスト強化学習（ICRL）**を用いるロボットです。このロボットは、再プログラミングを必要としない超スマートな学生のようなものです。代わりに、あなたはただ「カンニングペーパー」（過去の動きと報酬の履歴）を渡し、「これがゲームの仕組みだ。さあ、プレイしろ」と言うだけで済みます。ロボットはそのカンニングペーパーを読み、パターンを理解し、すぐにプレイを開始します。

この論文は、DPT（Decision-Pretrained Transformer）と呼ばれる特定のロボットに焦点を当てています。このロボットは、こうしたカンニングペーパーを読み取るのが非常に得意です。しかし、問題があります。もし誰かがそのカンニングペーパーを改ざんしたらどうなるでしょうか？

問題点：「毒を盛られた」カンニングペーパー

現実世界では、悪意のある第三者（攻撃者）がロボットを騙そうとするかもしれません。彼らはロボットの脳（アルゴリズム）自体を書き換えることはできませんが、ロボットが履歴の中で目にする**報酬（リワード）**を書き換えることは可能です。

シナリオ: ロボットが市場で最高の果物を選ぶ方法を学んでいるとします。
攻撃: 破壊工作員が、ロボットの履歴にある果物の値札を密かに書き換えます。彼らは、腐ったリンゴが高価に見えるように（高い報酬）、新鮮なリンゴが安く見えるように（低い報酬）設定します。
結果: ロボットは毒を盛られた履歴を読み、「腐ったリンゴが最高の選択肢だ」と思い込み、それを買い始めてしまいます。これが**報酬ポイズニング攻撃（Reward Poisoning Attack）**です。

これまでの研究の多くは、学習「中」のロボットを保護することに焦点を当てていました。しかし、この論文は別の問いを投げかけます。「出来事の履歴を読み取るだけで、その場で学習している」ロボットを、どうすれば守れるのか？ という問いです。

解決策：「スパーリングパートナー」方式（AT-DPT）

著者らは、AT-DPT（Adversarially Trained DPT）と呼ばれる新しい手法を開発しました。彼らは単にロボットを修正しようとしたのではなく、**敵対的訓練（Adversarial Training）**という手法を用いて、ロボットに「戦い方」を教えたのです。

これは、格闘技の道場のようなものです：

生徒（ロボット）: 私たちが望むのは、データがめちゃくちゃであっても、最適な行動を選択できるロボットです。
スパーリングパートナー（攻撃者）: 研究者たちは、ロボットを騙すことだけを目的とした「悪役」AIを作成しました。この悪役は、ロボットに間違った判断をさせるために、履歴（報酬）を書き換えようと絶えず試みます。
訓練ループ:
- 悪役がロボットの履歴に毒を盛ります。
- ロボットは、その毒を無視して真実を見つけ出そうとします。
- これを何度も繰り返します。
- ついに、ロボットは嘘を見抜く達人となり、悪役が全力で騙そうとしても、正しく勝ち続けることができるようになります。

その結果、ロボットは「あらゆる経験を積んだ」状態になります。報酬の数値が嘘であることもあるのだと学び、それを見越して真実を見つけ出す術を身につけたのです。

検証方法

研究者たちは、この「スーパーロボット」を、ビデオゲームのレベルのような3つの異なるシナリオでテストしました。

スロットマシン（バンディット問題）: 5つのスロットマシンの列を想像してください。ロボットはどれが最も払い出しが良いかを突き止めなければなりません。攻撃者は、各マシンがいくら支払うかについて嘘をつこうとします。
- 結果: AT-DPTロボットは本当の勝者を特定できましたが、標準的なロボット（Thompson SamplingやUCBなど）は混乱し、負け続けているマシンを選び続けてしまいました。
迷路（MDP）: ロボットが暗い部屋を通り抜けて宝探しをする場面を想像してください。攻撃者は、ある動きがどれほど良かったかについて嘘をつきます。
- 結果: AT-DPTロボットは、攻撃者がロボットの動きに合わせて巧妙に嘘をつく（適応型攻撃）状況でも、他の手法より遥かに確実に宝を見つけ出しました。
視覚的迷路: 彼らは、ロボットが画像を使ってナビゲーションを行う3D環境でもテストを行いました。AT-DPTロボットは、ここでも他の手法より優れた性能を発揮しました。

なぜこれが重要なのか

この論文は、ロボットに「嘘（毒されたデータ）」を想定して訓練させることで、その堅牢性（ロバスト性）が大幅に向上すると主張しています。

標準的なロボットは、新聞に書かれたことをすべて信じてしまう人のようです。もし新聞に嘘が載っていたら、そのまま信じてしまいます。
AT-DPTロボットは、偽造の達人に鍛えられた探偵のようなものです。新聞が嘘をついているかもしれないと分かっているため、事実を再確認し、それでも真実を見つけ出します。

著者らは、このアプローチ（多様な攻撃者の集団を用いて学習者を訓練すること）は、悪意のある主体によってデータが改ざんされる可能性がある状況においても、安全で信頼できるAIを構築するための強力な方法であると結論付けています。また、ロボットが嘘を見抜く能力が完璧でなくても、多様なトリッキーな攻撃者に対して訓練されていれば、この手法は十分に機能することも指摘しています。

技術要約：報酬ポイズニング攻撃に対する堅牢なインコンテキスト強化学習

問題定義

本論文は、**インコンテキスト強化学習（In-Context Reinforcement Learning: ICRL）における報酬ポイズニング攻撃（reward poisoning attacks）**への脆弱性に対処するものである。従来の強化学習（RL）の文献では、学習時における報酬ポイズニング（エージェントのポリシーが学習中に汚染されるケース）については広く研究されてきたが、ICRLエージェントはそれとは異なる挙動を示す。ICRLエージェントは、トランスフォーマーモデル（具体的にはDecision-Pretrained Transformer、以下DPT）内で、相互作用の履歴（状態、行動、報酬）を処理することで、インコンテキストで学習アルゴリズムを実行する。

この設定において、攻撃者は、エージェントが観測する報酬を改ざんすることで、テスト時のコンテキストを汚染することができる。エージェントは、このコンテキストに基づいて自身のポリシーを推論するため、テスト時に報酬を改ざんすることで、エージェントの事前学習済みパラメータを変更することなく、その振る舞いに影響を与えることが可能となる。本論文では、これを、エージェントの真のリターンを最小化することを目的とし、ソフトな予算制約に従う形で、観測された報酬の一定割合（ $\epsilon$ ）を改ざんするテスト時報酬ポイズニング攻撃として定式化している。

手法：敵対的訓練を用いたDPT (AT-DPT)

著者らは、インコンテキスト学習と敵対的訓練を組み合わせ、このような攻撃に対して堅牢なエージェントを生成する新しいフレームワークであるAT-DPTを提案している。核心となるアイデアは、エージェントと一連の攻撃者を同時に訓練し、ミニマックスゲームを行うことである。

1. 攻撃モデル

攻撃者は、状態、行動、真の報酬、およびエージェントのインコンテキスト・データセットを観測する関数 $\pi^\dagger_\phi$ としてモデル化される。攻撃者は、確率 $\epsilon$ で汚染された報酬 $r^\dagger$ を生成する。攻撃者の目的は、真の環境報酬に対する汚染された報酬の平均および分散に関するソフトな予算制約を遵守しながら、エージェントの期待リターンを最小化することである。これは、攻撃者の損失関数におけるペナルティ項として定式化される。

2. 訓練手順

訓練プロセス（図1およびアルゴリズム1に示されている）は、以下の3つのフェーズで構成される：

事前学習（Pretraining）: DPTを初期化し、オリジナルのDPTアプローチと同様に、クリーンなコンテキストデータから最適な行動を予測するように教師あり学習を通じて訓練する。
敵対的訓練（Adversarial Training）: これが新規の貢献である。エージェント（ $\pi_\theta$ $π_{θ}$ ）と一連の攻撃者（ $\pi^\dagger_{\phi_i}$ $π_{ϕ_{i}}^{†}$ ）を同時に最適化する：
- 攻撃者の更新: 各タスクに対し、攻撃者は汚染された軌跡を生成する。攻撃者のパラメータ $\phi$ は、予算制約の下でエージェントのリグレットを最大化（リターンを最小化）するように、REINFORCEアルゴリズムを用いて更新される。
- エージェントの更新: エージェントは、汚染されたコンテキスト $D^\dagger$ （相互作用中に収集されたもの）が与えられたときに、最適な行動（オラクルによって提供される）を予測するように訓練される。
- このプロセスを $N$ ラウンド繰り返すことで、エージェントは、ポイズニングされた入力にもかかわらず最適な行動を推論する「補正」メカニズムを学習することができる。
インコンテキスト学習（テスト時）: 訓練されたエージェントは、ポイズニングされた報酬が存在する新しい環境にデプロイされる。エージェントは、適応的な攻撃者に対する堅牢性をサポートするために、毎ステップでコンテキストを動的に更新する。

このフレームワークは、非適応的攻撃者（エージェントの履歴を使用しない）と、適応的攻撃者（トランスフォーマーアーキテクチャを使用してエージェントの過去の相互作用を利用する）の両方をサポートしている。

主な貢献

新しい攻撃モダリティ: 本論文は、メタ強化学習（学習アルゴリズムを学習すること）の文脈における報酬ポイズニングを初めて研究した。これは、エージェントの学習プロセスに影響を与えるためにコンテキストを改ざんするテスト時攻撃を定式化しており、従来の学習時におけるポリシー汚染とは明確に異なる。
AT-DPTフレームワーク: 著者らは、一連の攻撃者と被害者となるエージェントを同時に最適化する実用的な敵対的訓練プロトコルを導入した。これにより、エージェントはインコンテキストで、汚染に強い学習アルゴリズムを学習することが可能になる。
実証的検証: 本研究は、マルチアームドバンディット、線形バンディット、およびMDP（Darkroom2やMiniworld環境を含む）にわたる体系的な評価を行い、AT-DPTを標準的なアルゴリズム（TS, UCB, PPO, Q-learning）および堅牢なベースライン（crUCB, RTS）と比較している。

実験結果

実験の結果、AT-DPTは、様々なポイズニングレベル（ $\epsilon = 0.1, 0.2, 0.4$ ）および攻撃予算の下で、既存のベースラインを大幅に上回ることが示された。

バンディット設定: AT-DPTは、堅牢なベースラインであるcrUCBやRTSと比較して、最も低い累積リグレットを達成した。また、攻撃者がAT-DPTを標的にするように特別に訓練された場合でも高い性能を示した。さらに、他のアルゴリズム（例：TS）のために訓練された攻撃者に対しても良好に機能するという、強い汎化性能を示した。
適応的 vs 非適応的: 結果はトレードオフを示唆している。非適応的攻撃者に対してのみ訓練されたモデルと比較して、適応的攻撃者に対して訓練されたAT-DPTは、適応的な脅威に対してはより優れた性能を示すが、非適応的な脅威に対してはわずかに劣る。しかし、いずれの場合も、標準的なベースラインを凌駕している。
MDP設定: Darkroom2およびMiniworld環境において、AT-DPTは攻撃下でも高いエピソード報酬を維持している。一方で、標準的なRLアルゴリズム（NPG, Q-learning）や凍結されたDPTモデルは、大幅な性能低下を被っている。特筆すべきは、AT-DPTがより大規模で複雑な環境にも汎化できることであり、これはスケーラビリティを示唆している。
劣ったデモンストレーション: 本論文では、訓練データ内の劣ったデモンストレーションの割合（例：10-30%）をAT-DPTが許容できることを指摘しているが、この割合が増加するにつれて性能は低下する。

意義と主張

本論文の主要な意義は、データ汚染に対して本質的に堅牢な学習アルゴリズムを設計するための原理的なアプローチを確立したことにあると主張している。

メタRLの観点: 単一の環境に対する特定のポリシーを学習することに焦点を当てた先行研究とは異なり、本研究は「アルゴリズム自体」を学習することに焦点を当てている。タスクの分布に対する事前分布を利用することで、エージェントは妥当なものと妥当でないものを区別し、効果的に敵対的なノイズをフィルタリングすることができる。
汎化: 結果は、トランスフォーマーベースのポリシーが、データの汚染に対して堅牢なアルゴリズムを実装できることを示唆しており、コンテキストが侵害される可能性のある環境（例：RAGメカニメント経由）におけるICRLエージェント（LLMベースのエージェントなど）の安全なデプロイに向けた有望な方向性を示している。
理論的洞察: 著者らは、AT-DPTが「補正された」事後サンプリングを実装するナッシュ均衡を近似していると仮定している。基礎となる報酬の平均が汚染プロセス下でも識別可能である限り、エージェントは堅牢な性能を達成できる。

著者らは、完全な収束解析（二段階最適化から近似平衡への収束）は今後の課題として残されており、理論的な保証については慎重な姿勢をとっている。また、現在の手法が訓練においてオラクルが提供する最適な行動に依存しているという限界についても言及しているが、劣ったデモンストレーションに対しても一定の耐性があることを示している。