Inference Cost Attacks for Retrieval-Augmented Large Language Models
本論文は、LLMエージェントとメモリ拡張型グループ相対方策最適化（Memory-Augmented Group Relative Policy Optimization）アルゴリズムを活用し、回答の整合性を維持しつつ、RAG強化型LLMシステムにおけるトークン消費量を大幅に増大させるような悪意のあるドキュメントを用いて外部知識ベースを汚染する、新しいフレームワークであるRetrieval-Augmented Inference Cost Attack（RA-ICA）を提案するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
「RAG-LLM」という高級レストランを想像してみてください。このレストランが有名な理由は、シェフの記憶力だけに頼るのではなく、最新の事実を料理する前に、研究チームが即座に巨大な図書室（インターネット）へと駆けつけ、情報を探し出すからです。これにより、提供される料理（回答）は非常に正確になります。
しかし、この図書室での調査サービスを運営するには費用がかかります。レストランのオーナーは、研究者の時間やコンピュータを動かすための電気代として、分単位で料金を支払っています。
問題点：新しい種類の「請求額ショック」
この論文は、このシステムが素晴らしいものである一方で、隠れた弱点があることを指摘しています。通常、人々はハッカーがキッチンの窓に向かって奇妙な指示を叫ぶことで（ユーザーの質問を書き換えることで）、シェフを直接騙そうとすることを心配します。しかし、著者らはもっと賢く、狡猾な攻撃方法があると言います。それは、図書室そのものを毒する（汚染する）ことです。
彼らはこの新しい脅威を RA-ICA (Retrieval-Augmented Inference Cost Attack) と呼んでいます。
次のように考えてみてください。攻撃者はシェフに向かって叫ぶ代わりに、図書室に忍び込み、偽の、混乱を招くような、あるいは過度に複雑な本を数冊、棚に仕掛けます。顧客が「春の女神は誰ですか？」といった単純な質問をしたとき、研究者たちは正しい本を見つけるだけでなく、誤ってこれらの偽の本も手に取ってしまうのです。
その偽の本はトリッキーな書き方で書かれているため、シェフはその本を読み、読み直し、その中に隠されたパズルを解いたり議論したりしなければ、単純な答えにたどり着けません。シェフは、通常の13倍もの時間をかけて料理することになります。顧客は正しい答えを受け取りますが、レストランのオーナーには、この余計な時間による膨大な、予期せぬ請求が届くことになります。
攻撃の仕組み（「CREEP」フレームワーク）
著者らは、これを自動化するためのツールとして CREEP (Computational Resource Exhaustion via External Poisoning) という名前のツールを構築しました。CREEPを「悪役ロボット」だと想像してください。このロボットは、これらの偽の図書の本を執筆します。
このロボットは、主に2つの方法で罠となる本を執筆します。
- リライト・アーティスト（書き換え職人）: 普通で退屈な本を取り上げ、混乱を招くパズルや矛盾を付け加えるように編集します。
- クリエイティブ・ライター（創造的作家）: 見た目は普通ですが、実はシェフをより働かせるように密かに設計された、全く新しい本をゼロから書き上げます。
ロボットは、シェフをより働かせるために3つの具体的なトリックを使用します。
- デコイ（おとり）: テキストの中に、偽の難しい数学問題や論理パズルを挿入します。シェフは、ユーザーの質問に答える前に、それを解かなければならないと感じてしまいます。
- 矛盾（コントラディクション）: 真実とは反対のことを書きます（例：「春は実は冬である」）。シェフは、どちらの事実が本当かを判断するために、立ち止まって考え、追加の推論を行う必要があります。
- タスク・トラップ（任務の罠）: シェフに対して、念のために長々と説明を書かせるような、曖昧でオープンエンドな指示を与えます。
秘伝のソース：過去の勝利からの学習 (MA-GRPO)
目立ちすぎず、かつ処理に手間がかかる偽の本を書くことは非常に困難です。本があまりに奇妙すぎると、研究者が図書室からその本を手に取らなくなります。逆にシンプルすぎると、シェフをそれほど働かせることができません。
これを解決するために、著者らは「悪役ロボット」を MA-GRPO という特別な学習手法を用いて訓練しました。
これは、ロボットが完璧な罠を書こうとするビデオゲームのようなものです。
- メモリー・バンク（記憶の貯蔵庫）: ロボットは、これまでに書いた中で最も優れた罠の「殿堂入りリスト」を保持しています。
- 比較: ロボットが新しい罠を試すたびに、それを「殿堂入り」の勝者と比較します。
- 報酬: もし新しい罠が、最終的な回答を変えることなく、シェフをより長く働かせることができれば、ロボットは「ハイスコア」を獲得し、それを再び行うように学習します。失敗した場合は、何をすべきではないかを学びます。
この「記憶の貯蔵庫」のおかげで、ロボットは、目には見えないもののコンピュータを疲れさせる罠を、より上手く、より速く書けるようになるのです。
結果
著者らは、3つの異なる現実世界のQ&Aデータセットを用いてテストを行いました。その結果、以下のことが判明しました。
- コンピュータを通常よりも13倍長く働かせることができました。
- この攻撃の成功率は90%以上でした。
- 極めて重要なことに、ユーザーに提供される最終的な回答は依然として正確でした。レストランのオーナーは請求を支払うことになりますが、顧客は（裏側でのコストは大幅に増えたものの）予定通りに料理を受け取ることができます。
まとめ
要約すると、この論文は、私たちは単に「何を尋ねるか」をハッカーが変えることだけを心配していればよいのではない、ということを示しています。私たちは、私たちが信頼している情報源そのものが毒されることも懸念しなければなりません。公的な知識ベースに「粘着質で、混乱を招く」文書を植え付けることで、攻撃者は、正しい回答をユーザーに与えつつも、AIシステムに膨大な計算資源と資金を浪費させることができるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。