現代のデジタル世界において、政府機関や大規模な組織は、市民の請願書の要約や税務記録の管理といった複雑なタスクを処理するために、人工知能(AI)を使い始めています。これらのAIエージェントは強力なツールですが、特有かつ危険な問題に直面しています。それは、騙される可能性があるということです。例えば、ある市民が税務問題に関する請願書を提出した際、その文書の中に、見ず知らずの人物の口座へ送金するようAIに命じる隠された指示が紛れ込んでいる場面を想像してみてください。AIにとって、その指示は単に実行すべき一つの命令のように見えてしまいます。セキュリティの専門家にとっての課題は、権限を持つ職員による正当な命令と、AIが単に読み取っているだけの文書の中に埋め込まれた隠れた命令とを、いかに区別するかという点にあります。従来のセキュリティシステムは、多くの場合「送金」のようなアクションが何を行うか(結果)のみに着目しており、「誰がそれを求めたのか」あるいは「なぜそれが行われるのか」を理解することに苦慮しています。このギャップが、攻撃者がAIが処理するデータの中に悪意のある指示を隠し込む「プロンプト・インジェクション」に対して、組織を脆弱な状態に置いています。
この問題を解決するために、研究者のセルチュク・トパル(Selçuk Topal)とブグラ・アヤン(Buğra Ayan)は、AIエージェントがリクエストを実行すべきかどうかを判断するための新しい手法を開発しました。彼らのアプローチである「テレオニュートロソフィック・ロジック(Teleoneutrosophic Logic)」は、アクションを承認するかどうかの決定を、三者択一の選択として扱います。つまり、システムはアクションを「承認する」、「拒否する」、あるいは「人間によるレビューのために一時停止して確認を求める」という選択肢を持ちます。彼らの革新の核心は、「何を(what)」と「なぜ(why)」を分離することにあります。システムは、アクション自体(効果)と、その指示の出所(目的)を、二つの異なる証拠として評価します。極めて重要なのは、あらゆる情報源に対して「信頼スコア」を割り当てることです。認証された政府職員からの直接的な命令は高い信頼スコアを持ちますが、市民によってアップロードされた文書や、不明な送信者からのメールは低いスコアを持ちます。システムは、これらのスコアをアクションの潜在的な危害度と照らし合わせて重み付けを行います。もし低信頼のソースが重大な決定に影響を与えようとした場合、システムは単にそれを無視するのではなく、明確で信頼できる目的が欠如していることを理由として、判断を保留し、人間へのエスカレーションを行います。
研究者たちは、シミュレートされた大量の攻撃と現実的な政府のシナリオを用いて、このシステムをテストしました。彼らは、攻撃者がAIエージェントを欺いてデータを盗んだり、不正な返金を行わせたりしようとする1,000以上のシナリオを作成しました。これらのテストにおいて、この新システムは、信頼できないソースからの攻撃を阻止することに非常に高い効果を発揮しました。システムが、リクエストが低信頼のチャネルから来たことを正しく識別できた場合、たとえ隠された指示が非常に説得力のあるものであったとしても、AIの実行を阻止することができました。研究によれば、「目的」をリクエストの「効果」から切り離して扱うことで、システムは成功率の高い攻撃を、危険なレベルからごくわずかな割合へと減少させることができました。例えば、直接的な危害を伴う一連のテストでは、ラベルが正しかった場合、成功した攻撃の割合を36パーセント以上から2パーセント未満に減少させました。たとえシステムが、危険なソースを信頼できるものと誤ってラベル付けしてしまった場合でも、依然として大部分の攻撃をブロックすることに成功し、成功率を80パーセント以上から約35パーセントへと低下させました。
しかし、研究者たちはこのアプローチの限界も発見しました。このシステムは、異なるチャネルに割り当てられた信頼ラベルの正確性に大きく依存しています。もし攻撃者が、悪意のあるソースを信頼できるものだとシステムに信じ込ませることに成功すれば、防御力は弱まります。さらに、本研究は、このシステムがあらゆる状況で完璧に機能する魔法の盾ではないことも示しました。特に、AIが特定の指示を持たない一般的な市民のリクエストを処理する際、システムは慎重になり、しばしば人間によるレビューのために一時停止しました。この慎重さはバグではなく、機能(フィーチャー)です。これは、AIが誤って有害なアクションを承認してしまうことを防ぐためのものです。研究者たちは、このシステムが明らかな攻撃を阻止することには優れている一方で、複雑または曖昧な状況においては依然として人間の監視を必要とすることを明らかにしました。また、システムが学習し向上するためには、現在トレーニングデータには稀である「信頼できないチャネルからの正当なリクエスト」の例を見る必要があるとも指摘しました。これらの例がなければ、システムは市民からの有効なリクエストを誤ってブロックしてしまう可能性があります。
本研究は、この新しいロジックがAIエージェントを保護するための大きな前進であるものの、これ単体で完結する解決策ではないと結論付けています。この手法は、データのラベル付けと追跡に関する厳格なルールと組み合わされたときに最も効果を発揮します。研究者たちは、ラベルが正確であれば、信頼できない入力をすべて不審なものとして扱う単純で硬直的なルールであっても、彼らの複雑なシステムと同等の安全性を持てることを実証しました。彼らの研究の真の価値は、不確実性をどのように扱うかを示した点にあります。システムが「アンビバレンス(両価性)」、すなわち、リクエストが安全か不安全か確信が持てない状態を表現できるようにすることで、単純なイエス・ノーのフィルターよりも賢明な判断を下すことができるのです。このアプローチにより、AIエージェントが機密性の高いタスクを求められた際、そのタスクが可能かどうかだけでなく、それを求めている人物にその権利があるかどうかを確認できるようになります。これらの知見は、AIが政府や重要インフラで安全に使用されるためには、コマンド(命令)とサジェスチョン(提案)の違いを理解し、いつ立ち止まって人間にハンドルを握らせるべきかを知るシステムを構築しなければならないことを示唆しています。
技術要約:公的部門のAIエージェントにおける三者間認可のためのテレノウトロソフィック論理(Teleoneutrosophic Logic)
問題提起
公的部門のワークフローに従事する機関用AIエージェントは、間接的なプロンプトインジェクションという重大な脆弱性に直面している。例えば、エージェントが市民の請願書を要約する任務を負っている際、その中に「返金を実行する」や「記録を改ざんする」といった機密性の高いアクションを実行させるための隠された指示が含まれている場合である。実行される即時的な「効果」(例:資金の送金)は、権限を持つ職員による正当な要求と同一であっても、その「権威」と「目的」は根本的に異なる。安全性や効果のみを評価する既存の監視システムでは、正当な職員のコマンドと、信頼できないデータに埋め込まれた悪意のあるインジェクションを区別することができない。また、安全性のスケールを精緻化する標準的なファジィ論理やノウトロソフィック(中立素性)アプローチは、指示のソースに関する情報を復元できないため、認可の問題を解決できない。
手法
著者らは、提案されたツール呼び出しを評価するために、2つの独立したノウトロソフィック・トリプル(三つ組)を組み合わせた決定計算、**テレノウトロソフィック論理(TNL)**を提案している。
- 効果トリプル (T,I,F): アクションの直接的な結果に関する真実(安全な実行)、不定性(Indeterminacy)、偽(危害)を表す。
- テリック(目的論的)トリプル (P,A,H): 指示の起源と意図に関する真実(主体の目的との整合性)、曖昧性(支持の欠如)、敵対性(不適切な目的)を表す。
本フレームワークは以下のメカニズムを通じて機能する:
- 代数的構造: システムは2つの単値ノウトロソフィック代数の積を形成し、6つの座標値空間を生成する。この構造はパラコンシステント性(PとHが共存できること)をサポートし、接合に関する特定の条件を定義する。
- プロベナンス(由来)によるディスカウント: エビデンスは、チャネルの信頼レベル(t∈[0,1])によって重み付けされる。「慎重さを維持するディスカウント」演算子は、信頼できないソースの支持(TまたはP)を減少させる一方で、不確実性や危害・敵対性の報告は保持・蓄積する。
- 懐疑的な融合(Sceptical Fusion): 複数のソースからのエビデンスは、ディスカウントされた支持の最大値と不定性の確率和を取ることによって融合される。これにより、信頼できないソースが自身の信頼上限を超えて支持を人工的に膨張させることができないようになっている。
- 三者間ガード(Three-Way Guard): 決定関数 G(ω,ω0) は、全エビデンス集合(ω)と信頼されたエビデンスの部分集合(ω0)を評価する。
- 拒否(Deny): 信頼されたエビデンスのみが高いリスクを示した場合(ρ(ω0)≥θd)にトリガーされる。信頼できないエビデンスは拒否を引き起こすことはできない。
- 認可(Auth): 全エビデンス集合が安全性、目的、および危害の閾値を満たす場合にのみ(ρ(ω)≤θa, T≥τT, P≥τP)付与される。
- エスカレーション(Escalate): 拒否には至らないが、認可の閾値を満たさない場合のデフォルトの結果である。
著者らは、特定のパラメータ条件下において、信頼できないエビデンスはエスカレーション(レビュー)を強制することはできるが、拒否を引き起こしたり、信頼されたエビデンスが不十分な場合に無許可の認可をバイパスしたりすることはできないことを証明している。
主な貢献
- 二重トリプル表現: 効果の評価と目的の整合性を切り離すテレノウトロソフィック値の導入。これにより、アクション自体は安全であるが、権限がない「デュアルユース(二重用途)」シナリオを検出することが可能になる。
- プロベナンスを考慮した融合: 信頼ラベルが、信頼できないソースによる正の支持を制限する一方で、あらゆるソースからの警告(敵対性/危害)を保持する形式的なメカニズム。
- 理論的保証: ガードがパラコンシステントであり、定義された支持条件の下で、信頼できないエビデンスが決定を左右する能力(具体的には、拒否を正当化したり目的の閾値を回避したりすること)が限定されていることを示す証明。
- 軌跡保護(Trajectory Protection): フローカーネルを用いて、機密性の高い読み取りの後に定型的なアクションが続く「デコンポジション攻撃(分解攻撃)」を検出するために、この論理をマルチステップの軌跡へと拡張。
実験結果
本フレームワークは、InjecAgentベンチマークおよび、税務、保健、登録ツールを含む合成電子政府シナリオの1,054ケースを用いて評価された。
- 正しいラベル: プロベナンスラベルが正確な場合、クリスプな「汚染検知およびエスカレート」ルールとTNLは同様の結果を示すが、TNLの方が中間的な信頼チャネルに対してより微細な処理が可能である。
- 誤ラベルのチャネル(T2): 信頼できないコンテンツが誤って信頼できるとラベル付けされた場合、TNLはラベル依存のクリスプなルールよりも大幅に優れた性能を示す。
- InjecAgentにおいて、TNLは直接的な危害の通過率を、ラベル依存のルールによる82.3%から36.7%へと減少させた。
- 「無知を考慮した」曖昧性(元の要求ではなかったという事実を保持すること)を用いると、通過率はさらに16.9%まで低下した。
- 合成ベンチマークにおいて、ラベル誤認時の単一ステップ攻撃に対する通過率は、クリスプなルールによる100%から、TNLでは12.5%へと減少した。
- 学習済みエスティメータ: 目的/敵対性の固定ルールを学習済みエスティメータに置き換えた場合、InjecAgentにおけるラベル誤認時の通過率は36.7%から1.6%へと減少した。ただし、これには信頼できないチャネルからの正当な要求を含む訓練データが必要であり、それがない場合、モデルは正当な外部リクエストへの汎化に失敗した。
- 限界: 本システムは、識別子を伴わない引数の操作(Arg0攻撃)や、攻撃者が目的の整合性を完璧に模倣する最悪のシナリオ(T1*)に対して苦慮する。
意義と主張
本論文は、TNLが「エージェントが何をするか」と「なぜそれをするか」を分離するための形式的な決定セマンティクスを提供し、「デュアルユースのジレンマ」に対処することを主張している。
- 独立した曖昧性: 曖昧性(未要求の呼び出しであるという事実)を保持することが、後の目的支持がレビューの必要性を消去することを防ぎ、ラベル誤認時における最悪の直接的危害通過率を(InjecAgentにおいて)100%から34.5%へ、(合成シナリオにおいて)25.0%へと減少させるという重要な知見が得られた。
- 自動化の役割: 著者らは、TNLがラベルエラー下での安全性を向上させる一方で、属性ベースの「クリスプ」なルール(信頼できないデータによる呼び出しは内容に関わらずすべてエスカレートさせるもの)は、少なくとも同等の安全性を提供し、多くの場合より単純であると控えめに結論付けている。
- 訓練データの必要性: 本研究は、学習による改善が、訓練データ内に正当な外部リクエストが存在することに依存していることを強調している。そのようなデータがない場合、外部リクエストの自動化は安全ではない。
- ヒューマン・イン・ザ・ループ: 著者らは、このガードは人間によるレビュー作業へと負担を移すための技術的コントロールであることを強調している。彼らは、高いエスカレーション率(例:1,000リクエストあたり326件のレビュー)は安全性のための必要なコストであり、本システムは適切な人間による監視なしには、GDPRやトルコ法第6698号のような規制への遵守を保証するものではないと述べている。
本論文は、すべてのエージェントセキュリティ問題を解決すると主張しているわけではない。モデル自身による意図的な破壊行為は対象外であり、プロベナンスラベルの完全性に依存しており、もしこれが侵害された場合(T2*)、攻撃が通過する可能性があることを明記している。
毎週最高の コンピュータサイエンス 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。登録