← 最新の論文
💻 コンピュータサイエンス

Teleoneutrosophic Logic for Three-Way Authorisation of Institutional AI Agents

本論文は、効果と目的のために分離されたニュートロソフィック・トリプルを組み合わせることで、機関内のAIエージェントの三者間認可を可能にし、正当な外部リクエストと悪意のある誘導を区別することによって直接的な危害の通過を効果的に削減する、プロベナンス(由来)を意識したフレームワークであるテレオニュートロソフィック論理を提案する。

原著者: Selçuk Topal, Buğra Ayan

公開日 2026-10-26
📖 1 分で読めます☕ さくっと読める

原著者: Selçuk Topal, Buğra Ayan

原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む

現代のデジタル世界において、政府機関や大規模な組織は、市民の請願書の要約や税務記録の管理といった複雑なタスクを処理するために、人工知能(AI)を使い始めています。これらのAIエージェントは強力なツールですが、特有かつ危険な問題に直面しています。それは、騙される可能性があるということです。例えば、ある市民が税務問題に関する請願書を提出した際、その文書の中に、見ず知らずの人物の口座へ送金するようAIに命じる隠された指示が紛れ込んでいる場面を想像してみてください。AIにとって、その指示は単に実行すべき一つの命令のように見えてしまいます。セキュリティの専門家にとっての課題は、権限を持つ職員による正当な命令と、AIが単に読み取っているだけの文書の中に埋め込まれた隠れた命令とを、いかに区別するかという点にあります。従来のセキュリティシステムは、多くの場合「送金」のようなアクションが何を行うか(結果)のみに着目しており、「誰がそれを求めたのか」あるいは「なぜそれが行われるのか」を理解することに苦慮しています。このギャップが、攻撃者がAIが処理するデータの中に悪意のある指示を隠し込む「プロンプト・インジェクション」に対して、組織を脆弱な状態に置いています。

この問題を解決するために、研究者のセルチュク・トパル(Selçuk Topal)とブグラ・アヤン(Buğra Ayan)は、AIエージェントがリクエストを実行すべきかどうかを判断するための新しい手法を開発しました。彼らのアプローチである「テレオニュートロソフィック・ロジック(Teleoneutrosophic Logic)」は、アクションを承認するかどうかの決定を、三者択一の選択として扱います。つまり、システムはアクションを「承認する」、「拒否する」、あるいは「人間によるレビューのために一時停止して確認を求める」という選択肢を持ちます。彼らの革新の核心は、「何を(what)」と「なぜ(why)」を分離することにあります。システムは、アクション自体(効果)と、その指示の出所(目的)を、二つの異なる証拠として評価します。極めて重要なのは、あらゆる情報源に対して「信頼スコア」を割り当てることです。認証された政府職員からの直接的な命令は高い信頼スコアを持ちますが、市民によってアップロードされた文書や、不明な送信者からのメールは低いスコアを持ちます。システムは、これらのスコアをアクションの潜在的な危害度と照らし合わせて重み付けを行います。もし低信頼のソースが重大な決定に影響を与えようとした場合、システムは単にそれを無視するのではなく、明確で信頼できる目的が欠如していることを理由として、判断を保留し、人間へのエスカレーションを行います。

研究者たちは、シミュレートされた大量の攻撃と現実的な政府のシナリオを用いて、このシステムをテストしました。彼らは、攻撃者がAIエージェントを欺いてデータを盗んだり、不正な返金を行わせたりしようとする1,000以上のシナリオを作成しました。これらのテストにおいて、この新システムは、信頼できないソースからの攻撃を阻止することに非常に高い効果を発揮しました。システムが、リクエストが低信頼のチャネルから来たことを正しく識別できた場合、たとえ隠された指示が非常に説得力のあるものであったとしても、AIの実行を阻止することができました。研究によれば、「目的」をリクエストの「効果」から切り離して扱うことで、システムは成功率の高い攻撃を、危険なレベルからごくわずかな割合へと減少させることができました。例えば、直接的な危害を伴う一連のテストでは、ラベルが正しかった場合、成功した攻撃の割合を36パーセント以上から2パーセント未満に減少させました。たとえシステムが、危険なソースを信頼できるものと誤ってラベル付けしてしまった場合でも、依然として大部分の攻撃をブロックすることに成功し、成功率を80パーセント以上から約35パーセントへと低下させました。

しかし、研究者たちはこのアプローチの限界も発見しました。このシステムは、異なるチャネルに割り当てられた信頼ラベルの正確性に大きく依存しています。もし攻撃者が、悪意のあるソースを信頼できるものだとシステムに信じ込ませることに成功すれば、防御力は弱まります。さらに、本研究は、このシステムがあらゆる状況で完璧に機能する魔法の盾ではないことも示しました。特に、AIが特定の指示を持たない一般的な市民のリクエストを処理する際、システムは慎重になり、しばしば人間によるレビューのために一時停止しました。この慎重さはバグではなく、機能(フィーチャー)です。これは、AIが誤って有害なアクションを承認してしまうことを防ぐためのものです。研究者たちは、このシステムが明らかな攻撃を阻止することには優れている一方で、複雑または曖昧な状況においては依然として人間の監視を必要とすることを明らかにしました。また、システムが学習し向上するためには、現在トレーニングデータには稀である「信頼できないチャネルからの正当なリクエスト」の例を見る必要があるとも指摘しました。これらの例がなければ、システムは市民からの有効なリクエストを誤ってブロックしてしまう可能性があります。

本研究は、この新しいロジックがAIエージェントを保護するための大きな前進であるものの、これ単体で完結する解決策ではないと結論付けています。この手法は、データのラベル付けと追跡に関する厳格なルールと組み合わされたときに最も効果を発揮します。研究者たちは、ラベルが正確であれば、信頼できない入力をすべて不審なものとして扱う単純で硬直的なルールであっても、彼らの複雑なシステムと同等の安全性を持てることを実証しました。彼らの研究の真の価値は、不確実性をどのように扱うかを示した点にあります。システムが「アンビバレンス(両価性)」、すなわち、リクエストが安全か不安全か確信が持てない状態を表現できるようにすることで、単純なイエス・ノーのフィルターよりも賢明な判断を下すことができるのです。このアプローチにより、AIエージェントが機密性の高いタスクを求められた際、そのタスクが可能かどうかだけでなく、それを求めている人物にその権利があるかどうかを確認できるようになります。これらの知見は、AIが政府や重要インフラで安全に使用されるためには、コマンド(命令)とサジェスチョン(提案)の違いを理解し、いつ立ち止まって人間にハンドルを握らせるべきかを知るシステムを構築しなければならないことを示唆しています。

自分の分野の論文に埋もれていませんか?

研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。

Digest を試す →