💻 计算机科学

Teleoneutrosophic Logic for Three-Way Authorisation of Institutional AI Agents

本文提出了一种远程中性逻辑（Teleoneutrosophic Logic），这是一种具有溯源意识的框架，它将用于效果和目的的独立中性三元组相结合，以实现机构人工智能代理的三方授权，通过区分合法的外部请求与恶意诱导，从而有效地减少直接伤害的传递。

原作者： Selçuk Topal, Buğra Ayan

发布于 2026-10-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Selçuk Topal, Buğra Ayan

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代数字世界中，政府机构和大型机构正开始使用人工智能来处理复杂的任务，例如总结公民请愿书或管理税务记录。这些人工智能代理是强大的工具，但它们面临着一个独特且危险的问题：它们可能会被欺骗。想象一下，一位公民提交了一份关于税务问题的请愿书，但在该文档中隐藏了一条秘密指令，要求将资金转移到陌生人的账户。对于人工智能来说，这条指令看起来就像是另一条需要遵循的普通命令。安全专家的挑战在于，如何区分来自授权官员的正当指令与埋藏在人工智能仅在阅读的文档中的隐藏命令。传统的安全系统通常只关注动作本身（例如转账），却难以理解是谁发出的请求以及为什么要这样做。这一差距使得机构容易受到“提示词注入”（prompt injection）的影响，即攻击者将恶意指令隐藏在人工智能处理的数据之中。

为了解决这个问题，研究人员 Selçuk Topal 和 Buğra Ayan 开发了一种新方法，用于决定人工智能代理是否应该执行某项请求。他们的方法被称为“一元三值逻辑”（Teleoneutrosophic Logic），该方法将授权执行动作的决策视为一种三方选择：系统可以批准该动作、拒绝该动作，或者暂停并请求人工审核。其创新的核心在于将“做什么”与“为什么做”进行分离。系统会将动作本身（效果）与指令的来源（目的）作为两个独立的证据进行评估。至关重要的是，它会为每个来源分配一个信任分值。来自经过验证的政府官员的直接指令具有高信任分值，而由公民上传的文档或来自未知发送者的电子邮件则具有低信任分值。随后，系统会将这些分值与潜在的危害程度进行权衡。如果一个低信任来源试图影响一项高风险决策，系统并不仅仅是忽略它，而是将其视为缺乏清晰、可信目的的理由，从而暂停决策并将问题升级至人工处理。

研究人员使用大量的模拟攻击和现实政府场景对该系统进行了测试。他们创建了一千多个场景，其中攻击者试图诱导人工智能代理窃取数据或发放未经授权的退款。在这些测试中，新系统在阻止来自不可信来源的攻击方面表现得非常有效。当系统正确识别出请求来自低信任渠道时，即使隐藏的指令看起来极具说服力，它也能阻止人工智能采取行动。研究发现，通过将请求的“目的”与“效果”分开处理，该系统可以将成功的攻击率从危险水平降低到一个极小的部分。例如，在涉及直接伤害的一组测试中，当标签正确时，系统将成功攻击的数量从超过 36% 降低到了不到 2%。即使系统被误导将一个危险来源标记为可信，它仍然能够拦截大部分攻击，将成功率从超过 80% 降至约 35%。

然而，研究人员也发现了这种方法的局限性。该系统高度依赖于分配给不同渠道的信任标签的准确性。如果攻击者能成功欺骗系统，使系统认为一个恶意来源是值得信赖的，那么保护机制就会削弱。此外，研究表明，该系统并不是一个在所有情况下都能完美运作的神盾。在某些情况下，特别是当人工智能被要求处理来自公民的通用请求且没有特定指令时，系统表现得非常谨慎，并且经常暂停以等待人工审核。这种谨慎是一种特性而非缺陷；它确保了人工智能不会意外批准有害行为。研究人员发现，虽然该系统在阻止明显的攻击方面表现出色，但在处理复杂或模糊的情况时，仍需要人工监督。他们还指出，为了让系统学习和改进，它需要看到来自不可信渠道的合法请求示例，而这类示例目前在训练数据中非常罕见。缺乏这些示例，系统可能会误拦公民的有效请求。

研究结论认为，虽然这种新逻辑在保障人工智能代理安全方面迈出了重要一步，但它并不是一个独立的解决方案。只有在结合了关于如何标记和追踪数据的严格规则时，它才能发挥最佳效果。研究人员证明，只要标签是正确的，一个将任何不可信输入视为可疑的简单、僵化的规则，其安全性可以与他们复杂的系统一样高。他们工作的真正价值在于展示了如何处理不确定性。通过允许系统表达“模棱两可”（ambivalence）——即一种系统不确定请求是安全还是不安全的中间状态——它可以做出比简单的“是/否”过滤器更明智的决策。这种方法确保了当人工智能代理被要求执行敏感任务时，它不仅会检查该任务是否可行，还会检查发起请求的人是否有权这样做。研究结果表明，为了让人工智能安全地应用于政府和关键基础设施，我们必须构建能够理解“命令”与“建议”之间区别，并且知道何时退后一步并让渡控制权的系统。

技术摘要：用于机构级 AI 智能体三向授权的远程中性逻辑（Teleoneutrosophic Logic）

问题陈述
在公共部门工作流中运行的机构级 AI 智能体面临着一个关键漏洞：间接提示注入（indirect prompt injection）。一个智能体可能被要求总结一份包含隐藏指令的公民请愿书，该指令旨在执行敏感操作，例如发放退款或更改记录。虽然该操作的直接效应（例如转账）可能与来自授权官员的正当请求完全一致，但其权威性和目的却有着本质的区别。现有的仅评估动作“安全性”或“效应”的监控系统无法区分合法的官员指令与嵌入在不可信数据中的恶意注入。此外，标准的模糊逻辑（fuzzy logic）或中性逻辑（neutrosophic）方法仅通过细化“安全性”尺度来运作，无法恢复有关指令来源的信息，从而导致授权问题仍未得到解决。

方法论
作者提出了远程中性逻辑（Teleoneutrosophic Logic, TNL），这是一种通过配对两个独立的中性三元组来评估提议工具调用的决策演算：

效应三元组 ( $T, I, F$ )： 代表关于动作即时后果的真（安全执行）、不确定性（Indeterminacy）和假（危害）。
目的（Telic）三元组 ( $P, A, H$ )： 代表关于指令来源及其意图的真（与委托人目标一致）、模棱两可（缺乏支持）和敌意（对抗性目的）。

该框架通过以下机制运行：

代数结构： 系统由两个单值中性代数的乘积组成，创建了一个六维坐标值空间。该结构支持超一致性（paraconsistency，允许 $P$ 与 $H$ 共存），并定义了特定的伴随条件。
来源折扣（Provenance Discounting）： 证据根据其通道的信任水平（ $t \in [0, 1]$ ）进行加权。“谨慎保留折扣”算子会降低不可信来源的支持度（ $T$ 或 $P$ ），同时保留并累积不确定性和危害/敌意报告。
怀疑式融合（Sceptical Fusion）： 来自多个来源的证据通过取折扣后的支持度最大值以及不确定性的概率和来进行融合，确保不可信来源无法通过人为抬高其支持度来突破其信任上限。
三向守卫（Three-Way Guard）： 决策函数 $G(\omega, \omega_0)$ $G (ω, ω_{0})$ 评估完整的证据集（ $\omega$ $ω$ ）和受信任的证据子集（ $\omega_0$ $ω_{0}$ ）。
- 拒绝（Deny）： 如果仅凭受信任的证据就表明存在高风险（ $\rho(\omega_0) \ge \theta_d$ ），则触发拒绝。不可信证据不能触发拒绝。
- 授权（Auth）： 只有当完整证据集满足安全性、目的性和危害性阈值时（ $\rho(\omega) \le \theta_a, T \ge \tau_T, P \ge \tau_P$ ），才授予授权。
- 升级（Escalate）： 对于未被拒绝但未达到授权阈值的案例，采用默认结果——升级（转人工审查）。

作者证明，在特定参数条件下，不可信证据只能强制执行升级（审查），而不能导致拒绝或绕过目的阈值进行未经授权的授权。

核心贡献

双重三元组表示： 引入了远程中性值，将效应评估与目的对齐解耦，从而使系统能够检测到“双重用途”场景，即动作本身是安全的，但未经授权。
感知来源的融合： 一种形式化的机制，其中信任标签限制了不可信来源所能提供的正向支持，同时保留了任何来源的警告（敌意/危害）。
理论保证： 通过证明建立了守卫具有超一致性，并且在定义的支撑条件下，不可信证据在改变决策方面的能力是受限的（具体而言，它不能证明拒绝，也无法绕过目的阈值）。
轨迹保护： 将该逻辑扩展到多步轨迹，使用流核（flow kernels）来检测分解攻击（decomposition attacks），即在敏感读取之后紧跟一个常规动作。

实验结果
该框架在 InjecAgent 基准测试和涉及税务、医疗及登记工具的合成电子政务场景的 1,054 个案例上进行了评估。

正确标签： 当来源标签准确时，基于“标记并升级”的清晰规则与 TNL 表现相似，但 TNL 在处理中间信任通道时提供了更细致的处理。
错误标记通道 (T2)： 当不可信内容被错误标记为可信时，TNL 的表现显著优于依赖标签的清晰规则。
- 在 InjecAgent 上，TNL 将直接危害的通过率从 82.3%（标记规则）降低到了 36.7%。
- 引入“具备无知意识”的模棱两可性（即保留“该调用并非最初请求”这一事实）后，通过率进一步降至 16.9%。
- 在合成基准测试中，在标签错误的情况下，TNL 将单步攻击的通过率从 100%（清晰规则）降低到了 12.5%。
学习型估计器： 使用学习型估计器取代固定规则来评估目的/敌意，使 InjecAgent 在标签错误下的通过率从 36.7% 降至 1.6%。然而，这需要包含来自不可信通道的合法请求的训练数据；若缺乏此类数据，模型无法泛化到合法的外部请求。
局限性： 系统在应对 “Arg0” 攻击（即在不引入新标识符的情况下进行参数操纵）以及攻击者完美模拟对齐状态的极端情况（T1*）时表现吃力。

意义与主张
论文声称 TNL 提供了一种正式的决策语义，用于分离智能体“做什么”与“为什么做”，解决了 AI 授权中的“双重用途困境”。

独立的模棱两可性： 一个关键发现是，保留对未请求调用的模棱两可性可以防止后续的目的支持抹除审查的需求，从而在标签错误的情况下，将最坏情况下的直接危害通过率从 100% 降低到 34.5%（InjecAgent）和 25.0%（合成场景）。
自动化的角色： 作者谦虚地总结道，虽然 TNL 在标签错误时提高了安全性，但基于归因的“清晰”规则（即无论内容如何，只要是由不可信数据提出的调用都进行升级）至少同样安全，且通常更简单。
训练数据的必要性： 研究强调，基于学习的改进取决于训练数据中是否存在合法的外部请求；若无此类数据，自动化处理外部请求仍是不安全的。
人机协同（Human-in-the-Loop）： 作者强调，该守卫是一个技术控制手段，其作用是将负担转移到人工审查队列。他们指出，高升级率（例如每 1,000 个请求中有 326 个需要审查）是确保安全的必要代价，且该系统在没有适当人工监督的情况下，并不保证符合 GDPR 或土耳其第 6698 号法律等法规。

论文并未声称解决了所有的智能体安全问题，指出其排除了模型自身的蓄意破坏行为，并且依赖于来源标签的完整性；如果标签遭到破坏（T2*），攻击仍有可能通过。

类似论文