技术摘要：LiSA（基于保守策略归纳的终身安全适应）

1. 问题陈述

随着大语言模型（LLMs）从聊天界面过渡到能够访问私有数据、调用特权工具并执行多步工作流的自主智能体，安全失效的成本已从微小的生成错误升级为数据泄露和未授权操作等具体危害。现有的安全护栏（例如分类器、基于规则的验证器和提示策略）依赖于静态的、部署前定义的危害标准。然而，安全和隐私边界往往是情境化的，受当地组织规范、不断变化的用户期望以及任务特定的风险容忍度塑造，这些难以预先枚举。

这造成了一个实际差距：护栏必须适应其特定的运行环境，但部署反馈通常仅限于稀疏且嘈杂的用户报告失效。在此模式下，对基础模型进行重复微调往往不切实际。本文提出了部署时护栏适应问题：仅利用稀疏且可能嘈杂的用户修正，在不重复重新训练模型的情况下，随时间改进固定的基础护栏。

2. 方法论：LiSA 框架

作者提出了LiSA（终身安全适应），这是一个组织为在线 - 离线循环的保守策略归纳框架。LiSA 不微调基础模型，而是通过结构化的策略记忆和证据感知的重用来改进固定的护栏。该框架包含三个核心机制：

A. 结构化策略记忆（广泛抽象）

LiSA 将稀疏的失效报告转化为可重用的策略抽象，而不是存储孤立的案例。

• 广泛策略项： 从失效报告中归纳得出，这些是自然语言策略陈述（例如，“分享一般公开信息是恰当的”），并附带元数据，包括支持计数和矛盾计数。
• 目标： 泛化稀疏反馈，使单次修正能够指导相关情境下的未来决策。

B. 冲突感知的局部策略

广泛抽象可能会过度泛化，将具有不同标签的邻近情境合并为单一规则。

• 机制： LiSA 识别“混合标签区域”，即语义相似的案例具有冲突的用户报告（例如，在一种情境下分享信息是恰当的，而在另一种情境下则不恰当）。
• 局部规则： 在这些区域中，LiSA 归纳出更窄的、特定标签的策略项（局部规则），作为细化提示。与广泛策略不同，这些规则不受置信度门控的限制；它们会立即呈现，为推理模型提供细粒度的边界解析。

C. 置信度门控的在线护栏

为了防止支持度弱的抽象过早影响推理（特别是在嘈杂反馈下），LiSA 采用保守的重用策略。

• 后验下界： 对于每个广泛策略项，LiSA 将转移可靠性（$\theta_m$）建模为一个潜在准确率变量，基于观察到的支持（$s_m$）和矛盾（$c_m$）计数，其服从 Beta 后验分布：$\theta_m | \text{data} \sim \text{Beta}(1 + s_m, 1 + c_m)$。
• 门控规则： 仅当广泛项的置信度（定义为后验分布的下$\delta$-分位数）超过特定标签的阈值（$\tau_{refuse}$ 或 $\tau_{allow}$）时，才呈现该项。
• 理由： 这确保广泛策略必须在影响决策之前积累足够的证据，防止源自单次报告的脆弱规则导致过度泛化。

D. 在线 - 离线循环

• 在线阶段： 系统检索相关的广泛和局部策略，通过置信度门控过滤广泛项，并用幸存的上下文提示基础护栏。如果没有适用的策略，则回退到基础护栏。
• 离线阶段： 定期使用累积的用户报告重建记忆。这包括归纳新的广泛策略、合并语义重叠的项、为混合标签区域重新生成局部规则，以及更新置信度统计信息。

3. 主要贡献

1. 问题形式化： 本文定义了稀疏、嘈杂监督下的终身护栏适应场景，将其与标准监督更新或密集微调区分开来。
2. LiSA 框架： 一个结构化策略记忆系统，具有以下特点：
   • 用于稀疏重用的广泛策略抽象。
   • 用于处理混合标签区域的冲突感知局部细化。
   • 基于 Beta 后验下界的保守置信度门控重用，以控制广泛策略的呈现。
3. 实证验证： 在三个基准测试（PrivacyLens+、ConFaide+ 和 AgentHarm）上的演示表明，LiSA：
   • 在稀疏反馈下，表现优于强大的基于记忆的基线（如 ReasoningBank、Synapse、AGrail）。
   • 对嘈杂用户报告保持鲁棒性（高达 20% 的标签翻转率），其中置信度门控被确定为关键的稳定因素。
   • 通过局部细化改进了边界敏感决策。
   • 在延迟 - 性能前沿方面超越了单纯扩展基础模型规模所能达到的水平。

4. 实验结果

• 性能： 在 PrivacyLens+、ConFaide+ 和 AgentHarm 中，LiSA 始终比固定的基础护栏以及使用案例检索（Synapse）或仅使用广泛策略抽象（ReasoningBank）的基线获得更高的宏观 F1 分数。
• 消融研究：
  • 移除局部规则导致性能下降最大，证实了它们在解决边界歧义方面的必要性。
  • 移除置信度门控对平均性能的影响较小，但显著增加了方差并降低了噪声下的鲁棒性。
• 噪声鲁棒性： 在 20% 标签噪声下，LiSA 保持了高性能（0.917 F1），而像 ReasoningBank 这样的基线则显著下降（0.857 F1）。Beta 后验门控有效地防止了支持度弱的策略主导推理。
• 延迟与性能： 附加在轻量级模型（Gemini-3.1-flash-lite）上的 LiSA，在 F1-延迟权衡方面优于更大且未适应的骨干模型（如 Flash、Pro）。记忆刷新的离线成本被分摊到许多决策中，使得结构化记忆对于稀疏反馈适应比模型扩展更高效。

5. 意义与主张

本文主张，AI 智能体的有效适应不需要微调或更大的模型，而是需要对部署经验的校准重用。LiSA 提供了一条切实可行的路径，使 AI 智能体能够抵御现实世界边缘风险的不可预测的“长尾”，具体通过以下方式：

• 允许护栏从运行环境中学习，而无需重复重新训练。
• 通过保守的、基于证据的谨慎性维持稳定性。
• 提供比单纯扩展骨干模型容量更高效的提升安全性的途径。

作者将 LiSA 定位为一种“实用的中间路线”，既避免了静态护栏的脆弱性，又规避了无约束适应的风险，确保护栏能够响应当地规范而演变，同时通过证据校准机制保持安全性。