🤖 AI

AnonShield: Scalable On-Premise Pseudonymization for CSIRT Vulnerability Data

本文介绍了 AnonShield，一种高吞吐量的本地化伪匿名化系统，该系统利用 GPU 加速的命名实体识别（NER）和流式处理技术，在保持高准确度的同时，将漏洞数据的处理速度提升了高达 738 倍，从而为计算机安全事件响应小组（CSIRTs）实现合规且可扩展的数据共享。

原作者： Cristhian Kapelinski, Douglas Lautert, Beatriz Machado, Diego Kreutz, Isadora Garcia Ferrão

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Cristhian Kapelinski, Douglas Lautert, Beatriz Machado, Diego Kreutz, Isadora Garcia Ferrão

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个名为 CSIRT 的安全团队，他们就像是一个巨大的数字侦探机构。每天，他们都会扫描其计算机网络以寻找“漏洞”（vulnerabilities）。这些扫描会产生海量的报告，就像是详细的犯罪现场照片。

问题在于，这些照片包含敏感信息。它们不仅展示了漏洞本身，还展示了建筑物的名称、具体的房间号，甚至居住在那里的人的名字。如果团队想要与外部专家分享这些照片以寻求帮助，或者用于训练人工智能，他们必须先对这些名字进行模糊处理。这个过程被称为伪匿名化（pseudonymization）。

这篇论文介绍了一个名为 AnonShield 的新工具来完成这项模糊工作。以下是它的工作原理，通过简单的解释说明：

问题：“缓慢且危险”的旧方法

以前，尝试模糊这些海量报告就像是用牙刷去清理一个巨大的仓库。

太慢： 旧工具（如之前的版本 AnonLFI v2.0）处理单个大文件需要超过 92 小时。这就像是花整整四天时间只为了清理一个房间。
太危险： 一些工具尝试通过将数据发送到“云端”（外部服务器）来完成工作。这就像是将你的秘密犯罪照片邮寄给一个陌生人进行模糊处理。这违反了数据隐私规定，因为数据离开了建筑内部。
太笨拙： 其他工具则像是一个钝重的铁锤；它们会不小心把重要的技术细节（比如漏洞本身的名称）也一起模糊掉，导致报告变得毫无分析价值。

解决方案：AnonShield

AnonShield 就像是从牙刷升级到了在你自己建筑内运行的高速工业吸尘器。

1. 超级快速引擎（GPU 加速）
把旧工具想象成一个逐页阅读书籍的单个工人。AnonShield 雇佣了一整个工人团队（使用强大的图形处理器，或称 GPU），他们可以同时阅读并模糊数千页内容。

结果： 过去需要 92 小时 的工作现在只需 不到 10 分钟。这实现了近 738 倍 的加速。

2. 智能过滤器（上下文感知）
想象你正在编辑一个故事。你需要模糊人物的名字，但你不想模糊怪物或武器的名字，因为故事的主题就是对抗这些怪物。

AnonShield 足以聪明到能分辨两者的区别。它能识别特定的网络安全术语（如 “CVE” 或 “CPE” 代码），并知道保持这些术绪清晰，同时模糊敏感名称。
它使用一种“模式感知”（schema-aware）设置，就像拥有一份清单。如果清单上写着“模糊‘主机名’列中的所有内容”，它会立即执行，甚至不需要读取文本，这让速度更快。

3. “魔法墨水”（伪匿名化）
AnonShield 并不是简单地涂黑一个名字（这会破坏数据），而是用一个唯一的、不可破解的代码（如秘密别名）来替换它。

如果报告中出现了 100 次 “Server-1” 这个名字，AnonShield 每次都会将其改为同一个代码（例如 “X-999”）。
这保持了数据的可用性：分析人员仍然可以看到 “X-999” 被攻击了三次，尽管他们并不知道那就是 “Server-1”。
只有持有秘密密钥的团队负责人才能将代码还原为真实名称。

4. “不使用云端”的承诺
一切都在数据所在的本地计算机上完成。数据永远不会被发送到互联网。这保护了组织免受黑客攻击，并使其符合隐私法规（如 GDPR）。

成果

研究人员在超过 70,000 条记录（约 550 MB 数据）的海量数据集上测试了这个工具。

速度： 他们从等待数天变成了等待数分钟。
准确性： 该工具非常精准。它成功找到了 96.7% 的敏感信息（召回率/Recall），同时保持了数据的分析价值（F1 分数为 94.2%）。
可靠性： 它能够处理混乱的文件格式（如带有图像的 PDF）和巨大的电子表格，而不会崩溃。

总结

AnonShield 是一个允许安全团队安全、快速地分享其漏洞报告的工具。它就像是一个住在你电脑里的超级快速、聪明的编辑，通过将敏感名称替换为秘密代码，使得数据可以在不泄露实际扫描对象是谁或是什么的情况下，用于分析或 AI 训练。它将一项为期 4 天的工作缩短到了 10 分钟。

技术摘要：AnonShield

问题陈述

计算机安全事件响应团队（CSIRT）面临着一个关键的运营挑战：需要在保持对数据主权和隐私法规（如 GDPR、LGPD）严格合规的同时，共享漏洞扫描数据（来自 OpenVAS 和 Tenable 等工具），以用于分析、机器学习流水线和合成数据生成。这些报告包含敏感的个人身份信息（PII）、网络标识符（IP、主机名）以及凭据等技术发现。

现有解决方案无法满足大规模 CSIRT 部署的具体需求：

基于云端的工具（例如 Google Cloud DLP、Amazon Comprehend）通过要求将数据传输到外部端点，违反了数据主权原则。
本地通用工具（例如 Microsoft Presidio）缺乏针对网络安全特定实体（CVE、CPE、加密哈希）的识别器，导致漏洞配置文件暴露。
之前的研究迭代（AnonLFI v1.0 和 v2.0）存在扩展性问题。AnonLFI v2.0 虽然支持层级格式（XML/JSON）和 OCR，但由于内存密集型 DOM 解析和缺乏硬件加速，处理 550 MB 数据集（70,951 条记录）需要超过 92 小时，这在实际业务中是无法实现的。

方法论：AnonShield 框架

AnonShield 是一个高吞吐量、本地化的伪匿名化系统，旨在本地处理漏洞数据。它通过使用确定性的伪名（HMAC-SHA256 字符串）替换敏感实体，在不暴露原始数据的情况下保持跨报告的引用完整性。

该框架通过五个连续阶段运行：

输入处理： 支持异构格式（XML、JSON、JSONL、CSV、TXT、LOG、PDF、DOCX、XLSX）。大型文件通过流式 I/O（使用用于 JSON 的 ijson 和用于 XML 的 SAX）进行处理，以避免全量加载到内存中。
实体检测（NER）： 采用结合以下内容的混合方法：
- GPU 加速的 Transformer 模型： 可配置的模型如 Davlan/xlm-roberta-base-ner-hrl 或专注于网络安全的 attack-vector/SecureModernBERT-NER。
- 自定义正则表达式模式： 21 个模式涵盖 IP、URL、哈希、证书、CVE/CPE 标识符以及凭据。
- LRU 缓存： 在记录之间摊销重复查找的开销。
伪匿名化： 实体被替换为使用操作员定义的密钥计算出的 HMAC-SHA256 字符串。字符串长度可配置（0–64 个十六进制字符），并保留实体类型作为前缀（例如 [IP_ADDRESS_48624b5cdc]）。
持久化： 本地 SQLite 数据库存储原始实体与伪名之间的映射关系，使持有密钥和数据库的管理员能够进行受控的重新识别。
输出： 结构化格式在保持模式和结构的同时仅替换数值。非结构化格式（PDF、DOCX、图像）通过 OCR 或文本提取进行处理，并输出为纯文本。

关键架构特性：

模式感知配置： 一种机制（anonymization_config）允许针对特定字段实施策略（例如 force_anonymize、fields_to_exclude），通过绕过 NER 开销来显著提升性能。
多种策略： 用户可以在以下策略间进行选择：
- 独立模式 (Standalone)： 最高吞效，完全绕过 Presidio。
- 混合/过滤模式 (Hybrid/Filtered)： 平衡准确性和性能，通过限制识别器为网络安全相关的实体。
- Presidio 模式： 最大化召回率，但可能会引入与领域无关模式相关的误报。

核心贡献

可扩展架构： 一个能够在本地处理运营规模漏洞数据集（高达 550 MB，约 71k 条记录）且具有近线性复杂度的系统。
全面评估： 通过使用从异构测试床到真实业务数据的各种数据集，将四种策略（standalone、hybrid、presidio、filtered）与前几代产品（AnonLFI v1.0/v2.0）及商业工具进行了对比分析。
准确性验证： 使用专家标注的样本（67 条记录，13 种实体类型）进行统计评估，以衡量精确率（Precision）、召回率（Recall）和 F1 分数。

实验结果

评估使用了四个数据集（D1–D3），包括来自 CAIS/RNP 的一个 550 MB 业务数据集（D2），其中包含 70,951 条漏洞记录。

性能（吞吐量与延迟）：

加速比： AnonShield 将 550 MB 业务数据集的处理时间从 AnonLFI v2.0 的估计 >92 小时 降低至 不足 10 分钟（453 秒），实现了 738 倍的加速。
可扩展性： AnonShield 展示了近线性复杂度（ $\alpha \approx 1$ ）。相比之下，AnonLFI v2.0 由于 DOM 解析呈现超线性退化。
优化： 为 CSV 数据启用模式感知配置后，运行时间进一步缩短至 12.55 秒（34,341 KB/s），相比全量 NER 推理获得了 46.9 倍的增益。
硬件无关性： 即使在仅 CPU 的硬件上，AnonShield 也实现了相对于 AnonLFI v2.0 ≥535 倍的加速，证实了其收益源于架构而非仅仅是硬件。

准确性：

指标： Filtered 和 Hybrid 策略实现了 94.2% 的 F1 分数 和 96.7% 的召回率。
对比： 这代表了相对于 AnonLFI v1.0（F1: 23.7%）和 v2.0（F1: 54.0%）的显著提升。
错误分析： 漏报（False Negatives）主要源于确定性因素（归因字符串中未识别的组织名称以及自由文本中的端口号等结构化人工痕迹）。通过抑制领域无关的识别器（例如将版本字符串误分类为日期），误报（False Positives）在 Filtered/Hybrid 模式下得到了显著减少。

意义与主张

本文认为，对漏洞数据进行可扩展的本地化伪匿名化处理在操作上是可行的，且不会牺牲分析效用。通过实现高吞吐量和高召回率，AnonShield 能够实现：

合规的数据共享： 在遵守 GDPR 和 LGPD 的同时，促进漏洞数据在下游 LLM 流水线和合成数据生成中的使用。
业务可行性： 从不切实际的处理时间（>92 小时）转向大规模企业环境下的近实时处理能力（<10 分钟）。
上下文感知的安全： 认识到网络安全标识符（CVE、CPE）在特定上下文中的敏感性，系统允许进行细粒度控制，填补了通用 PII 工具留下的空白。

作者承认当前的局限性，包括对特定 OCR 库（处理仅图像的 PDF）的依赖，以及即使经过伪匿名化处理后发布原始漏洞数据仍存在的固有难度（因为存在缩小攻击者搜索空间的风险）。因此，他们将伪匿名化定位为向外部共享进行合成数据生成迈出的补充步骤，同时也是内部 LLM 辅助分析的重要环节。