💻 computer science

A microservices-based endpoint monitoring platform with predictive NLP models for real-time security and hate-speech risk alerting

本文提出了一种可扩展的、基于微服务的平台，该平台将端点遥测数据与预测性自然语言处理模型相结合，为数据泄露、可疑行为和仇恨言论提供实时、统一的告警。

原作者： Darlan Noetzold, Anubis Graciela De Moraes Rossetto, Juan Francisco De Paz Santana, Valderi Reis Quietinho Leithard

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Darlan Noetzold, Anubis Graciela De Moraes Rossetto, Juan Francisco De Paz Santana, Valderi Reis Quietinho Leithard

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一座繁忙的办公楼，员工们使用电脑开展工作。公司希望保护其机密（如客户数据），并确保每个人都受到尊重（杜绝霸凌或仇恨言论）。然而，手动检查每一台电脑是不可能的，而现有的安全工具往往各自为政——一个工具检查数据泄露，另一个工具检查不当语言，但它们彼此从不交流。

本文提出了一种全新的、统一的“智能安全卫士”系统，旨在解决这一问题。其工作原理如下，分解为简单部分：

1. “数字保镖”（间谍软件代理）

想象安装在每位员工电脑上的软件，就像一位沉默的数字保镖。它不仅仅是在监视；它倾听并观察屏幕上发生的一切。

它做什么：它记录你敲击的每一个键，监视你访问的网站，检查正在运行的程序，甚至在你屏幕出现可疑情况时快速“快照”你的屏幕。
神奇之处：它极其轻量。论文声称，这位保镖如此高效，占用的电脑资源不到 1%。这就像拥有一位安静且迅捷的安全员，甚至不会让地板发出吱呀声。

2. “中央指挥部”（微服务架构平台）

所有这些来自数字保镖的信息都需要发送到某处进行分析。作者利用微服务架构构建了一个“中央指挥部”。

类比：想象一个繁忙的机场。不是由一座巨大的控制塔试图同时处理每架飞机、每次降落和每位乘客，而是拥有专门的团队：一个团队处理行李，另一个处理燃油，另一个处理安保。他们彼此之间即时沟通。
在此如何运作：该系统使用“信使”（RabbitMQ）在这些专业团队之间传递信息，并使用“快速内存货架”（Redis）保持流程顺畅。这确保了即使成千上万名员工同时发送数据，系统也不会崩溃或减速。

3. “语言侦探”（预测性自然语言处理模型）

这是该系统最独特的部分。“保镖”捕获输入的单词并将其发送给语言侦探。

职责：侦探阅读文本，查看其中是否包含仇恨言论、霸凌或冒犯性语言。
工具：系统使用了三种不同类型的“侦探”（逻辑回归、支持向量机和多项式朴素贝叶斯），它们是在数百万条英语、西班牙语和葡萄牙语文本示例上训练而成的。
备用方案：如果标准侦探不确定，系统会召集一位“超级侦探”（GPT-3）进行复核。如果超级侦探发现了其他人遗漏的内容，系统会从中学习以备下次使用。
结果：论文报告称，这些侦探在识别仇恨言论方面的准确率约为87%。

4. “警报系统”（实时警报）

当系统发现问题时——例如有人试图窃取文件或输入仇恨信息——它不会等待。

流程：它立即计算“风险评分”。如果评分足够高，就会触发警报。
证据：它不仅仅说“出错了”。它会保存证据：正在运行的程序列表、屏幕快照以及具体文本，全部打包在一起。
仪表盘：管理员可以登录网络仪表盘，实时查看这些警报。他们可以根据人员、时间或问题类型进行筛选。

5. “完整性证明”（安全特性）

论文强调，该系统旨在构建得值得信赖且安全。

防篡改：如果生成警报，系统会为其创建数字“指纹”（加密哈希）。这就像用蜡封住信封；如果任何人试图稍后打开或更改内容，封条就会破裂，系统便会知道证据已被篡改。
安全检查：作者针对试图入侵的黑客（使用 SQL 注入和其他技巧）测试了该系统。该系统成功阻止了这些攻击，证明其使用是安全的。

核心结论

论文声称构建了一个单一的、一体化的平台，能够同时完成两件事：

保护数据：阻止人们窃取敏感信息。
保护人员：阻止工作场所中的仇恨言论和骚扰。

作者测试了该系统，发现其速度快（响应时间不到一秒）、轻量级（不会拖慢电脑）且准确（能捕捉大多数不良行为）。他们主张，通过整合这些工具，公司可以在不需要 dozen 种不同且笨拙的软件程序的情况下，创建一个更安全、更可靠、更具包容性的工作场所。

技术摘要：基于微服务的端点监控平台与预测性 NLP 模型

问题陈述

组织在现代数字环境中面临双重挑战：敏感数据泄露的风险，以及工作场所沟通渠道中仇恨语言或有害语言的传播。当前的解决方案通常孤立地处理这些问题——将生产力跟踪、数据丢失预防（DLP）和仇恨言论检测分开——这限制了跨不同数据源关联信号的能力，并延迟了事件响应。此外，远程工作的兴起以及敌对工作环境所带来的法律后果（例如特斯拉诉讼案中判处的巨额赔偿），迫切需要一种兼顾安全性、合规性和员工福祉，同时不损害系统性能的主动式综合监控方法。

方法论

所提出的解决方案是一个统一的、基于微服务的框架，旨在收集端点遥测数据并应用预测性自然语言处理（NLP）模型进行实时警报。该方法遵循需求驱动的工程方法，分为四个阶段：需求获取、架构设计、实施和评估。

架构与组件

该系统建立在模块化架构之上，包含三个主要层级：

端点层（间谍软件代理）： 一个编译为可执行文件的 Python 监控代理。它通过多线程运行以捕获：
- 网络流量： 实时 DNS 数据包检查，以识别被阻止的网站或恶意查询。
- 击键： 键盘记录以捕获输入文本用于内容分析。
- 进程： 根据管理员定义的列表扫描恶意进程。
- 端口： 扫描开放端口和易受攻击的服务横幅。
- 屏幕捕获： 在生成警报时截取屏幕截图以提供证据背景。
- 决策逻辑： 警报基于加权风险分数（ $S(t)$ ）触发，该分数源自二元指标（例如，被阻止的 DNS、禁止的关键词、恶意进程）。
服务编排层（API 网关与后端）：
- 中央 API： 使用 Spring Boot 构建并通过 Docker 容器化，管理组件之间的数据流。
- 数据管理： 使用 PostgreSQL 进行持久化存储（警报、用户数据、图像），并使用 Redis 对频繁查询进行低延迟缓存（TTL 为 20 秒）。
- 异步处理： RabbitMQ 处理事件摄取和路由，将遥测的摄取与警报处理及分类任务解耦。
- 优化： 系统采用延迟初始化，禁用不必要的自动配置，利用 Undertow Servlet 容器进行非阻塞 I/O，并实施顺序数据库索引以最小化资源开销。
预测性 NLP 管道：
- 数据处理： 文本经过规范化（小写化、清理、停用词移除、词干提取/词形还原）并使用 TF-IDF 进行向量化。
- 模型： 针对每种语言（葡萄牙语、西班牙语、英语）训练并评估了三种传统机器学习模型：逻辑回归（带 L1 正则化）、支持向量机（RBF 核）和多项式朴素贝叶斯（带拉普拉斯平滑）。
- 回退机制： 系统集成 GPT-3（通过 text-davinci-003 模型）作为次要验证层，用于处理未被主要模型标记的短语。差异将被记录以供未来重新训练。
- 分类： 管道识别输入的语言，应用相应的模型，并返回结构化的 JSON 分类结果。

前端与治理

一个响应式 Web 应用程序允许管理员管理黑名单、查看警报和配置策略。它包括基于角色的访问控制、安全的会话管理，以及为用户生成加密签名（SHA-256）的警报 JSON 日志的功能，以确保可审计性和数据完整性。

主要贡献

本文提出了三个主要贡献：

统一架构： 一个模块化的微服务框架，将端点监控（键盘记录、网络嗅探、进程审计）与预测性 NLP 集成在单一管道中，解决了碎片化解决方案的差距。
实时警报编排： 一个可扩展系统，利用 RabbitMQ 和 Redis 处理高容量数据摄取并提供低延迟警报，能够同时检测数据泄露指标和策略违规行为。
多语言仇恨言论检测： 应用基于 Transformer 和传统机器学习模型来检测葡萄牙语、西班牙语和英语中的仇恨言论风险指标，在保持适合实时企业环境的计算效率的同时实现了高准确率。

实验结果

该系统在受控环境（Intel i5-3470, 8GB RAM, Kali Linux）中使用 Docker 容器进行了评估。

性能与可扩展性：
- 间谍软件代理： 展示了微不足道的占用空间，在持续监控期间 CPU 和内存利用率始终低于 1%。
- 延迟： 总检测周期（从本地捕获到 API 分类）平均约为 700 毫秒。间谍软件 API 网关的平均推理响应时间为 500 毫秒。
- 可扩展性： 负载测试（高达 10,000 个并行请求）的线性回归分析显示，请求量与资源使用（CPU、内存、响应时间）之间存在强线性相关性。即使在负载较高时，系统仍保持响应时间低于 1 秒阈值，在 10,000 个请求时内存堆使用率上升至 39%。
- 安全性： 在应用初始漏洞补丁后，API 网关成功缓解了 SQL 注入、命令注入和 XSS 攻击。
预测模型准确性：
- 模型在所有语言和折次中实现了 87% 的平均准确率。
- 多项式朴素贝叶斯 显示出比逻辑回归和 SVM 略高的性能优势。
- 多边形面积指标（PAM）： 用于评估精确率、召回率、F1 分数、特异性和 AUC-ROC 之间的平衡。多项式朴素贝叶斯产生了最大的多边形面积，表明指标平衡更优，而逻辑回归在轴线上表现出最均匀的性能。
- 误差分析： 观察到约 13% 的误差率，主要是由于对强调性大写的误报（假阳性）和对生僻冒犯性术语的漏报（假阴性）。

意义与主张

作者声称，这项工作提供了一种科学依据的方法，可同时解决数据丢失预防和工作场所合规性问题。该研究的意义在于证明了传统机器学习模型（逻辑回归、SVM、朴素贝叶斯）在实时企业监控中，与资源密集型的基于 Transformer 的架构（如 BERT）相比，能够提供预测能力与硬件需求之间更可持续的权衡。

本文强调，所提出的框架不仅仅是一种惩罚工具，而是一种促进更安全、更具包容性工作场所的机制。通过集中监控和预测能力，该系统使组织能够及时检测数据泄露和违规行为的指标。作者得出结论，只要严格遵守关于透明度和员工同意的道德考量，该解决方案适用于从旧式工作站到现代企业系统的各种硬件环境。未来的工作建议侧重于大规模生产验证、使用原生镜像（例如 GraalVM）进行运行时优化，以及集成差分隐私技术。