💻 computer science

TITAN: Three-Tier Intrusion-Detection Tree-Based Adaptive Network for Industrial Internet of Things

TITAN 是一种用于工业物联网入侵检测的新颖三层联邦学习架构，它通过仅交换预测输出和设备摘要，利用自适应知识蒸馏和贝叶斯聚合，克服了非独立同分布（non-IID）数据和类别不平衡的挑战，在无需共享原始数据或梯度的情况下，实现了优于现有方法的宏平均 F1 分数（macro-F1 performance）。

原作者： Sandeep Ghosh, Mohammed Al-Khafajiy, Saeid Pourroostaei Ardakani Ardakani

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sandeep Ghosh, Mohammed Al-Khafajiy, Saeid Pourroostaei Ardakani Ardakani

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个规模宏大、高安全等级的工业综合体（如智能工厂或电网），其中充满了成千上万种不同的设备：摄像头、传感器、智能锁和机器人。每个设备都在时刻监视着试图入侵的黑客。

问题在于，没有任何单一设备能看到全貌。一个摄像头可能只看到了“DoS”攻击（网络洪水攻击），而一个传感器可能只看到了“暴力破解”密码攻击。此外，坏人的行为非常罕见；99% 的流量都是正常的，这些攻击就像是在大海里寻找细小的针头。

如果你试图通过将所有原始数据发送到中央服务器来构建一个巨大的“超级大脑”，你会撞上两堵墙：

隐私问题： 你不能将私密数据传出工厂。
偏差问题： 如果你只是简单地取所有设备意见的平均值，这个“超级大脑”会忽略那些罕见的攻击，因为“正常”流量会将它们淹没。

TITAN 是一个旨在解决该问题的系统。你可以把它想象成一个三层结构的侦探机构，它能在不分享实际犯罪现场照片的情况下破解犯罪案件。

三个层级（侦探机构）

第一层：本地侦探（设备）
每个设备仅使用自己的本地数据来训练自己的“侦探”（一种专门的 AI 模型）。

挑战： 由于设备只能看到几种类型的攻击，它的侦探可能擅长识别“DoS”，但在“暴力破解”面前却完全失明。
对策： TITAN 使用了一种特殊的训练程序。它强制要求本地侦探对它所看到的稀有线索给予额外关注，甚至还会给侦探一点关于它尚未见过的犯罪类型的“提示”，这样它就不会忘记这些犯罪的存在。
输出： 设备不会发送其原始数据或内部大脑结构。它只发送一份成绩单：“我认为有 90% 的概率是 DoS 攻击，5% 是暴力破解，5% 是正常情况。”

第二层：区域经理（边缘服务器）
这些经理坐在设备与中央总部之间。他们收集一组设备的“成绩单”。

挑战： 如果你只是对报告进行平均，你就会丢失专业知识。
对策： 经理充当一名聪明的编辑。它学习学习哪些设备是哪些领域的专家。如果设备 A 擅长识别“DoS”，而设备 B 擅长“暴力破解”，经理会根据它们的专长来分配权重。它使用了一种“知识蒸馏”技术，这就像资深侦探教初级侦探如何解读线索，而无需揭示原始的犯罪现场。
输出： 一份精炼的区域总结报告。

第三层：全球总长（中央服务器）
总长接收来自所有区域经理的报告。

挑战： 经理们可能会产生分歧。一个说“这是 DoS”，另一个说“这是正常情况”。
对策： TITAN 使用了**贝叶斯“专家乘积”（Product of Experts）*方法。想象一下一个陪审团。如果一位专家说：“我 100% 确定这不是*暴力破解攻击”，总长会听取其意见。但如果一位专家以前从未见过暴力破解攻击，总长就会忽略他们在该特定话题上的意见（从而消除无知专家的“否决权”）。
救援队： 如果某种罕见攻击极其罕见，以至于没有任何一个区域能确定它，那么就会召集一个特殊的“专家小组”（即以前见过该特定攻击的前 5 名设备）来进行投票。
校准： 最后，总长会将最终判决通过一个“真相过滤器”。这确保了系统不仅仅是在猜测；它要确保当它说“90% 的概率”时，它指的就是 90%。这对于防止工厂被虚假警报淹没至关重要。

为什么 TITAN 更好？

论文将 TITAN 与标准方法（称为 FedAvg，类似于简单的“所有意见的平均值”）进行了对比。

结果： TITAN 在捕捉罕见且危险的攻击方面表现得显著更好。
类比： 如果说 FedAvg 像是询问 20 个人关于某个知识问答的答案并取其平均值，那么 TITAN 则是询问 20 位专家，让他们进行辩论，然后由一名法官根据谁在特定主题上真正具备专家资质来衡量他们的回答。
数据： TITAN 将对罕见攻击的检测率平均提高了 6.2%，在最困难、最混乱的场景下提升高达 23.3%。在大多数情况下，它甚至超越了“完美先知”（一个假设知道单个设备最佳表现的系统）。

核心结论

TITAN 是一个让工业设备能够在不共享私密数据的情况下协同工作以识别黑客的系统。它通过将“罕见攻击”视为一个校准问题，并使用一个尊重每个设备独特专业知识的智能三层投票系统，解决了“罕见攻击”的问题。它不仅仅是取意见的平均值，而是关于知道在面对特定威胁时该信任谁。

技术摘要：TITAN —— 三层入侵检测树形自适应网络

1. 问题陈述

本文针对工业物联网（IIoT）入侵检测中联邦学习（FL）面临的两个关键且复合的挑战进行了研究：

严重的非独立同分布（Non-IID）划分： 在 IIoT 环境中，单个设备仅观察到攻击流量的离散切片。某些攻击类别可能在特定设备中完全缺失，这违反了标准联邦学习所依赖的独立同分布（IID）假设。
极端的类别不平衡： 操作性攻击类别（如 Web 攻击、暴力破解）通常非常罕见，样本占比往往低于 0.1%，而主导流（DoS/DDoS）则可能超过 94%。

现有解决方案无法同时解决这两个问题。参数空间方法（如 FedAvg、FedProx）假设模型是可微的（神经网络），这排除了在处理表格流数据方面表现卓越的轻量级梯度提升机（LightGBM）等高效树形学习器。此外，这些方法在进行权重平均时会稀释少数类别的专业知识，导致全局模型校准失灵，从而为了提高多数类别的准确率而牺牲召回率。预测层面的方法通常需要共享的公共数据集进行知识蒸馏，这与 IIoT 的数据最小化和数据驻留规定相冲突。

2. 方法论：TITAN 架构

TITAN（三层入侵检测树形自适应网络）是一种分层联邦架构，它仅交换预测输出和少量的统计摘要，绝不交换原始数据、梯度或模型参数。它是专为非可微的树形学习器设计的。

第一层：设备级训练

每个设备（ $D=20$ ）在其本地非 IID 数据上通过一个四阶段自适应提升计划训练独立的 LightGBM 分类器：

阶段 1（平衡基准）： 使用类别平衡权重进行训练。
阶段 2（难样本精炼）： 使用基于阶段 1 F1 分数推导出的自适应焦点损失（focal loss）指数，旨在关注难样本而不覆盖多数类边界。
阶段 3（逐类重平衡）： 在满足最小样本计数保护（以防止对单例样本过拟合）的前提下，有条件地对 F1 分数较低的类别进行重平衡。
阶段 4（少数类富集）： 将主导类下采样至相对于第二大类的比例，同时保留所有少数类样本，使模型能够为稀有类别形成叶节点。

在原始（RAW）训练之后，使用**元模型（META model）**进行训练，该模型采用袋外（OOF）设计。它将原始模型的预测结果作为输入特征。这防止了“退化教师”问题，即模型在自身训练数据上预测近乎完美。设备仅向边缘端通信这些 META 概率向量（ $K$ 类输出）和小型标签摘要。

第二层：边缘级知识蒸馏集成

设备被分组为边缘集群（ $E=5$ ）。每个边缘端训练一个 LightGBM 集成模型，该模型学习针对特定类别信任特定的设备。

自适应知识蒸馏（KD）： 边缘端利用由其成员设备的 META 输出构建的自包含 $k$ 折 OOF 教师来生成软标签。
门控机制： 为了防止不可靠的教师破坏学生模型，四个乘法门控用于调节 KD 信号：
1. 熵门（Entropy Gate）： 如果教师过于自信（接近 one-hot），则抑制 KD。
2. 支持门（Support Gate）： 对于边缘端本地标签中缺失的类别，禁用 KD。
3. 召回门（Recall Gate）： 根据教师的逐类召回率来缩放 KD。
4. 类别频率门（Class-Frequency Gate）： 防止多数类偏差稀释少数类学习。
聚合： 在评估时，边缘端使用静态专家权重（基于训练样本计数）和动态置信度权重来聚合设备输出。

第三层：全局贝叶斯融合

全局层使用**贝叶斯专家乘积（PoE）**框架融合来自五个边缘端的预测。

专家知识掩码（Expertise Masking）： 逐类专家知识掩码（ $m_{e,k}$ ）会屏蔽那些对特定类别缺乏训练支持的边缘端，防止由于缺乏信息而产生的专家投出“自信的近零”票，从而压制稀有类别。
稀有类救援（专家小组）： 如果贝叶斯融合未能为稀有类分配多数概率（或该类别在全球范围内属于稀有类别），则由排名前 5 的设备（按本地专家能力排名）组成的“专家小组”进行投票以救援信号。
安全门控校准： 一个三阶段校准流水线优化最终概率：
1. 温度缩放（Temperature Scaling）。
2. 元学习器混合（堆叠边缘端输出）。
3. 逐类对数优势偏差拟合（per-class log-odds bias fitting）。
  至关重要的是，每个阶段都由 Macro-F1 进行“安全门控”：如果某一步骤没有提高 Macro-F1，系统将回退到上游数值。

3. 核心贡献

面向树形学习器的预测级联邦： TITAN 在无需共享公共数据集的情况下实现了 LightGBM 的联邦学习。它通过在本地使用 OOF 教师生成软目标，取代了参数平均，转而使用预测空间交换，从而遵循了数据最小化规则。
逐类专家门控： 该架构在贝叶斯融合层引入了每（边缘，类别）专家知识掩码。这使得系统能够屏蔽在特定类别上缺乏训练支持的专家，这一机制对于存在整个类别缺失的划分场景至关重要。
安全门控多阶段校准： 不同于以往仅孤立优化校准指标（如 ECE）的工作，TITAN 将校准集成到联邦流水线中，并使用 Macro-F1 驱动安全门控。这确保了校准调整不会降低对少数类检测的能力。
严谨的评估协议： 本文在 16 种配置（4 个数据集 $\times$ 2 种非 IID 严重程度 $\times$ 2 种分组策略）下建立了可复现的协议，并通过严格的行级去重来防止准确率虚高。

4. 实验结果

在四个 IoT 基准测试（CIC IoT-DIAD 2024, CIC IoT 2023, NF-BoT-IoT-V3, NF-ToN-IoT-V3）下，在严格的非 IID 条件（ $\alpha=0.1$ ）下进行了评估：

性能对比基准： 在所有配置中，TITAN 的 Macro-F1 平均比 FedAvg 高出 6.2 个百分点。
非 IID 严重程度： 随着数据异质性的增加，性能差距进一步扩大。在异质性最强的划分中，TITAN 比 FedAvg 高出 23.3 个百分点。
Oracle 对比： 在 16 个配置中的 14 个中，TITAN 超过了“最佳设备 Oracle”（即表现最好的单个本地模型），并在 11 个配置中超越了中心化上限。
增益来源： 文中指出，增益主要由校准能力的提升而非原始判别能力的增强驱动，这凸显了校准流水线在处理类别不平衡中的重要性。
替代方案的失败： 研究观察到 FedProx 在树形学习器上无法比 FedAvg 提供更好的改进，且单一指标评估（准确率）掩盖了严重的少数类失效问题（即“准确率悖论”）。

5. 重要性与主张

本文声称 TITAN 为 IIoT 中数据驻留、极端不平衡和非 IID 分布阻碍了标准参数平均联邦学习的使用提供了一条可行路径。

架构创新性： 它是第一个在单一框架内结合了树形学习器、无共享数据集、逐类专家门控以及 Macro-F1 门控校准的联邦入侵检测系统。
业务相关性： 通过专注于 Macro-F1 和校准，TITAN 解决了“基本率谬误”问题，即高准确率掩盖了对稀有关键攻击检测失败的事实。
可扩展性： 该架构支持从每个设备 28 个到超过 200 万个样本不等的异构划分，展示了在不同数据规模下的鲁棒性。

作者将 TITAN 定位为不仅是性能上的提升，更是联邦学习向表格型、高风险工业安全领域演进的必然趋势，因为在这些领域，传统的以神经网络为中心的方法在计算上效率低下或在统计学上是不合理的。