🤖 machine learning

SLeDGe: Semi-Supervised Learning on Data Streams with Graph Structure Learning

该论文提出了 SLeDGe，一种针对数据流的半监督学习方法，该方法在严格的内存和标签约束下，共同学习预测模型和自适应图结构，有效地捕捉演化的样本关系，并在 12 个数据集上超越了最先进的竞争对手。

原作者： Heechan Moon, Kijung Shin

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Heechan Moon, Kijung Shin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在经营一家繁忙的新闻编辑部，信息（数据）正源源不断地涌入，就像从消防水龙头里喷射出的突发新闻一样。你的工作是将这些新闻进行分类（例如“体育”、“政治”或“娱乐”）。然而，你面临着两个主要问题：

你几乎没有时间且空间有限： 你无法保存每一个曾经进来的文章；你的文件柜非常小。
你的专家极少： 只有极小比例的文章附带了说明它们属于哪个类别的标签。大多数文章都只是空白的纸张。

这就是**基于数据流的半监督学习（Semi-Supervised Learning on Data Streams）**所面临的挑战。该论文介绍了一种名为 SLeDGe 的新方法来解决这个问题。

以下是通过简单的类比对 SLeDGe 工作原理的解释：

1. 两个特殊的档案柜（记忆）

大多数旧方法试图保留一个静态的“相似项”列表，或者将每个新到的文章视为陌生人。SLeDGe 则更加聪明。它在内存中维护着两个特殊的、小型的档案柜：

“专家”档案柜（有标签记忆）： 它保存着一些带有标签的文章。SLeDGe 将它们视为“专家原型”。如果一篇新文章看起来与现有的专家非常相似，它会快速更新该专家的文件以反映新信息。这就像一位老师根据一个新的清晰示例来更新其教案。
“学生”档案柜（无标签记忆）： 它保存着没有标签的文章。SLeDGe 在这里表现得更为谨慎。它会缓慢地更新这些文件，将新信息与已有的信息进行融合。这就像一个正在做笔记的学生；他们不会仅仅因为听到一个新事实就擦掉整个笔记本，而是逐渐增加对知识的理解。

为什么这很重要： 这种平衡使得系统能够在不遗忘旧有的、可靠的模式的情况下，快速学习新事物（即保持“塑性”与“稳定性”之间的平衡）。

2. 动态地图（图结构学习）

传统方法使用固定的地图来连接相似项。想象一张地图，其中“苹果”总是与“橙子”相连，因为它们都是水果，即使语境发生了变化也是如此。这种方式是僵化的，且往往是错误的。

SLeDGe 绘制的是一张鲜活、呼吸着的地图。

随着新数据的到来，SLeDGe 会不断重新绘制连接档案柜中各篇文章的线条。
它会询问：“现在谁和谁真正相关？”
它只保留最强、最重要的连接，并切断那些微弱、嘈杂的连接（就像拆除一座摇晃的桥梁）。

这被称为图结构学习（Graph Structure Learning）。它不是在靠猜测来建立关系，而是在数据流动的过程中去“学习”这些关系。

3. 标签接力赛（传播）

一旦地图绘制完成，SLeDGe 就会利用这张地图来传递“标签”接力棒。

假设你有一篇文章被标记为“体育”。
因为 SLeDGe 的实时地图显示这篇文章与附近的一篇无标签文章有着强烈的联系，它便能自信地推测那篇无标签的文章也是“体育”。
然后，它利用这个推测结果，去帮助标记其他与之相连的文章。
这产生了一种连锁反应，使系统能够仅利用极少数的有标签文章，就能从成千上万的无标签文章中学习知识。

4. 轻量化版本（SLeDGe-L）

主方法 SLeDGe 功能强大，但如果档案柜变得太满（因为为每个人绘制地图需要耗费时间），它可能会变得过于沉重。

作者创建了一个 SLeDGe-L（轻量版）。
你可以把它想象成一种“速通模式”。它不再检查每个人之间的连接，而只检查“专家”（有标签项）与其余部分之间的连接。
这使得它更快、更具扩展性，就像一名快递员只会在主要枢纽之间往返，而不是走访每一户人家，但依然能高效完成任务。

结果：为什么它能胜出

作者在 12 个不同的数据集（涵盖网页、图像和传感器数据等）上测试了 SLeDGe。

得分情况： 当他们仅拥有 0.1% 的数据带有标签时（基本上是每 1,000 个项目仅有一个标签），SLeDGe 的准确率比现有最佳方法高出了 31.7%。
当拥有稍多一点的标签（1%）时： 它仍然比竞争对手高出 14.8%。

总结

SLeDGe 就像一位高效的新闻编辑部经理，他：

保留一份精选的“专家”和“学生”名单。
根据时事不断重新绘制谁与谁相关的地图。
利用这张地图，将知识从少数有标签的专家传播给众多的无标签学生。
即使在新闻永不停歇的情况下，也能在不耗尽内存或时间的情况下完成这一切。

该论文声称，在处理具有极少标签的连续数据流的混乱情况时，这种方法比以往的方法显著更好。

技术摘要：SLeDGe —— 基于图结构学习的半监督数据流学习

1. 问题定义

本文解决了数据流上的半监督学习 (Semi-Supervised Learning, SSL) 这一挑战。在这种设定下，数据以高容量的形式顺序到达（ $D = \{x_t\}_{t=1}^T$ ），且学习器必须在两个严格的约束条件下运行：

内存约束： 系统具有固定的、有限的内存容量（ $M$ ），无法存储整个数据流的历史记录。
标签稀缺： 只有极小比例的输入样本拥有观测到的标签（ $y_t$ ），这使得传统的监督学习无法可行。

现有的流式 SSL 方法往往表现不佳，因为它们要么将样本视为独立的，要么依赖于固定的相似性启发式方法（无法捕捉演化的关系），或者假设存在静态的离线数据集。核心问题在于如何有效地将有限的标签监督传播到无标签样本，同时适应数据分布和关系随时间发生的持续演化。

2. 方法论：SLeDGe

作者提出了 SLeDGe（基于图结构学习的半监督数据流学习），这是一个联合学习预测模型和自适应图结构的框架。该方法针对每一个进入的样本 $x_t$ ，在三个连续阶段进行操作：

A. 双重内存更新机制

为了平衡快速适应（塑性/Plasticity）与保持历史一致性（稳定性/Stability）的需求，SLeDGe 维护了两个不同的紧凑内存缓冲区：

有标签内存 ( $M_L$ )： 针对塑性进行了优化。它存储每个类别的原型（Prototypes）。当新的有标签样本到达时，它要么填充空槽位，要么通过加权组合更新最相似的现有原型。更新权重 $\alpha$ 是动态的，倾向于新的输入，以促进新特征的快速整合。
无标签内存 ( $M_U$ )： 针对稳定性进行了优化。它存储具有代表性的无标签原型。此处的更新使用倾向于现有原型的权重 $\beta$ ，反映了无标签数据的确定性较低，并确保信息的逐渐积累。

B. 动态图结构学习 (GSL)

SLeDGe 并非使用固定图或静态相似性度量，而是在每个时间步针对合并后的内存 ( $M_L \cup M_U$ ) 和当前样本 $x_t$ 动态构建图。

嵌入 ( $f_E$ )： 多层感知机 (MLP) 将输入特征映射到潜在空间。
评分 ( $f_S$ )： 评分函数（余弦相似度）计算内存中所有节点与当前样本之间的成对关系权重，生成一个稠密邻接矩阵。
剪枝 ( $f_P$ )： 为了确保效率，该稠密矩阵被剪枝以仅保留每个节点的前 $k$ 个连接，从而生成一个稀疏邻接矩阵 $A_t$ 。
分类 ( $f_B$ )： 图卷积网络 (GCN) 式的骨干网络通过学习到的图结构 $A_t$ 传播监督信息，以生成预测。

C. 模型优化

模型使用复合损失函数进行更新：

监督损失 ( $L_L$ )： 在有标签内存上计算交叉熵损失，并根据时间衰减因子进行加权，以优先考虑近期的样本。
结构正则化 ( $L_{reg}$ )： 一个鼓励输入空间中的成对相似性与潜在空间中的相似性保持一致的项。这稳定了动态图推理，防止图结构变得不稳定。

D. 轻量化变体：SLeDGe-L

为了解决当内存大小 $M$ 较大时，构建完整图带来的二次方时间复杂度 ( $O(M^2)$ ) 问题，作者提出了 SLeDGe-L。该变体将图评分限制在以类别为中心的方法上，仅计算有标签原型与所有内存样本之间的相似性。这将其复杂度降低到了关于 $M$ 的线性复杂度 ( $O(c \cdot M)$ )，其中 $c$ 是类别数量。

3. 核心贡献

自适应图结构： 与以往依赖固定图的流式 SSL 方法不同，SLeDGe 学习一种动态图拓扑，该拓扑随数据流演化，能够捕捉随时间变化的样本间依赖关系。
双策略内存管理： 引入针对有标签（侧重塑性）和无标签（侧于稳定性）内存的不同更新策略，使模型能够在适应新特征与保留历史知识之间取得平衡。
约束下的高效性： 该框架旨在严格的内存预算和极端的标签稀缺（低至 0.1% 标签）下运行，同时通过稀疏图剪枝和轻量化变体 (SLeDGe-L) 保持计算效率。
结构正则化： 引入一致性正则化项，确保学习到的图结构在流式处理过程中保持稳定且具有意义。

4. 实验结果

作者在涵盖 Web、图像和表格领域的 12 个数据集上对 SLeDGe 进行了评估。

性能： SLeDGe 在所有数据集上均优于最先进的竞争对手（TLP, ReSSL, HDSSL）。
- 在 0.1% 标签的情况下，其平均相对准确率提升了 31.7%（对比最强基准）。
- 在 1.0% 标签的情况下，其平均相对准确率提升了 14.8%。
消融实验： 实验证实，内存模块和动态图结构都是至关重要的。移除动态图（回归为静态 k-NN 图）会导致性能显著下降，验证了学习演化关系的必要性。
可扩展性： 该方法展示了相对于数据流大小的线性缩放能力（每个样本的常数时间）。SLeDGe-L 相比于完整版本在内存缓冲区大小方面表现出更优的扩展性，证实了其理论复杂度分析。
速度： 尽管是一个深度学习模型，但 SLeDGe 在运行时间上与基于聚类的方法具有竞争力，特别是在利用嵌入层计算的高维数据上。

5. 重要性与主张

本文声称 SLeDGe 通过在内存和标签受到严重限制的流式环境下实现图结构学习 (GSL)，填补了文献中的关键空白。作者认为，现有方法之所以失败，是因为它们无法建模样本间的关系是如何随时间演化的。通过联合学习预测模型和图结构，SLeDGe 有效地将有限的监督信息传播到无标签数据，在不需要存储整个数据历史的情况下实现了显著的准确率提升。该工作强调，在非平稳数据流环境中，动态图推理优于静态相似性度量。