🤖 machine learning

Safe-Subspace Pseudo-Label Refinement for Source-Free Graph Domain Adaptation

本文提出了一种安全子空间伪标签精炼（S $^2$ PLR）方法，这是一种无源图领域自适应框架，通过识别一个置信度一致的安全子空间来增强模型的鲁棒性，从而仅对同时具备语义和结构证据支持的样本应用硬伪标签监督，并利用噪声容忍的软正则化来处理不确定样本。

原作者： Yingxu Wang, Xinwang Liu, Siyang Gao, Nan Yin

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yingxu Wang, Xinwang Liu, Siyang Gao, Nan Yin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位大师级厨师，在自己的厨房里花费多年时间完善了一道特定汤品的食谱（源域）。你完全清楚这些食材应该是什么样子、闻起来什么味道、尝起来如何。现在，你受雇到另一个城市为一群新的人做饭（目标域）。你带着同样的食谱手册，但你无法回到旧厨房去查看笔记，而且新厨房的灯光不同，水质不同，蔬菜看起来也略有不同。

挑战在于：在无法亲自品尝食材，也无法回到旧厨房的情况下，你该如何教导你的新厨房员工做这道汤？

这就是**无源图领域自适应（Source-Free Graph Domain Adaptation）**的问题。在 AI 世界中，“图”（Graphs）是相互连接的事物网络（例如社交网络或分子结构）。这篇论文介绍了一种名为 S2PLR（安全子空间伪标签细化，Safe-Subspace Pseudo-Label Refinement）的新方法来解决这个问题。

以下是论文如何通过简单的类比来解释问题及其解决方案的：

问题所在：“自信地犯错”

在过去，AI 尝试通过猜测新数据的标签（比如猜测哪种蔬菜是胡萝卜）并根据这些猜测进行自我教学来解决问题。这被称为自我训练（Self-Training）。

论文指出，这样做是非常危险的。因为新厨房的环境不同，AI 可能会以 100% 的信心断定一个土豆就是一根胡萝卜。如果 AI 信任这个错误的猜测并以此进行自我教学，就会产生“多米诺骨效应”。在图中（即网络中），信息会在邻居之间流动。如果 AI 错误地标记了一个节点，这个错误就会传播到它的邻居，从而腐蚀整个网络。这就像是一个谣言的传播：一个自信的骗子开始造谣，很快整个小镇都会相信这个谎言。

解决方案：“安全区”策略

与其信任 AI 做出的每一个猜测，S2PLR 提出：“我们只信任那些通过了严格安全检查的猜测。”

作者提议创建一个**“安全子空间”（Safe Subspace）**——一个我们确信 AI 的猜测是正确的微型安全区域。他们通过扮演一名拥有两种不同工具的侦探来实现这一点：

1. “专家评审团”（语义置信度）

想象一下，你不仅仅拥有一位厨师，你还有一个由三位在你的旧厨房接受过训练的专家组成的评审团。当他们观察一种新蔬菜时：

如果三位专家都一致认为它是胡萝卜，并且他们都非常有信心，那么这是一个好迹象。
如果一位专家说是“胡萝卜”，但其他专家并不确定，或者他们之间存在分歧，AI 就会将其标记为“可疑”。
目标： 只保留那些专家达成共识且充满信心的猜测。

2. “邻里观察”（结构一致性）

在图中，事物是相互连接的。胡萝卜通常生长在其他胡萝卜附近，而不是长在石头旁边。

AI 会观察新网络中该蔬菜的“邻居”。
如果这种蔬菜被周围看起来也像胡萝卜的东西所环绕，AI 就会觉得更安全。
如果这种蔬菜是孤立的，或者被周围看起来像石头的东西所环绕，AI 就会说：“等等，这不符合模式，”即使专家们当时很有信心。
目标： 确保猜测在其局部邻里范围内是合理的。

处理流程：S2PLR 如何运作

论文描述了一个过滤数据的四步流程：

委员会检查： AI 使用一个“专家”团队（源模型）对数据进行投票。它会剔除任何专家意见不一或缺乏信心的猜测。
地图检查： AI 学习目标数据的新地图，以观察事物是如何连接的。它会检查这些“胡萝卜”是否确实聚集在一起。
安全子空间选择： 只有同时通过了“专家检查”和“地图检查”的数据点才会被放入**“安全子空间”**。这些才是 AI 用来通过“硬标签”（确定答案）进行自我教学的唯一数据。
对剩余数据的“柔性处理”： 那些没有通过测试的数据怎么办？论文指出不要丢弃它们！与其强加一个错误的标签，不如使用“软正则化”。这就像是轻轻地引导 AI 保持数据的有序，而不是强迫它做出特定的、可能错误的决定。这就像是在说：“把这些物品放在‘也许’分类箱里，不要让它们弄乱‘胡萝卜’分类箱。”

为什么这很重要

论文在各种数据集（如转化为图的图像和真实的化学分子）上进行了测试。他们发现：

旧的方法往往会“自信地犯错”，并在数据发生变化时失败。
S2PLR 则要稳健得多。通过对信任哪些数据保持挑剔，它避免了“谣言传播”效应，即一个错误毁掉全局的情况。
它取得了比以往方法更好的结果，证明了信任的质量比猜测的数量更重要。

核心结论

该论文声称，在一个我们无法回到原始数据的世界里，我们不应该盲目信任 AI 的猜测。相反，我们应该创建一个**“安全子空间”，在这里，我们只信任那些既得到专家共识又得到邻里一致性**支持的猜测。对于其余的数据，我们应该保持温和，不要强行做出决定。这可以防止 AI 学到错误的教训，并在新环境中失败。

技术摘要：面向无源图领域自适应的安全子空间伪标签精炼

问题定义
无源图领域自适应（Source-Free Graph Domain Adaptation, SF-GDA）旨在解决这样一个挑战：在由于隐私或存储限制无法获取源数据的情况下，如何将训练于有标签源域的图神经网络迁移至无标签目标域。该场景下的一个核心障碍是源假设生成的伪标签的可靠性问题。在涉及节点属性和图拓扑结构双重领域偏移的情况下，源诱导的预测可能会变得“自信地错误”。对这类伪标签进行不加区分的自训练，会通过图消息传递机制放大系统性误差，导致模型进入发散而非自适应的无界噪声状态。现有方法往往缺乏对于哪些目标样本可以用于硬监督的理论依据，而是依赖于全局置信度过滤或拓扑对齐，而未能明确表征可靠性区域。

方法论：S2PLR
作者提出了安全子空间伪标签精炼（Safe-Subspace Pseudo-Label Refinement, S2PLR），这是一个基于选择性风险视角的框架。S2PLR 并非假设伪标签噪声是全局有界的，而是识别出一个“置信度一致的安全子空间”，在该空间内噪声是可控的，并仅对该子集应用硬监督。该框架由四个集成模块组成：

多专家不确定性量化： 为了估计语义可靠性，S2PLR 利用由 $K_e$ 个预训练源假设（专家）组成的委员会。它计算集成共识预测和预测方差。只有当样本表现出高共识（低方差）和高置信度时，才会被筛选进“语义候选集”，从而减轻单个不稳定模型带来的过度自信错误风险。
目标内在结构学习： 为了应对结构偏移，S2PLR 通过一个专门的分支在无标签目标数据上进行图对比学习，来学习目标特有的结构流形。这创建了一个度量空间，使得局部邻域具有意义且紧凑，且独立于源特定的拓扑偏差。
双视图嵌套伪标签精炼： 该模块将语义候选集与结构证据相交。它在目标内在嵌入空间中构建一个 $k$ -最近邻图，并计算局部置信度一致性得分。只有同时通过语义置信度/方差检查和结构邻域一致性检查的样本，才会进入“安全子空间”（ $H_{\zeta,\rho}$ ）。
噪声容忍正则化： 对于剩余的“不确定集”（ $U$ ），该集合包含有价值的分布信息但缺乏验证标签，S2PLR 避免使用硬伪标签。相反，它应用软正则化（熵最小化以及针对源集成的 KL 散度）来控制残余风险，而不传播错误的硬标签。

理论分析
本文对 SF-GDA 中的伪标签噪声进行了理论回顾。

无界噪声： 作者承认现有理论表明，在全局领域偏移下，源分类器在目标域的非空区域可能会出现系统性且自信的错误，使得全域自训练变得不安全。
安全子空间保证： 作者推导了伪标签噪声受限的条件。他们定义了一个安全子空间 $H_{\tau,\rho}$ ，其中的样本满足高源置信度（ $\tau$ ）和局部邻域一致性（ $\rho$ ）。在“受限后验差异”假设和目标流形平滑性的条件下，他们证明了该子空间内的伪标签噪声是有界且可学习的。
风险分解： 目标风险被分解为三个部分：安全子空间上的拟合误差、安全子空间的固有噪声，以及不确定集上的风险。这种分解从理论上证明了仅在安全子空间使用硬标签并在其他地方使用软正则化策略的合理性。

实验结果
S2PLR 在图像衍生的图基准数据集（MNIST, CIFAR-10）以及现实世界图数据集（Mutagenicity, DD, PROTEINS, COX2, BZR, ogbg-molhiv）上，在节点密度、边密度和特征领域偏移的条件下进行了评估。

性能： S2PLR 在多种迁移设置下达到了最先进（SOTA）或极具竞争力的性能，优于仅源基线、通用无源领域自适应方法以及现有的特定于图的 SF-GDA 方法。
诊断： 事后分析揭示了持续存在的精度-覆盖率权衡（precision-coverage trade-off）。最终的安全子空间比初始的语义候选集具有显著更高的伪标签精度，证实了结构验证有效地过滤掉了不可靠的样本。
消融实验： 去除四个模块中的任何一个（多专家量化、置信度过滤、目标结构学习或软正则化）都会导致性能下降，验证了集成方法的必要性。
可视化： t-SNE 可视化显示，与经常出现类别混合的基线方法相比，S2PLR 生成的目标表示更加紧凑且分离度更高。

意义与主张
本文声称 S2PLR 超越了纯粹的经验性伪标签精炼或拓扑对齐，它将选择性有界噪声分析与结构感知图自适应联系了起来。

理论依据： 它首次为 SF-GDA 中的“安全子空间”提供了理论表征，在该空间内伪标签噪声是可证明有界的，并区分了群体层面的噪声界限与仅针对目标的结构证书。
可靠性胜于数量： 该框架优先考虑伪标签的可靠性而非数量，通过选择一个规模较小但高度可信的子集进行硬监督，同时通过噪声容忍正则化利用不确定样本。
鲁棒性： 结果表明，性能提升源于基于可靠性的安全子空间选择机制，而非仅仅增加源假设的数量或模型容量。

作者指出一个局限性：在剧烈的结构偏移下，安全子空间的筛选可能会变得过于保守或表现出类别偏差，这为未来研究关于自适应覆盖控制和类别感知可靠性估计的方向提供了启发。