🤖 machine learning

Graph is a Natural Regularization: Revisiting Vector Quantization for Graph Representation Learning

本文指出，由于数据属性和确定性训练动态，码本崩溃是图向量量化中的一个关键瓶颈，并提出了 RGVQ，一种利用图拓扑结构和软分配作为显式正则化，以增强码本利用率并提升下游性能的新型框架。

原作者： Zian Zhai, Fan Li, Xingyu Tan, Xiaoyang Wang, Wenjie Zhang

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Zian Zhai, Fan Li, Xingyu Tan, Xiaoyang Wang, Wenjie Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：将图转化为“词汇表”

想象你拥有一个庞大且复杂的社交网络（即“图”），其中包含数百万的人及其连接关系。你想教计算机理解这个网络，但数据太乱、规模太大，无法直接处理。

为了解决这个问题，研究人员使用了一种叫做向量量化 (Vector Quantization, VQ) 的技术。你可以把 VQ 想象成一本字典或一套词汇表。

与其用无限的细节去描述每个人的独特个性，计算机试图将他们归类为一组固定的“原型”或“标记”（例如：“领导者”、“局外人”、“连接者”）。
计算机学习一个码本 (Codebook)：一份由这些原型组成的列表。
当它看到网络中的某个人时，它会将此人分配给列表中最接近的那个原型。

其目标是将复杂的图压缩成这些“标记”组成的简单序列，从而可以由强大的 AI 模型（如用于编写文本或生成图像的模型）进行处理。

问题所在：“懒惰的图书管理员”（码本崩溃）

该论文指出这种方法在处理“图”时存在一个重大缺陷。这被称为码本崩溃 (Codebook Collapse)。

类比：
想象一个拥有 1,000 本不同书籍的图书馆（码本）。你雇佣了一名图书管理员（AI）来将新到的书分类到这 1,000 个槽位中。

理想情况： 图书管理员会使用所有的 1,000 个槽位，将书籍均匀地分布开来。
实际发生的情况（崩溃）： 管理员变懒了。他们意识到 99% 的书都非常相似，所以干脆把几乎所有的书都塞进同一个槽位（或者仅仅两个槽位）里。剩下的 998 个槽位则空置并落满了灰尘。

用论文中的术语来说，AI 停止了使用它本应学习的丰富词汇。它不再使用 1,000 个不同的“标记”来描述图，而是只使用极少数的标记。这使得 AI 对图的理解变得非常“粗糙”且愚钝，导致在任务中的表现很差。

作者发现，即使尝试了对图像或文本有效的技巧，这种现象在图中也持续发生。

为什么会这样？（诊断）

作者调查了为什么图特别容易出现这种“懒惰的图书管理员”问题。他们发现了两个主要原因：

图的本质（数据视角）：
- 冗余性： 在许多图中，节点（人）看起来与他们的邻居非常相似。如果一个团伙里的每个人看起来都一样，AI 就会想：“为什么要费劲选一个新的标记？我直接用同一个标记给所有人就行了。”
- 连通性： 由于节点之间紧密连接，AI 会感到困惑，并默认选择“安全”的选项，即为所有人使用相同的标记。
训练过程（优化视角）：
- “强者愈强”的循环： AI 使用一种“硬分配”规则。如果一个标记被选中了一次，它就会得到更新，并变得更容易再次被选中。如果一个标记从未被选中，它就永远不会得到更新，从而一直处于“停滞”状态。
- 结果： 早期被选中的标记变得超级受欢迎（“富者”），而其他的则逐渐消亡（“贫者”）。系统形成了自我强化，将 AI 锁定在仅使用少量标记的状态中。

解决方案：RGVQ（“公平的图书管理员”）

为了解决这个问题，作者提出了一个名为 RGVQ（正则化图向量量化）的新框架。他们引入了两种变化，以强制 AI 使用整个字典。

1. 软分配（打破锁定）

旧方法： AI 必须为每个节点选择一个特定的标记（就像一个硬性的“是/否”投票）。
新方法 (Gumbel-Softmax)： AI 被允许说：“这个节点有 60% 是‘领导者’，40% 是‘连接者’。”
为什么有效： 即使某个标记不是最受欢迎的，它仍然能获得微小的关注和更新。这防止了“死掉”的标记永远保持死亡状态。它打破了“强者愈强”的循环。

2. 结构感知正则化（“公平规则”）

核心思想： 作者意识到，仅仅让 AI 变得“软化”是不够的。他们需要根据图的结构来告诉 AI 如何实现公平。
规则：
- 如果两个节点是相似的（他们是朋友或具有相似的特征），他们被允许共享相似的标记。
- 如果两个节点是不同的（陌生人且特征不同），如果 AI 给他们分配相同的标记，AI 将受到惩罚。
类比： 想象一位老师告诉图书管理员：“如果两个学生在同一个社团里，你可以把他们放在同一个箱子里。但如果他们是完全不同的陌生人，且爱好迥异，你必须把他们放在不同的箱子里。”
这迫使 AI 通过尊重图中的差异来分散标记的使用，确保整个字典都被充分利用。

实验结果

作者在许多不同的图数据集上测试了 RGVQ。

之前： “图书管理员”在 512 个可用标记中仅使用 1 或 2 个。
之后 (RGVQ)： “图书管理员”开始有效地使用数百个标记。
结果： 因为 AI 现在可以使用更丰富、更多样化的词汇，它在下游任务（如节点分类或链路预测）中的表现有了显著提升。

总结

该论文认为，由于图倾向于坍缩为使用过少的词汇，因此对于“基于字典”的 AI 来说，图天然具有挑战性。作者通过教 AI 变得更加灵活（软分配）以及主动尊重节点间的差异（结构感知规则）解决了这个问题，从而实现了一种更聪明、更具表达力的图数据表示方式。

技术摘要：图是天然的正则化项：重新审视图表示学习中的向量量化

1. 问题陈述

向量量化（Vector Quantization, VQ）已成为在视觉和语言领域学习压缩、离散表示的一种强大技术，为通过对图结构进行标记化（tokenization）来构建可扩展的图基础模型（Graph Foundation Models, GFMs）提供了路径。然而，本文指出了一个针对图领域特有的、且尚未得到充分研究的基本挑战：码本崩溃（codebook collapse）。

码本崩溃是指大多数输入数据点被映射到可学习码本中的极少数码字（codewords），导致绝大部分码本未被充分利用。作者观察到，这种现象在图 VQ 中是系统性的，即使应用了针对视觉和语言领域开发的先进（SOTA）缓解策略（如指数移动平均 EMA、码本重置、预训练编码器）也无法解决。这种崩溃严重限制了图标记（graph tokens）的表达能力和泛化能力，导致表示变得粗糙，并降低了下游任务的性能。

本文从两个角度诊断了这种崩溃的根本原因：

数据视角： 图数据具有内在属性，如特征冗余和高连接密度。研究发现，特征冗余（通过 PCA@95% 衡量）与崩溃的严重程度呈正相关，而连接密度（平均节点度）与码本利用率呈负相关。密集的连接和冗余的特征会加剧节点映射到相同标记的倾向。
优化视角： 确定性 VQ 依赖于硬分配（最近邻选择）。这创造了一个自我强化的反馈循环：频繁被选中的码字会接收到更多的梯度更新，从而变得日益占据主导地位；而很少被选中的码字则接收不到更新，保持处于非活跃状态。这种“茧房效应”（cocoon effect）将编码器锁定在一组狭窄的标记中，阻碍了对全量码本容量的探索。

2. 方法论：RGVQ

为了解决这些问题，作者提出了 RGVQ（正则化图向量量化），这是一个将图拓扑结构和特征相似性作为显式正则化信号相结合的框架。该方法由两个核心组件组成：

A. Gumbel-Softmax 重参数化

为了打破确定性硬分配的自我强化循环，RGVQ 使用 Gumbel-Softmax 重参数化取代了不可微的 argmax 操作。

模型不再仅仅选择单个最近的码字，而是根据节点嵌入与所有码字之间的距离计算分配逻辑值（logits）。
这些逻辑值通过加入 Gumbel 噪声并经过受温度控制的 softmax 处理，生成一个关于码本的可微概率分布。
量化后的嵌入是基于这些概率对所有码字进行加权平均得到的。
效果： 这确保了梯度能够根据分配概率流向所有码字，而不仅仅是选中的那一个，从而允许不活跃的码字接收更新并被重新激活。

B. 结构感知对比正则化

为了减轻图数据冗余和密集连接的影响，RGVQ 引入了一种正则化项，显式地惩罚在不相似节点之间过度集中的标记使用情况。

正样本集 ( $N_P$ )： 对于给定的锚点节点，正样本集包括在结构上相连（邻居）或在语义上相似（前 $K$ 个特征相似节点）的节点。
负样本集 ( $N_N$ )： 包括既不相连也不在特征上相似的节点。
损失函数： 模型采用 InfoNCE 损失，鼓励正样本集中的节点共享相似的标记分配分布，同时惩罚负样本集中的节点拥有重叠的分布。
效果： 这种正则化作用于防止模型将结构或语义截然不同的节点映射到同一个标记，从而促进了标记的多样性，并防止了由特征冗余引起的崩溃。

总损失函数结合了标准的重构损失（特征重构和链路重构）、码本损失、承诺损失（commitment loss）以及新增的结构感知正则化损失。

3. 核心贡献

本文做出了以下贡献：

系统性的实证研究： 提供了对图 VQ 中码本崩溃现象的首次系统性基准测试，证明了来自其他领域的标准缓解策略无法解决图数据中的问题。
崩溃诊断： 明确了图中的码本崩溃是由内在数据属性（冗余性和连接性）和确定性硬分配的优化动力学驱动的。
RGVQ 框架： 提出了一个结合了 Gumbel-Softmax 重参数化和结构感知对比正则化的新型可微框架，以增强码本利用率。
全面的评估： 在多种 SOTA 图 VQ 主干网络和下游任务上验证了 RGVQ，展示了在码本利用率和任务性能上的持续提升。

4. 实验结果

作者在多种同质和异质图数据集（如 Cora, PubMed, WikiCS, Amazon-Ratings, Roman-Empire）上进行了广泛的实验。

码本利用率： RGVQ 在**码本困惑度（perplexity）**方面显著优于 vanilla Graph VQ 及其变体（包括 EMA、仿射参数、码本重置和预训练编码器）。例如，在 PubMed 数据集上，vanilla VQ 的困惑度约为 4.14（表明存在严重崩溃），而 RGVQ 达到了约 319.09，接近理论最大值。即使随着码本规模的增大，RGVQ 仍能保持高利用率。
迁移能力： 当集成到图基础模型（GFT）中时，RGVQ 在跨任务和跨领域基准测试（节点分类、链路预测、图分类）中实现了最先进的性能，超越了监督式 GNN 和其他自监督方法。
序列化： 在图量化 Transformer（GQT）的语境下，采用 RGVQ 增强的模型在节点分类准确度上始终优于使用其他抗崩溃方法的 GQT。
消融实验：
- 移除 Gumbel-Softmax 重参数化或结构感知正则化中的任一组件，都会导致性能显著下降，证实了这两个组件对于防止崩溃是相互依赖的。
- 该方法对温度 ( $\tau$ ) 和对比样本数量的变化具有鲁棒性，低固定温度已足够有效。
- RGVQ 在不同程度的图异质性下均表现出鲁棒性。

5. 重要性与主张

本文声称，码本崩溃不仅是一个偶然问题，更是离散图标记学习中的一个基本瓶颈。通过将图结构本身视为一种天然的正则化项，RGVQ 提供了一种灵活的“插件式”解决方案，增强了图标记的表达能力和迁移能力。

作者强调，其工作并非提出了一种新的生成模型架构，而是对量化过程的一种方法论改进，旨在实现更有效的图表示学习。其重要性在于，通过确保学习到的标记词汇表被充分利用，从而能够构建更强大的图基础模型，进而捕捉对下游任务至关重要的细粒度结构和语义模式。文章总结道，RGVQ 提供了一个灵活的框架，能够保持标记多样性并有效地扩展到更大的码本规模，解决了当前图表示学习中的一个关键局限。