🤖 machine learning

FlatLand: Personalized Graph Federated Learning via Tailored Lorentz Space

FlatLand 是一种新颖的个性化图联邦学习方法，它利用双曲几何中定制的洛伦兹空间，通过参数解耦策略有效地建模客户端异构性和图结构，在无需显式估计客户端相似性的情况下实现了卓越的性能。

原作者： Jiahong Liu, Ram Samarth B B, Xinyu Fu, Menglin Yang, Weixi Zhang, Rex Ying, Irwin King

发布于 2026-08-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiahong Liu, Ram Samarth B B, Xinyu Fu, Menglin Yang, Weixi Zhang, Rex Ying, Irwin King

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在数字时代，机器学习通常需要海量的数据才能发挥良好性能。然而，许多数据都锁在私有的孤岛中，由医院、银行或个人设备持有，分享这些数据会违反隐私法或信任原则。为了解决这个问题，科学家们开发了一种名为联邦学习的方法。这种方法不是将所有数据汇集一处，而是将一个共享的计算机模型发送到许多不同的地点。每个地点在其私有数据上训练该模型，并只传回学到的改进之处，而非数据本身。这使得一种全球性的智能得以涌现，而从未暴露原始信息。然而，当不同地点的差异性极大时，一个显著的问题就出现了。在图（graphs）的世界里——即像社交媒体好友或化学分子这样相互连接的点网络——这些差异不仅在于存在的项目数量，还在于连接的形状本身。有些网络是平坦且均匀的，而有些则是深度弯曲且具有层级结构的。当一个单一且僵化的模型试图从如此多样化的形状中学习时，它往往会失败，表现得甚至不如每个地点仅在自身数据上进行训练的效果。

研究人员长期以来一直试图通过为每个地点创建个性化的模型版本来修复这一问题，但这些解决方案通常强迫数据进入一个平坦、均匀的数学空间，忽略了网络的自然曲线。一项名为 FlatLand 的新研究引入了一种不同的方法，它拥抱了这些网络的弯曲本质，而不是试图将其压平。团队意识到，现实世界的网络通常具有一种特定的负曲率，类似于马鞍面的表面，而标准的平坦数学无法高效捕捉这种特性。为了解决这个问题，他们设计了一个系统，允许每个客户端（或数据持有者）在其针对特定数据结构定制的独特弯曲数学空间内训练其模型。这个空间基于一种被称为双曲几何（hyperbolic space）的几何学，它能自然地容纳复杂网络中连接向外分支的方式。

FlatLand 的核心创新在于它如何处理不同弯曲空间之间的信息交换。研究人员发现，客户端之间的差异可以与它们共享的共同知识分离开来。他们将模型的内部设置分为两个截然不同的部分：一部分捕捉客户端特有的、局部的特征，另一部分则持有对所有人都有用的通用模式。独特的局部部分保持私密且本地化，而通用部分则被发送到中央服务器进行组合。这种分离是通过使用一个特定的数学维度来实现的，该维度充当了差异的载体，使得共享信息可以在不混入局部变化噪声的情况下进行清晰的聚合。这一过程消除了对复杂计算以猜测不同客户端之间相似度的需求，而以往的方法需要这一步骤且往往会减慢速度。

为了测试他们的想法，团队将 FlatLand 应用于各种现实世界的图数据集，涵盖了从科学论文的引用网络到社交网络以及化学结构。他们在多种场景下将该方法与现有技术进行了对比，包括在每一轮训练中只有少量客户端参与的情况。结果显示，FlatLand 一致优于其他方法，特别是在保持模型小型化和高效的情况下。在许多案例中，这种新方法在预测连接或分类节点方面的准确度甚至高于最好的本地训练方法，证明了即使在数据高度多样化的情况下，协作确实是有益的。研究还发现，该方法在数据稀疏或网络结构差异巨大的情况下表现得尤为稳健，而在这些场景下，传统的平坦模型往往难以应对。

其中最引人注目的发现之一是，该系统在极低维度的表示下表现出的出色性能。在机器学习中，保持模型精简对于节省带宽和能源至关重要，尤其是在与众多设备通信时。虽然其他方法在被迫使用如此紧凑的模型时会损失显著的准确度，但 FlatLand 保持了其高性能。这表明，通过尊重数据的自然几何结构，系统可以用更少的资源实现更有效的学习。研究人员还指出，该方法不需要客户端分享任何关于其数据或其相似性的敏感统计数据，从而实现了设计上的隐私保护。只有共享的、通用的模型组件会被传输，而个性化的设置和每个客户端空间的特定曲率则保持隐藏。

这项工作并不声称这种弯曲方法是每种类型网络的完美解决方案，因为某些数据可能仍然更适合在平坦空间中运行。然而，对于绝大多数表现出自然曲线的复杂现实世界网络，这项研究展示了一条清晰的前行路径。通过不再假设所有数据都必须符合单一的平敛框架，FlatLand 提供了一种更自然、更高效的学习方式。它表明，当我们允许我们的数学工具去弯曲并适应它们试图理解的信息形状时，我们可以构建出更聪明、更私密且更具协作性的系统。这种方法的成功表明，去中心化学习的未来或许不在于强迫数据符合标准形状，而在于为每一块拼图找到合适的弯曲空间。

技术摘要：FlatLand

问题陈述
联邦学习（FL）实现了隐私保护的协作训练，但在处理数据异构性方面面临挑战，这种挑战在图联邦学习（GFL）中尤为突出。在 GFL 中，客户端拥有结构多样化的图，导致了显著的结构异构性，这是标准 FL 模型无法满足的。现有的图个性化联邦学习（PFL）方法通常在欧几里得空间内运行，隐含地假设所有客户端数据分布具有统一、平坦的几何结构。这种假设迫使现有方法依赖复杂的机制——例如客户端相似性估计、参数解耦或辅助模块——来处理异构性，从而产生了显著的计算开销。此外，实证分析表明，现实世界的图数据经常表现出负里奇曲率（双曲结构），且不同客户端之间的曲率值差异巨大，这表明统一的欧几里得几何与图数据的内在本质根本不匹配。

方法论：FlatLand
作者提出了 FlatLand，这是一个个性化 GFL 框架，它将客户端数据嵌入到定制的洛伦兹双曲几何空间中，以忠实地捕捉内在的几何属性。该方法由三个核心组件组成：

定制洛伦兹空间（Tailored Lorentz Spaces）： FlatLand 没有使用单一的全局几何，而是为每个客户端分配一个特定的洛伦兹尺度参数（ $K_c$ ），定义了一个唯一的双曲曲面（ $L^{d}_{K_c}$ ），其截面曲率为 $-1/K_c$ 。这使得模型能够适应不同客户端图中观察到的变化的里奇曲率。曲率参数使用 Forman-Ricci 曲率进行初始化，但在局部训练期间被视为可学习的量，以应对特征和标签的异构性。
参数解耦策略（Parameter Decoupling Strategy）： 利用洛伦兹模型的结构，该框架将神经网络的变换参数分解为两组不同的集合：
- 类空间参数 ( $\theta_s$ )： 对应于空间维度 ( $x_s$ )，承载共同的可迁移知识。
- 类时间参数 ( $\theta_c$ )： 对应于类时间维度 ( $x_t$ )，编码客户端特有的异构性。
  服务器仅使用标准的平均方法（类似于 FedAvg）聚合类空间参数 ( $\theta_s$ )，而类时间参数和曲率尺度 $K_c$ 则保留在每个客户端本地。这种设计在理论上确保了客户端特有的异构性得以保留，而无需进行显式的客户端相似性估计或使用辅助模块。
全洛伦兹神经网络（Fully Lorentz Neural Networks）： 该框架使用全洛伦兹网络，其完全在双曲流形内运行，避免了在欧几里得空间和双曲空间之间进行重复投影的需求，从而提高了计算效率。

主要贡献

PFL 的几何视角： 本文首次将双曲几何与 PFL 联系起来，以一种原则性的方式解决客户端异构性问题。本文从理论上证明了，当客户端图具有变化的里奇曲率时，定制曲率对于最小化嵌入失真是必要的（定理 4.1）。
内在异构性编码： 作者证明了洛伦兹空间中的类时间维度自然地编码了客户端特有的几何异构性，而类空间维度则保留了共享信息（定理 4.3）。
简洁的框架： FlatLand 在无需客户端聚类或相似性估计的计算开销下实现了个性化。它直接构建在 FedAvg 范式之上，仅需聚合类空间参数。
理论保证： 本文提供了关于该方法正确性（确保表示在聚合后仍能在洛伦兹空间中保持有效）、收敛速率（与 FedAvg 相当，为 $O(1/T)$ ）以及极低计算开销的证明。

实验结果
作者在多个真实数据集（如 Cora, CiteSeer, ogbn-arxiv, Amazon-Photo 以及异质图数据集 Roman-Empire 和 Minesweeper）上的多种节点分类和图分类任务中评估了 FlatLand。

性能： FlatLand 的表现始终优于最先进的基准方法，包括欧几里得 PFL 方法（FedPer, GCFL）、标准 FL 方法（FedAvg, FedProx）以及双曲 FL 基准（FedHGCN）。它在低维设置和高度异构的数据集上表现出特别强劲的增益。
低维效率： 在将嵌入维度从 64 降至 4 的实验中，FlatLand 保持了优于欧几里得对应方法的性能，突显了双曲几何在紧凑设置下的表示能力。
鲁棒性： 该方法在部分客户端参与（例如 10% 的参与率）的情况下表现出鲁棒性，显著优于对采样客户端具有敏感性的 FedAvg。
消融研究： 实验证实了自适应曲率初始化和类时间参数解耦策略都是至关重要的。移除解耦策略会导致性能显著下降，而使用固定曲率参数的效果不如使用可学习的、客户端特有的曲率。

意义与主张
本文声称，通过利用几何属性而非统计启发式方法，FlatLand 为个性化联邦学习提供了一个全新的、简洁且有效的视角。通过将多样化的数据分布映射到不同的洛伦兹曲面上，该方法自然地适应了现实世界图中固有的负曲率。作者断言，这种方法有效地缓解了异构性，而无需额外的计算模块或客户端相似性估计，使其特别适用于对低维表示要求较高的通信高效型联邦学习场景。这项工作将非欧几里得几何定位为解决异构性问题的有前景的方向，超越了统一欧几里得假设的局限性。

技术摘要：FlatLand

类似论文