🤖 machine learning

MPFlow: Learning Budgeted Max-Flow Optimization on the Lightning Network with Deep Graph Reinforcement Learning

本文介绍了 MPFlow，这是一个深度图强化学习框架，通过学习选择能使路由容量最大化的通道开启方式（在预算约束下），来优化比特币闪电网络中的流动性配置，该方法已成功部署于生产环境，用于管理 30 个节点中超过 267 BTC 的资产。

原作者： Harrison Rush, Vincent Davis, Simone Antonelli, Vikash Singh, Jesse Shrader, Emanuele Rossi

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Harrison Rush, Vincent Davis, Simone Antonelli, Vikash Singh, Jesse Shrader, Emanuele Rossi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，比特币闪电网络（Lightning Network）就像一座由无数隐形管道组成的繁忙大都市，连接着数百万人口。这些管道承载着数字货币，但它们有一个严格的规则：管道能承载多少水，取决于它的宽度。如果你试图将大量的硬币挤进一根狭窄的管道，整个系统就会发生堵塞，导致支付失败。

多年来，管理这些管道的人（即“节点”）一直遵循着一个简单、传统的规则来决定在哪里建立新连接：“连接到那些最大、最著名的邻居。”他们观察谁拥有的管道最多（度数/degree），或者谁处于最多的十字路口（介数/betweenness），然后就直接与其连接。这就像一个来到新城市的游客，总是试图去拥抱市长，认为那是唯一的出行方式。

但来自 Amboss Technologies 和 CISPA 的研究团队提出了一个不同的问题：如果市长那里已经过于拥挤，而移动资金的真正秘诀在于寻找那些目前空置的、安静的窄巷子呢？

他们构建了一种新型的数字大脑，称为 MPFlow。你可以把它想象成一位超级聪明的城市规划师，它不仅仅看谁名气大，还会实际模拟水流通过管道的过程，从而观察哪里存在瓶颈。

游戏规则：5 根管道的预算

研究人员设置了一个游戏。想象你是一个新节点（新城市中的一栋新房子），并且有一个严格的预算：你只能开设 5 个新管道（通道）。每个管道的成本为 0.20 BTC（大约是一笔特定的金额）。你的目标不仅仅是变得受欢迎，而是要最大化你的房子到城市中任何其他房子的资金流动量。

他们将此转化为了一个 AI 智能体的视频游戏：

关卡： 现实中闪电网络的快照，一张拥有数千个节点的巨型地图。
动作： AI 选择一个邻居进行连接。
得分： 在每次连接后，AI 会计算“最大流”（Max-Flow）。这是一个数学概念，衡量在不溢出边缘的情况下，从 A 点到 B 点能流动的绝对最大水量。每当 AI 解锁更多的水流时，它就会获得分数。

秘诀：忽略名声

在这里，研究人员做了一件聪明的事。他们知道，如果让他们在训练期间看到“超级枢纽”（那些巨大的、著名的节点），AI 就会模仿旧规则：“连接到最大的家伙。”因此，他们对 AI 使用了一个诡计。

他们在那些前 50 大枢纽 被完全抹除的地图上训练智能体。AI 必须学会如何在不依赖著名邻居的情况下移动资金。它被迫去寻找那些被旧有的“连接知名节点”规则所遗漏的隐藏且高效的路径。这被称为 “枢项排除课程”（hub-exclusion curriculum）。

当他们最终在包含所有枢纽的完整真实地图上测试这个 AI 时，AI 不仅仅是忽略了枢纽，它还学会了在枢纽不再提供帮助时避开它们。它意识到，连接到一个庞大且拥挤的枢纽往往会造成交通拥堵，而连接到一个中型、低负荷的节点则能开启一条全新的高速公路。

结果：击败旧规则

研究人员在包含 5,000 个节点的巨大切片上进行了 1,000 次 游戏实验。结果如下：

旧方法（介数法/Betweenness）： 标准的行业方法，即仅仅连接到最中心的节点，其资金流增加量约为 0.163 BTC。
新方法（MPFlow）： 使用了“忽略名声”训练法的 AI，其资金流增加了 0.168 BTC。

这听起来可能是一个微小的差距，但在高速运转的金钱世界里，这意义重大。该 AI 在 62.3% 的游戏中击败了旧方法。更重要的是，它并非仅仅靠运气，而是持续不断地找到了更好的路径。

论文显示，AI 并非在瞎猜。它挑选的邻居与旧方法截然不同。虽然旧方法有 52% 的时间会选择前 50 大枢纽，但 AI 只选择了其中的 17%。相反，它选择了那些受欢迎程度排名要低得多的节点（大约是 5,000 个节点中的第 312 名），这证明了它寻找的是“容量”，而非“名气”。

现实世界的证明

这不仅仅是实验室里的模拟。论文报告称，这款完全相同的 AI 智能体已被部署在 Amboss 平台上。它已经为真实用户做出了 4,640 次 开通通道的决策。总计，它已在 30 个受管节点 上协助分配了 267.3 BTC（当时价值超过 1,600 万美元）。

这意味着什么（以及并不意味着什么）

论文表明，对于闪电网络上的资金管理而言，智能的、数据驱动的决策优于简单的受欢迎程度竞赛。 通过训练 AI 去寻找瓶颈而非仅仅寻找大名字，你可以用同样的资金移动更多的钱。

然而，作者也谨慎地指出了一些事项：

他们测量的是移动资金的潜力（最大流），而不一定是现实世界中每一次成功的支付，因为现实世界的支付取决于许多隐藏因素，例如在任何给定时刻，每根管道中实际存放了多少钱。
他们使用了固定的 5 次行动 预算。他们并不声称这是适用于每种情况的完美数字，只是说明这对他们的训练效果最好。
AI 擅长寻找资金流动的结构，但它目前还无法预测来自手续费的确切经济利润，不过这是下一步的研究方向。

简而言之，这篇论文证明了，一个通过“忽略热门节点”并专注于“空闲管道”进行训练的轻量级 AI，可以构建出比传统经验法则更好的资金高速公路。这是对高效、安静路径对阵拥挤、名声显赫路径的一次胜利。

技术摘要：MPFlow

问题定义

本文研究了比特币闪电网络（Lightning Network, LN）中的流动性放置问题（liquidity placement problem）。给定一个用于开设或为 $k$ 个支付通道注资的固定预算，目标是确定节点应与哪些对等节点（peers）建立连接，以最大化其路由容量。

作者将此问题建模为一个图上的受预算约束的组合优化问题。现有的行业实践依赖于静态图启发式算法（如度中心性或介数中心性），这些方法忽略了有向余额和预算干预，而本研究旨在通过选择 $k$ 条边添加，来最大化观测容量图上的 $s$ – $t$ 最大流。选择最大流作为指标是因为它是基于理论的路由容量代理指标，它上界约束了可交付的支付量，并且在训练期间通过 push-relabel 算法进行重新计算时具有较高的计算效率。

该问题被建模为一个有限时界的马尔可夫决策过程（MDP）：

状态 ( $S_t$ )： 编码当前的图拓扑结构，包括节点特征（中心性指标）和边特征（费用、容量）。
动作 ( $A_t$ )： 选择一个节点来开设通道（或为现有通道注资）。
奖励 ( $R_t$ )： 绝对最大流的边际增益（ $r_t = F_t - F_{t-1}$ ），其中 $F_t$ 是从源节点到一组目标节点的最大流之和。

方法论：MPFlow

提出的解决方案 MPFlow 将消息传递神经网络（MPNN）与近端策略优化（PPO）及动作掩码（action masking）相结合。

1. 智能体架构

消息传递骨干网络： 智能体使用一个置换不变的 MPNN。不同于使用均值或求和聚合的标准 MPNN，MPFlow 采用了最大聚合算子（max-aggregation operator）。
- 原理： 最大聚合强调单个最具约束力的邻居，模拟了沿最小割（min-cut）边的瓶颈检测。这使得策略能够关注局部紧致的容量约束，而非弥散的平均值。
- 输入特征： 节点特征包括 PageRank、容量比、归一化度以及局部聚类系数。边特征包括基础费、费率和容量（对数转换后）。
Actor-Critic 头：
- Actor（策略网络）： 将节点嵌入映射到逻辑值（logits），并对可见节点应用 softmax 以生成随机策略。
- Critic（价值网络）： 在进入线性层之前，对节点嵌入进行全局最大池化（global max pooling）。这使价值估计能够聚焦于最关键的图子结构（瓶颈），而非所有节点的平均值。
动作掩码（Action Masking）： 二进制掩码确保智能体仅选择操作上可行的动作（排除自环、不连通节点或已访问过的对等节点），使探索保持在可部署的控制范围内。

2. 训练协议

优化器： 智能体使用 PPO 进行训练，相比于初步实验中的 A2C 或 DDPG，PPO 在稳定性和样本效率方面表现更优。
枢纽排除课程学习（Hub-Exclusion Curriculum）： 这是训练策略的一个关键组成部分。智能体在**移除了前 50 个最高度节点（枢纽/hubs）**的子图上进行训练。
- 目标： 防止策略学习到一种退化的策略，即仅仅是连接到最大的枢纽（这正是中心性启发式算法的做法）。这迫使策略学习容量感知的放置和瓶颈缓解，即使在评估阶段枢纽存在时，该策略依然有效。
预算： 智能体在每个回合（episode）中执行 $k=5$ 个动作，每个动作代表开设一个固定大小（0.20 BTC）的通道。

核心贡献

与优化目标一致的强化学习建模： 本文将流动性放置视为一个图决策过程，其奖励由最大流的边际增益定义，使学习目标直接与结构化路由容量对齐。
简洁且可部署的策略： 引入了一个紧凑的 MPNN–PPO 智能体，具有最大聚合和动作掩码特性，专门针对闪电网络具有重尾分布和异质性的特点而设计。
枢纽排除课程学习： 证明了在排除顶层枢纽的子图上进行训练，可以迫使策略学习瓶颈感知结构，从而使策略在分配流动性时很大程度上独立于顶层枢纽，并优于在枢纽可见时训练的变体。
在真实拓扑上的实证验证： 在真实的闪电网络快照（2025 年 5 月、7 月、10 月）上进行了广泛评估，显示出相对于强启发式基准的一致性提升。
实际部署： 该方法已投入生产，用于提供对等节点推荐。

实验结果

实验在源自真实闪电网络快照的 5,000 个节点的子图上进行，使用 1,000 个配对回合进行评估。

性能对比基准： MPFlow 实现了 0.168 ± 0.003 BTC 的绝对最大流增益，显著优于最强的启发式基准——介数中心性（0.163 ± 0.003 BTC）。
- 配对提升： MPFlow 相比介数中心性实现了 +8.59% 的显著配对提升。
- 胜率： 在与介数中心性的配对回合中，MPFlow 的胜率为 62.3%。
消融实验：
- 图规模： 在不同规模的图（1k 到 5k 节点）中，MPFlow 均能匹配或超过介数中心性。
- 枢纽移除： 随着评估图中顶层枢纽被剔除，MPFlow 相对于介数中心性的优势扩大（在移除 25 个枢纽后，相对提升达 +8.89%），证实了该策略依赖于瓶颈缓解而非追逐枢纽。
- 动作分布： MPFlow 仅将 17% 的动作分配给前 50 个枢纽（中位数排名 312），而介数中心性分配了 52%（中位数排名 43），GCN 基准分配了 56%（中位数排名 9）。
跨快照泛化能力： 当在某一快照上训练并在稍后的快照上测试时（例如 May $\to$ July），MPFlow 展示了强大的泛化能力，实现了相对于 Random 基准 +90.6% 和 +99.5% 的相对提升，并超越了所有其他学习型和启发式策略。

意义与主张

论文声称，MPFlow 为闪电网络运营商提供了实用且即时的收益，因为它在不需要复杂支付追踪或沉重模型的情况下，超越了现行的行业启发式算法（介数中心性）。

生产影响： 该轻量级智能体已部署在 Amboss 平台的生产环境中。它已执行了 4,640 次通道开设决策，在 30 个受管理的节点中累计分配了 267.3 BTC（超过 1,600 万美元）。
理论洞察： 结果表明，一个带有最大聚合的简单 MPNN 通过端到端 PPO 训练，可以可靠地通过识别并缓解结构性瓶颈，而非仅仅连接高阶节点，从而超越仅基于拓扑结构的启发式算法。
局限性： 作者承认其目标是结构性的（最大流是实现成功的上界，但并不决定成功本身），且目前的设置使用了统一的余额采样器和固定预算。未来的工作确定为：利用包含需求矩阵和费用感知路由的模拟器，来量化其向实际支付成功率的转化。