SafarDB: FPGA-Accelerated Distributed Transactions via Replicated Data Types

本文提出了 SafarDB，一种通过将 FPGA 加速器卡直接连接至网络并协同设计网络附加复制引擎与 FPGA 驻留网络接口，从而实现冲突自由复制数据类型（CRDTs）和协调复制数据类型（WRDTs）的 FPGA 加速分布式事务系统，该系统在延迟、吞吐量及故障恢复能力上均显著优于现有的基于 RDMA 的实现方案。

要点

这篇论文介绍了一个名为 SafarDB 的新系统，它的核心目标是让数据库在处理“分布式事务”（也就是多台电脑协同工作）时变得更快、更稳、更省电。

为了让你轻松理解，我们可以把整个系统想象成一个繁忙的跨国银行，而 SafarDB 就是为这个银行设计的一套超级智能的“总控中心”和“快递网络”。

1. 背景：银行遇到了什么麻烦？

想象一下，这家银行在世界各地都有分行（我们叫它们“副本”）。

• 问题 A（数据同步）： 如果北京分行的客户存了钱，纽约分行的系统必须马上知道，否则客户在纽约取钱时会出错。
• 问题 B（冲突处理）： 如果两个客户同时想取走账户里最后 100 元，系统必须决定谁先谁后，不能两人都取走，也不能让余额变成负数。
• 现状的痛点： 以前的银行系统（传统的 CPU+RDMA 技术）就像是用普通的快递员（CPU）在复杂的交通网（PCIe 总线、操作系统）里送文件。快递员要先去仓库（内存）拿文件，穿过拥堵的市区（操作系统内核），再送到机场（网卡），最后飞出去。这个过程太慢了，而且快递员（CPU）大部分时间都在做搬运工，没空思考怎么优化路线。

2. SafarDB 的解决方案：把“邮局”直接建在“机场”里

SafarDB 做了一个大胆的改变：它不再依赖普通的 CPU 快递员，而是直接给每个分行装了一个FPGA 加速卡。

什么是 FPGA？
你可以把它想象成一种**“可编程的超级硬件”**。它不像 CPU 那样什么都能干但都不精通，它可以根据你的需求，现场“变身”成专门干活的机器。

SafarDB 的三大创新（用比喻解释）：

创新一：把“办公室”搬到了“传送带”上（近网计算）

• 传统模式： 快递员（CPU）在办公室（主机内存）写好文件，跑过走廊（PCIe 总线），把文件塞进快递柜（网卡），然后快递柜再发出去。这一来一回，时间都花在“跑走廊”上了。
• SafarDB 模式： 它直接把办公室（应用逻辑） 和 快递柜（网卡） 建在了同一个房间里（FPGA 芯片上）。文件写完直接扔进传送带（AXI 总线），瞬间就发出去了。
• 效果： 就像把邮局直接建在了飞机引擎旁边，省去了所有中间环节，速度提升了 7 倍到 12 倍。

创新二：智能分拣员（复制数据类型 RDTs）

银行里的业务分两种：

1. 简单业务（CRDTs）： 比如“增加积分”。不管谁先加，最后结果都一样（1+2 和 2+1 都是 3）。这种业务不需要大家开会商量，各自加完就行。
   • SafarDB 给这种业务配备了**“自动分拣机”**，直接通过特殊的指令把结果同步，不需要等待确认。
2. 复杂业务（WRDTs）： 比如“取款”。如果余额不够，就不能取。这种业务必须大家开会商量（共识），决定谁先谁后，保证不出错。
   • SafarDB 给这种业务配备了一个**“超级会议主持人”**（SMR 模块）。以前开会要等所有人回复邮件（网络延迟），现在主持人直接通过专线（FPGA 内部连接）喊话，瞬间达成一致。

创新三：混合存储模式（大仓库 + 小保险柜）

FPGA 芯片上的内存（保险柜）很快，但容量小；电脑主机的内存（大仓库）容量大，但慢一点。

• SafarDB 的妙招： 它把最热门、最常用的数据（比如大客户的账户）放在 FPGA 的“小保险柜”里，秒级访问；把不常用的冷数据放在主机的“大仓库”里。
• 这就好比你把每天要用的钥匙放在手边，把过期的文件放在地下室。既保证了速度，又解决了容量不够的问题。

3. 它有多强？（实验结果）

论文通过一系列测试证明了 SafarDB 的厉害之处：

• 速度快得惊人： 在处理简单业务时，比传统系统快 7 倍；在处理需要严格协调的复杂业务时，快 12 倍。
• 抗打击能力强： 如果某个分行的“主持人”（Leader）突然晕倒（宕机），SafarDB 能瞬间（纳秒级）选出新主持人，而传统系统可能需要几百微秒甚至更久。这就像球队队长突然倒下，替补队长能立刻接手指挥，比赛几乎不中断。
• 更省电： 传统系统像个吃电的大胃王（CPU 功耗高），SafarDB 像个精明的节能达人，功耗只有传统系统的 1/4。

4. 总结

SafarDB 就像是为现代数据中心设计的一套“乐高积木”：
它把应用逻辑（做什么）、网络通信（怎么传）和数据一致性（怎么保证不出错）全部整合在一个小小的芯片上。

• 以前： 数据在 CPU、内存、网卡之间像坐公交车一样，要换乘、要等红灯。
• 现在： 数据在 FPGA 内部像坐私人直升机一样，点对点直达，没有红绿灯，没有换乘。

这项技术不仅让数据库跑得更快，还更省电、更稳定，为未来构建超高速的分布式系统（比如全球实时交易、元宇宙、AI 大模型训练）打下了坚实的基础。

技术摘要

SafarDB 技术总结：基于 FPGA 加速的分布式事务与复制数据类型

1. 研究背景与问题 (Problem)

背景：
数据复制是数据中心设计的核心，用于确保高可用性、可扩展性和容错性。为了在事务负载下维持数据收敛性和完整性约束，副本之间需要进行协调。

• 复制数据类型 (RDTs)：提供了寄存器、集合、列表等抽象，通过协调策略保证收敛性和完整性。
• 冲突无关复制数据类型 (CRDTs)：操作可交换，无需协调即可实现弱一致性（Relaxed Consistency）。
• 协调良好的复制数据类型 (WRDTs)：混合模型，对安全操作使用弱一致性，对可能破坏完整性的操作使用强一致性（共识/SMR）。

现有挑战：
当前的 RDT 实现主要依赖 RDMA (远程直接内存访问) 技术（如 Hamband 系统），利用微秒级远程内存访问延迟。然而，RDMA 性能仍受限于以下瓶颈：

1. PCIe 延迟：CPU 与网卡 (NIC) 之间的通信开销。
2. 主机内存中介：CPU 与 NIC 之间需通过主机内存交换数据，增加了延迟。
3. 微架构瓶颈：现有 RDMA NIC 内部存在微架构瓶颈。
4. 故障恢复慢：领导者选举（Leader Election）和权限切换（Permission Switch）在故障恢复时耗时较长（微秒级），且缺乏硬件优化。
5. 缺乏混合执行模型：现有方案难以在单一复制接口下高效结合 FPGA 内存和主机内存。

核心问题：
如何利用 FPGA 作为应用加速器，重新设计网络接口，以消除 PCIe 和主机内存的开销，实现近网络执行（Near-Network Execution），从而显著降低分布式事务的延迟并提高吞吐量？

---

2. 方法论 (Methodology)

作者提出了 SafarDB，一种基于网络附加 FPGA（Network-Attached FPGA）的 RDT 加速架构。

2.1 系统架构

• FPGA 集成：将 RDT 逻辑、复制协议（如共识算法）和 RDMA 网络栈共置于同一块 FPGA 芯片上。
• 去主机化 (Host-less)：应用逻辑直接运行在 FPGA 上，消除了 CPU 与 NIC 之间的 PCIe 通信开销，将通信协议替换为片上轻量级 AXI 总线。
• 混合模式 (Hybrid Mode)：支持两种模式：
  • FPGA 独占模式：所有数据存储在 FPGA 板载高带宽内存 (HBM) 或片上 BRAM 中。
  • 混合模式：利用主机 CPU 内存扩展存储容量，同时保持统一的复制/一致性接口。

2.2 关键技术创新

1. 专用 RDMA 动词 (Custom RDMA Verbs)：

   • 设计了针对 FPGA 的单向 RDMA 动词，直接访问集成的 FPGA 存储资源（HBM/BRAM）。
   • 引入 RPC 机制：将传统的 RDMA Write 操作重用于实现远程过程调用 (RPC)。负载包含操作码 (Opcode) 和参数，由 FPGA 上的 Dispatcher 直接分发给加速器，无需远程节点轮询内存。
   • Write-Through 动词：在冲突事务中，同时更新远程日志和 FPGA 驻留数据，消除后续读取日志的延迟。

2. 硬件加速的共识 (Accelerated Consensus)：

   • 基于 Mu 协议实现状态机复制 (SMR)，用于处理冲突事务。
   • 权限切换加速：传统 RDMA 修改写权限需数百微秒（涉及 PCIe 往返）。SafarDB 将 SMR 内核与 RNIC 硬件共置，SMR 可直接访问 RNIC 的队列对 (QP) 状态寄存器，将权限切换延迟降低至 纳秒级。

3. 三种事务处理路径：

   • 可约简事务 (Reducible)：使用缓冲或 RPC 直接更新，避免内存访问延迟。
   • 不可约简但无冲突事务 (Irreducible Conflict-free)：通过 RPC 直接更新状态，消除队列轮询。
   • 冲突事务 (Conflicting)：通过 SMR 进行强一致性排序，利用 Write-Through 机制直接更新状态。

---

3. 主要贡献 (Key Contributions)

1. SafarDB 架构设计：首个将 RDT 加速器与 RDMA 网卡共置于网络附加 FPGA 上的系统，实现了真正的近网络执行。
2. 新型 RDMA 原语：提出了直接访问 FPGA 存储的 RDMA 动词，并将其重用于高效 RPC，消除了传统 RDMA 中的内存访问开销。
3. 混合存储模型：在单一复制接口下，无缝整合 FPGA 内存和主机 CPU 内存，解决了 FPGA 容量受限的问题。
4. 纳秒级故障恢复：通过硬件直接访问 QP 状态，将领导者选举和权限切换的延迟从微秒级降低到纳秒级，显著提升了系统的容错能力。
5. 性能突破：在 CRDT 和 WRDT 基准测试中，相比最先进的 RDMA 软件实现（Hamband），实现了数量级的性能提升。

---

4. 实验结果 (Results)

实验在 8 个 AMD Xilinx Alveo U280 FPGA 节点（100GbE 网络）上进行，对比对象为基于 RDMA 的 Hamband 系统和基于 FPGA SmartNIC 的 Waverunner 系统。

4.1 性能提升

• CRDT (弱一致性)：
  • 延迟降低 7.0 倍。
  • 吞吐量提升 5.3 倍。
• WRDT (混合一致性)：
  • 延迟降低 12 倍。
  • 吞吐量提升 6.8 倍。
• 标准基准 (YCSB + SmallBank)：
  • 延迟降低 8 倍。
  • 吞吐量提升 5.2 倍。
• 对比 Waverunner：在 YCSB 负载下，SafarDB 延迟降低 25.5 倍，吞吐量提升 31.3 倍（主要因为 Waverunner 仅加速复制路径，应用仍在主机运行，且仅 Leader 处理请求）。

4.2 故障恢复与容错

• 权限切换延迟：从传统 RDMA 的数百微秒降低至 17-24 纳秒。
• 领导者故障恢复：SafarDB 在领导者故障后的恢复时间显著短于 Hamband，吞吐量下降幅度更小（15% vs 40%）。
• 鲁棒性：即使在节点故障情况下，SafarDB 依然保持优于 CPU/RDMA 系统的性能。

4.3 功耗

• SafarDB 功耗约为 35W，而 Hamband 系统约为 160W。SafarDB 功耗仅为后者的 1/4.5，能效比极高。

4.4 混合模式权衡

• 实验表明，随着 FPGA 处理的数据比例增加，性能线性提升。
• 混合模式下，利用 CPU 缓存（Skew 工作负载）可以部分缓解主机访问延迟，但主要性能增益仍来自 FPGA 驻留的热数据。

---

5. 意义与展望 (Significance)

1. 重新定义分布式系统架构：SafarDB 证明了将应用逻辑、操作系统功能（如系统调用简化为模块间连线）和网络协议栈统一在可编程 FPGA 上的可行性。这种“应用与内核共置”消除了传统分层架构的开销。
2. 硬件加速的一致性原语：展示了通过定制网络接口（NIC）来加速一致性协议（如共识、权限管理）的巨大潜力，为构建超低延迟、高吞吐量的分布式数据库提供了新范式。
3. 超越微基准：不仅限于简单的计数器或集合，SafarDB 在复杂的分布式事务工作负载（如银行转账、拍卖系统）中同样表现出色，具有实际部署价值。
4. 未来方向：为网络附加 FPGA 在复制事务系统和数据库复制领域的进一步研究奠定了基础，特别是在混合（FPGA+Host）设计模型下的扩展性研究。

总结：SafarDB 通过深度软硬件协同设计，利用 FPGA 的并行性和近数据处理能力，彻底解决了传统 RDMA 架构中的 PCIe 和主机内存瓶颈，实现了分布式事务处理性能的质的飞跃，同时大幅降低了功耗。