Combining Serverless and High-Performance Computing Paradigms to support ML Data-Intensive Applications

该论文介绍了 Cylon 项目，通过设计基于 NAT 穿透 TCP 打孔技术的无服务器通信器，解决了 AWS Lambda 在处理大规模机器学习数据时的通信瓶颈，使其在 64 个节点上的扩展效率达到了传统 EC2 集群的 93.5%。

要点

这篇论文讲述了一个关于如何让“无服务器”计算（Serverless）像超级计算机一样高效处理海量数据的故事。

为了让你更容易理解，我们可以把整个技术过程想象成组织一场全球规模的“接力赛”。

1. 背景：数据像洪水，传统方法太慢太贵

想象一下，现在的世界充满了数据（就像洪水一样），从医疗记录到手机传感器，数据量巨大。

• 传统做法：以前，科学家处理这些数据就像租下一整栋大楼（传统的服务器集群/HPC）。你需要自己买砖头、修水管、雇保安（维护硬件），不管有没有人用水，你都得付房租。这很贵，而且如果突然没人用水，资源就浪费了。
• 新趋势（无服务器/Serverless）：现在有了像 AWS Lambda 这样的“无服务器”技术。这就像按次付费的共享办公空间。你只需要付你实际使用的时间和空间的费用。用多少付多少，不用时不花钱。
• 问题：虽然“共享办公”很便宜，但它有个大毛病——沟通效率低。
  • 在传统的“大楼”里，工人们（计算节点）可以面对面大声喊话，或者通过内部对讲机（高速网络）瞬间传递信息。
  • 在“共享办公”里，工人们被隔离在不同的房间里。如果他们要传递数据，必须先把文件存到楼下的公共储物柜（如 AWS S3 或 Redis），然后下一个人再去储物柜取。
  • 后果：这就好比送快递，本来两个人可以直接握手传递，现在却非要绕道邮局寄个包裹再取回来。对于需要频繁交换数据的复杂任务（如机器学习），这种“绕道”会让速度变得极慢。

2. 核心创新：Cylon 与“秘密握手”

为了解决这个问题，弗吉尼亚大学的研究团队开发了一个叫 Cylon 的工具，并设计了一种**“秘密握手”**机制。

• Cylon 是什么？
  想象它是一个超级高效的翻译官和搬运工。它能把各种数据格式（像 Pandas 表格）统一成一种大家都能快速理解的语言（Apache Arrow），并且能在不同环境（云端、超级计算机、无服务器）之间无缝搬运。

• 关键突破：NAT 穿透与 TCP 打孔（NAT Traversal TCP Hole Punching）
  这是论文最精彩的部分。

  • 以前的困境：AWS Lambda 的每个函数都在防火墙后面，就像住在没有门牌号、被围墙围起来的房子里。它们互相看不见，也打不通电话。
  • 新方案：研究团队设计了一种**“秘密握手”**（TCP Hole Punching）。
    • 想象两个住在不同公寓楼（防火墙后）的人，想直接对话。
    • 他们先同时给楼下的**门卫（公共协调服务器）**发信号：“我要找隔壁楼的老张！”
    • 门卫记下他们的临时联系方式，并告诉老张：“隔壁楼的小明在找你，这是他的临时通道。”
    • 于是，小明和老张直接建立了一条私人的、高速的直通电话线，完全绕过了“公共储物柜”（S3/Redis）。
  • 效果：数据不再需要绕道邮局，而是直接“握手”传递。速度提升了10 到 100 倍！

3. 实验结果：无服务器也能跑得快

研究人员在 AWS Lambda（无服务器）和 EC2（传统云服务器）以及 Rivanna 超级计算机上进行了测试，主要看“多人协作处理数据”（分布式连接/Join 操作）的速度。

• 速度对比：

  • 在 64 个节点（64 个人）一起工作时，使用“秘密握手”的无服务器方案，其效率达到了传统云服务器（EC2）的 93.5%（差距仅为 6.5%）。
  • 这意味着，无服务器不再是“慢吞吞”的代名词，它现在也能跑得快如闪电。

• 成本对比：

  • 对于那种“平时没事，突然爆发大量任务”的工作（比如地震预测、基因分析），无服务器方案极其省钱。
  • 传统服务器就像包月健身房，不管你练不练都要付钱。
  • 无服务器就像按次付费的私教课，只在你真正开始计算的那几分钟收费。
  • 实验显示，处理一次大规模数据任务，无服务器方案可能只需几分钱，而传统方案如果为了应对突发流量而预留资源，可能会浪费大量资金。

4. 总结与意义

这篇论文告诉我们：

1. 打破偏见：以前大家认为无服务器只能做简单的、互不干扰的任务（比如处理几百张独立的图片）。现在证明，它也能处理复杂的、需要频繁沟通的超级计算任务（如 AI 训练、基因测序）。
2. 技术魔法：通过“秘密握手”（NAT 穿透）技术，让被隔离的无服务器函数能像在一个房间里一样直接对话。
3. 未来应用：这项技术将帮助科学家更便宜、更快速地处理天文学图像、地震预测、洪水模拟和基因研究等海量数据任务。

一句话总结：
研究团队给“无服务器”计算装上了**“超光速对讲机”，让它不再需要绕路去“邮局”取数据，从而在保持按次付费的超低成本优势的同时，获得了接近超级计算机**的惊人速度。

技术摘要

论文技术总结：结合无服务器与高性能计算范式以支持 ML 数据密集型应用

1. 研究背景与问题 (Problem)

随着机器学习（ML）和人工智能（AI）的爆发式增长，数据工程领域面临前所未有的挑战。数据量已从 GB/MB 级增长至 TB/EB 级（如基因组学、气候建模、天文学等领域）。传统的解决方案依赖于大型数据中心集群，需要高昂的硬件投资和运维成本。

虽然公有云（如 AWS）提供了弹性计算资源，但**无服务器计算（Serverless/FaaS，如 AWS Lambda）**在处理大规模并行数据密集型应用时存在显著瓶颈：

• 通信延迟高：传统的无服务器架构通常依赖外部存储（如 AWS S3、DynamoDB 或 Redis）作为函数间通信的中间层。这种“存储中介”模式导致极高的 I/O 延迟，无法满足高性能计算（HPC）中消息传递（Message Passing）的需求。
• 缺乏直接通信能力：AWS Lambda 原生不支持函数间的点对点（P2P）直接通信，限制了其在 Bulk Synchronous Parallel (BSP) 等需要频繁同步的并行计算模型中的应用。
• 性能差距：现有的无服务器数据并行方案在扩展性上远不如传统的服务器型（Serverful）HPC 集群或 EC2 实例。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了Cylon，一个高性能分布式数据框（Dataframe）解决方案，并设计了一种创新的无服务器通信器（Serverless Communicator）。

核心架构设计

1. Cylon 库架构：

   • 基于 Apache Arrow 构建，利用其零拷贝（Zero-copy）和内存内处理特性，实现 Python 与 C++ 高性能内核的高效交互。
   • 支持分布式内存数据框（DDMF），能够无缝集成 PyTorch 和 TensorFlow 等 ML 框架。
   • 提供类似 Pandas 的 API，但支持分布式并行操作（如 Join, GroupBy）。

2. 无服务器通信创新：NAT 穿透与 TCP 打孔 (NAT Traversal TCP Hole Punching)：

   • 原理：利用外部协调服务器（Rendezvous Server）协助两个位于 NAT 网关后的 AWS Lambda 函数交换公网 IP 和端口信息，从而建立直接的 TCP 点对点连接。
   • 优势：完全绕过 S3 或 Redis 等存储中介，实现函数间的直接消息传递，大幅降低延迟。
   • 实现细节：
     • 设计了自定义的通信器接口，替代了传统的 MPI/UCX 在服务器环境中的用法。
     • 利用 AWS Step Functions 编排工作流，管理 Lambda 函数的初始化、参数传递和状态同步。
     • 实现了基于原子计数器的 Rank 分配和屏障（Barrier）同步机制，以支持 BSP 模型。

3. 混合部署策略：

   • 利用 Docker 容器化 Cylon 运行时，确保在 AWS Lambda、AWS Fargate（ECS）、EC2 以及本地 HPC 集群（如 Rivanna，使用 Singularity/Apptainer）之间的一致性。
   • 对比了三种通信模式：直接 TCP (NAT 打孔) vs Redis vs AWS S3。

3. 主要贡献 (Key Contributions)

1. BSP 工作负载在无服务器环境中的可行性验证：

   • 证明了通过 NAT 穿透实现 Lambda 函数间的直接 P2P 通信，使得传统的 BSP 工作负载（通常依赖低延迟互连）可以在无服务器环境中高效运行。
   • 打破了“无服务器仅适用于尴尬并行（Embarrassingly Parallel）任务”的固有认知。

2. 统一的跨范式 ML 数据流水线框架 (Cylon)：

   • 引入了 Cylon，这是一个可移植的分布式数据框库，支持同一套代码在 Serverless (Lambda)、云虚拟机 (EC2) 和 HPC (Rivanna) 之间无缝运行。
   • 实现了 Python 原生接口（通过 Cython 绑定），无需用户编写底层 C++ 代码即可进行高性能分布式计算。

3. 定量的成本 - 性能分析：

   • 建立了无服务器数据密集型工作负载的实证成本模型。
   • 证明了对于突发（Bursty）工作负载，无服务器方案在成本上极具竞争力（例如：32 个 worker 的分布式 Join 操作在 Lambda 上仅需约 $0.03，而 EC2 因闲置时间成本更高）。

4. 通信基底的对比评估：

   • 系统评估了 NAT 穿透、Redis 和 S3 三种通信方式。结果表明，直接通信在延迟上比存储中介方案快 10-100 倍。

4. 实验结果 (Results)

作者在不同基础设施（AWS Lambda, AWS EC2, Rivanna HPC）上进行了分布式 Join 和 GroupBy 操作的基准测试：

• 扩展性效率 (Scaling Efficiency)：

  • 在 64 个节点 的强扩展（Strong Scaling）实验中，AWS Lambda 的扩展效率与 EC2 相比，差距仅为 6.5%。
  • 具体数据：64 节点时，EC2 加速比为 16.96x，Lambda 为 15.85x。
  • 这表明在引入直接通信后，无服务器架构的扩展性能已非常接近传统服务器架构。

• 通信延迟对比：

  • 直接 TCP (NAT 打孔)：在 32 节点 Join 操作中耗时约 60 秒。
  • Redis 中介：耗时约 255 秒（慢约 4.2 倍）。
  • S3 中介：耗时约 455 秒（慢约 7.6 倍）。
  • 直接通信实现了 10-100 倍 的延迟降低。

• 通信微基准：

  • AllReduce：在 32 节点下，消息大小为 1MB 时，延迟约为 13 毫秒。
  • Barrier：32 节点下的同步延迟约为 7 毫秒，满足 BSP 模型对频繁同步的需求。

• 成本分析：

  • 虽然连接建立（NAT 穿透初始化）消耗了部分时间（约 31.5 秒），但整体计算成本极低。
  • 32 个 worker 的 Join 操作总成本约为 $0.032，远低于传统方案。
  • 对于间歇性、突发性的工作负载，无服务器方案避免了 EC2 实例的闲置成本。

5. 意义与影响 (Significance)

• 范式转变：该研究证明了无服务器计算不仅可以处理简单的任务，还能支撑高性能分布式数据工程和大规模 ML 预处理/推理。
• 科学应用价值：为生物信息学（基因组分析）、水文学、地震预测、天文学等需要处理海量数据且对延迟敏感的科学领域提供了新的、低成本的计算范式。
• 技术突破：成功将 HPC 领域的通信优化技术（如 NAT 穿透、直接 TCP）引入 Serverless 环境，解决了长期存在的“存储中介”性能瓶颈。
• 未来方向：尽管目前 Cylon 仅支持约 30% 的 Pandas 算子且受限于 Lambda 的 15 分钟执行时长，但该工作为构建弹性、低成本且高性能的云端 AI/ML 基础设施奠定了坚实基础。未来的工作将集中在增加算子支持、实现检查点（Checkpointing）机制以增强容错性，以及探索更多实时推理场景。

总结：这篇论文通过结合 Cylon 库和 NAT 穿透技术，成功弥合了无服务器计算与高性能计算之间的鸿沟，证明了在无需拥有硬件的情况下，利用公有云无服务器服务也能实现接近传统 HPC 集群的扩展性能和极低的通信延迟，同时大幅降低了突发工作负载的成本。