Everywhere & Nowhere: Envisioning a Computing Continuum for Science

技术摘要：构想科学计算连续体

问题陈述
新兴的科学工作流日益呈现数据驱动的特征，需要集成分布式数据源，以理解端到端的现象、驱动实验并促进决策。尽管边缘侧的数据量呈指数级增长，且非平凡的计算能力已无处不在，但实现这些工作流仍然具有挑战性。传统的高性能计算（HPC）格局在历史上以通过专用系统上的专门化代码来最大化性能为定义，目前正在经历一场范式转变。这一转变是由 Dennard 缩放定律的终结、AI/ML 的超越、超大规模云计算厂商的兴起以及用户价值结构的改变所驱动的。用户现在优先考虑易用性、科学产出时间（time-to-science）和环境影响，而非单纯的原始性能，通常愿意为了这些属性而牺牲部分性能。此外，现有的基础设施差距阻碍了在紧急情况（如大流行病或自然灾害）下进行有效资源动员的能力，而在这些情况下，决策过程对时间和质量都有严格的约束。

方法论与概念框架
本文提出了“计算连续体”（Computing Continuum）作为解决方案，将其定义为一个从边缘（传感器、设备、网络）到核心（云数据中心、HPC 设施）无缝衔接的计算、数据和通信能力谱系。该连续体被概念化为“无处不在”（计算在日常生活和仪器中的普遍集成）且“无迹可寻”（透明、抽象的访问，能够无缝集成到工作流中，使用户无需管理复杂的系统交互）。

为了利用这一连续体，本文概述了一种基于三大支柱的方法论：

1. 编程抽象： 从静态、预编译执行转向数据驱动、响应式的任务流。本文重点介绍了 R-Pulsar 编程系统，它利用关联会合（Associative Rendezvous, AR）交互模型。这使得用户可以将工作流定义为由流式数据的内容、属性或统计趋势触发的响应式行为，从而在运行时确定处理数据的“什么”、“何时”以及“何处”。
2. 自治中间件： 开发用于自动化资源发现、联邦和编排的服务。这包括基于约束的自治联邦，用于根据应用需求的变化动态聚合资源（计算、数据）。此外，还涉及利用协同知识感知图注意力网络（CKAT）进行科学数据推荐系统，以优化数据发现、缓存和预取。
3. 动态执行管理： 实现自治运行时服务（例如在虚拟数据协作平台 Virtual Data Collaboratory 和国家数据平台 National Data Platform 内），根据用户定义的策略和约束，在整个连续体中管理工作流调度和质量服务（QoS），以适应环境固有的动态性。

核心贡献
本文为实现计算连续体贡献了一个愿景和一系列研究方向：

• 计算连续体的定义： 它阐述了一个涵盖边缘、网络内及核心数据中心的统一资源视图，专门针对结合了传感、模拟、建模和驱动的科学工作流。
• 应用类别识别： 它详细说明了由该连续体赋能的特定工作流类别，包括：
  • 端到端实验管理： 实时分析和优化实验（例如，油田生产管理、聚变托卡马克异常预测）。
  • 数字孪生（Digital Twins）： 物理系统的实时数字表示，用于优化和保护。
  • 紧急计算（Urgent Computing）： 在严格的时间/质量约束下进行的计算，用于应急响应（例如，野火空气质量预测、早期地震预警）。
• 研究挑战与解决方案： 它确定了八个关键研究问题（如：通过数据驱动计算、确保安全性/隐私性、处理不确定性等），并介绍了解决这些问题的近期研究工作，特别提到了 R-Pulsar 系统、基于约束的自治联邦以及基于 CKAT 的数据推荐框架。
• 政策与战略框架： 它讨论了转化计算机科学的必要性，并强调了 国家战略计算储备（NSCR）——这是一个由美国白宫科技政策办公室（OSTP）领导的倡议，旨在建立一个在国家紧急情况下能够动员计算资源和专业知识的就绪储备机制。

结果与证据
本文并未展示来自单一研究的新实验结果，而是综合了现有研究和现实世界的用例，以验证计算连续体的必要性和潜力：

• 紧急计算用例： 文中引用了 COVID-19 HPC 联盟，这是一个成功的国际合作伙伴关系，它展示了分布式资源在流行病研究中的潜力，同时也凸显了基础设施和政策方面的差距。
• 野火与空气质量： 文中描述了犹他州关于加州野火对空气质量影响的持续研究工作，强调了将实时火灾、烟雾和天气数据与大气模型相结合，以预测空气质量快速恶化的必要性。
• 地震预警： 文中详细介绍了一个利用机器学习分析来自边缘及传输过程中的地震仪和 GPS 传感器的 3D 时间序列数据的项目。该系统通过检测 P 波来预测 S 波震级，并在地面运动到达敏感区域之前发出警报。
• 飓风 Ottis： 本文通过飓风 Ottis 意外增强的案例，说明了当前预测模型的局限性，以及利用紧急计算方法和连续体来改善预测与响应能力的潜力。

意义与主张
本文认为，HPC 领域正处于一个关键节点，技术进步与用户价值的变化的汇合，为颠覆性创新提供了机遇。所提出的“计算连续体”的意义在于其能够：

1. 实现访问民主化： 将 HPC 从一种刻意的、专门的过程转变为一种透明的、无处不在的公用事业（“无处不在且无迹可寻”）。
2. 赋能紧急响应： 为检测、预测和应对全球紧急情况（大流行病、气候事件、地震活动）提供所需的决策速度和信心方面的技术与操作框架。
3. 架起研究与部署之间的桥梁： 主张开展“转化计算机科学”，通过将创新周期与其它学科的部署紧密耦合，来加速基础研究的影响力。

作者最后呼吁 HPC 社区共同利用其专业知识和计算连续体，以应对日益频繁且影响深远的紧急事件，并指出像 NSCR 这样的倡议是建立一个能够在危机期间动员资源的战略性国家资产的重要步骤。