OpenHealth Lake: Designing and testing a data lakehouse platform for health applications
本文介绍了 OpenHealth Lake 的设计、实现与用户验证，这是一个开源且符合 FAIR 原则的数据湖仓平台，通过提供灵活、可扩展且安全的解决方案，应对全球协作研究中复杂的健康数据管理挑战。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图整理一座庞大的全球图书馆，其中的书籍用数千种不同的语言写成，有的是数字文件，有的是手写笔记，还有的是巨型视频录像。现在，再想象这座图书馆分散在不同的国家，每个国家都有自己关于谁能阅读什么的严格规定。这就是当前健康和生物研究数据的现实状况。
论文《OpenHealth Lake：为健康应用设计并测试数据湖仓平台》描述了一种名为OpenHealth Lake的新数字工具的设计与测试。其目标是解决存储和共享这些分散数据的混乱局面。
以下是他们所做的工作、其运作方式以及发现结果的简明分解，使用了日常类比。
1. 问题：“杂乱的车库”与“严格的图书馆”
科学家产生了海量数据，但这些数据形态各异（例如电子表格、DNA 序列和图像的混合体）。
- 旧方法（数据仓库）： 就像传统图书馆，所有物品在上架前必须被完美分类和标记。这对于当今科学家产生的海量且杂乱的数据来说，过于缓慢且僵化。
- “车库”方法（数据湖）： 就像把所有东西扔进一个巨大的车库。你可以存放任何东西，但日后很难找到，而且存在安全风险。
- 新解决方案（数据湖仓）： 作者构建了一个数据湖仓。将其想象为一个智能的高科技车库。你可以像进车库一样立即将杂乱物品扔进去，但系统会自动整理它们、保持安全，并让你瞬间找到它们（就像图书馆一样）。
2. 解决方案：OpenHealth Lake
团队构建了一个名为OpenHealth Lake的原型平台。它的设计旨在实现：
- 联邦式： 想象一个共享单一目录的连锁本地图书馆。数据保留在其原始国家或服务器（就像本地分行），但你可以随时随地搜索和访问它，而无需移动实体书籍。这尊重了当地的隐私法律。
- FAIR 原则： 数据是可查找（Findable）、可访问（Accessible）、**可互操作（Interoperable，即能与其他工具协同工作）且可重用（Reusable）**的。
- 灵活： 它可以在“云端”（租用亚马逊或谷歌等大型服务器的空间）或“自托管”服务器（就像把图书馆建在你自己的地下室里）上运行，具体取决于组织的预算。
3. 运作方式：三个主要部分
该系统构建得像一座三层楼的建筑：
- 前门（网站与 API）： 这是用户界面。就像你登录时的接待台。它还有一个“后门”（API），允许计算机程序直接与系统对话。
- 归档系统（数据库）： 他们使用了一种名为Couchbase的特殊数据库。将其想象成图书管理员的卡片目录。它不存储实际的厚重书籍（文件），而是存储标签（元数据），告诉你书籍在哪里、谁拥有它们以及谁被允许阅读它们。
- 仓库（存储）： 这是实际重型文件存放的地方。它可以是云存储桶或本地硬盘。该系统能够处理结构化数据（如 Excel 表格）和非结构化数据（如原始视频或 DNA 文件），而无需事先清理它们。
关键特性：“护照”系统
为了保持安全，系统采用了一种“签证”或“护照”策略。
- 当创建新的数据集合时，系统会颁发一张数字“签证”。
- 数据所有者可以将此签证授予特定人员。
- 如果你持有签证，你就可以进入被允许查看的特定房间（集合）。如果你的签证被撤销，门会立即锁上。
4. 测试：人们喜欢它吗？
作者不仅构建了它，还让31 名真实人员（科学家、生物学家和计算机专家）对其进行了测试。他们要求这些人执行 12 项具体任务，如登录、搜索文件或上传新数据集。
结果：
- 总体积极： 大多数用户认为该系统有用且易于使用。他们觉得它解决了实际问题。
- "Python 与 R"的分歧： 团队提供了两种编程语言的工具体系：Python和R。
- 计算机科学家更喜欢 Python，并发现它非常容易。
- 生物学家和健康研究人员更喜欢 R。
- 其中的转折： Python 用户对该系统易用性的评分略高于 R 用户。作者推测，这可能是因为 Python 库的设计稍好，或者是因为计算机科学家对这种“网络服务”风格的工具更习惯。
- 棘手部分： 耗时最长或被评定为“困难”的任务是上传文件和创建新集合。
- 原因？ 这些任务需要用户输入许多具体细节（如文件路径和存储名称）。
- “路径”问题： 一些使用 Windows 电脑的用户感到困惑，因为系统期望文件路径以特定方式显示（使用反斜杠
\而不是正斜杠/）。 - 文档： 一些用户发现操作手册（文档）有点令人困惑，尤其是关于高级搜索功能的部分。
5. 他们的收获（局限性）
作者诚实地指出了需要改进的地方：
- “幽灵”文件： 如果用户开始上传但未完成，系统会在目录中创建一个“幽灵”记录，声称文件存在，尽管文件实际上并不在那里。他们需要一个更好的“清洁工”系统来自动清理这些记录。
- 粒度： 目前，如果你给某人一个访问“集合”的签证，他们可以看到该集合中的每一个文件。未来，他们可能需要能够仅授予访问集合中某一个特定文件的签证。
- 存储选项： 目前，它支持亚马逊、谷歌和 HDFS。他们希望未来能增加对更便宜的开源存储选项的支持。
总结
OpenHealth Lake是一个新的、灵活的用于健康数据的“智能车库”。它让科学家能够安全地存储杂乱且庞大的数据集，并在不违反隐私规则的前提下跨越国界共享它们。虽然原型运行良好且总体易于使用，但团队了解到，他们需要使说明更清晰、文件上传过程更顺畅，以便让从生物学家到数据科学家的所有人都能完美使用它。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。