← 最新论文
💻 生物信息学

TS-Zarr: a cloud-optimized Zarr layout for viewing and analyzing biomedical time series

TS-Zarr 是一种面向云端的生物医学时间序列 Zarr v3 布局,它在存储原始数据的同时存储了预计算的摘要金字塔,从而实现了可扩展、低延迟的可视化分析以及针对性的并行读取,且无需本地下载或专门的重采样服务器。

原作者: Shah, R., Garai, S., De Freitas, D. D., Truong, V. Q., Ganglberger, W., Paron, T., Westover, M. B., Sinha, N., Wagenaar, J.

发布于 2026-11-18
📖 1 分钟阅读☕ 轻松阅读

原作者: Shah, R., Garai, S., De Freitas, D. D., Truong, V. Q., Ganglberger, W., Paron, T., Westover, M. B., Sinha, N., Wagenaar, J.

原始论文采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明

医学研究人员和医生经常依赖时间序列数据来了解人体。想象一下,一段记录追踪了大脑、心脏或肌肉的电信号长达数小时甚至数天。这些记录同时捕捉数百个不同的通道,产生的文件极其庞大,甚至可以填满整个硬盘。为了理解这些数据,科学家需要以视觉方式观察它们,就像阅读长行文本一样。然而,当一段记录跨越整整一天时,试图在电脑屏幕上显示每一个数据点是不可能的;屏幕根本没有足够的空间。如果研究人员想要看一个十秒钟的窗口,电脑必须将数千个数据点压缩进几个像素中。如果他们想看一整天,则必须将数百万个点压缩进同样的空间。如果没有一种特殊的方法来减少这些数据,电脑要么会因为处理这些数据而死机,要么图像会变成一个无法阅读的纯色块,从而掩盖重要的细节。

多年来,解决这一问题的方案一直是使用一台强大的服务器来进行繁重的计算工作。当用户请求查看记录的特定部分时,服务器会读取原始数据,计算出一个适合屏幕的简化版本,然后将该图像传回。这对于少数几个人来说效果很好,但当许多用户同时尝试查看同一数据,或者他们想要查看的时间窗口非常长时,这种方法就会崩溃。服务器会不堪重负,等待时间变得令人沮牙。此外,如果研究人员想在自己的电脑上分析数据,他们通常必须先下载整个数个 GB 的文件,这既缓慢又低效。挑战在于寻找一种方法,让任何人都能即时查看这些庞大的记录,而无需依赖超级计算机或大规模下载。

一组研究人员开发了一种存储和查看此类数据的新方法,称为 TS-Zarr。他们没有将数据保存在单个、单一的文件中,而是将其重新组织成一种专为云存储设计的结构。在这种新系统中,原始数据仍然存在,但它附带了一套在不同细节层级上预先计算好的摘要。可以将这些摘要想象成一系列地图:一张地图显示整个国家,另一张显示省份,另一张显示城市,依此类推,直到街道层面。当研究人员想要查看一个二十四小时记录的宽视图时,电脑不需要读取数百万个单独的数据点。相反,它只需抓取那个极小的“国家地图”摘要,即可实现瞬时加载。如果研究人员想要放大到看一个十秒钟的窗口,电脑会切换到更详细的“城市地图”摘要。如果他们进一步放大到看一分之一秒,它才会最终读取原始数据。

研究人员发现,这种方法改变了查看数据的速度和人数。在测试中,他们将这种新方法与旧的文件格式以及传统的基于服务器的方法进行了比较。当单个用户查看一个十秒钟的窗口时,新系统已经更快了。但真正的差异出现在窗口扩大到一整天时。传统的服务器由于需要为每一次请求都读取并处理整天的原始数据,响应时间长达四十五秒。相比之下,新系统由于只需要获取一个微小的预计算摘要,响应时间不到半秒。当许多人同时尝试查看数据时,这种差异变得更加显著。服务器很快就会过载并失效,而新系统可以同时处理数百名用户,因为它让每个用户直接从云端获取小型、独立的碎片数据。

这种新的布局还解决了下载庞大文件的难题。由于该系统旨在让计算机仅获取其所需的特定通道和时间窗口,因此研究人员可以在完全不触及其余记录的情况下,查看特定一小时内的单个通道。数据的存储方式允许许多计算机同时抓取这些小块数据,使过程极其高效。研究人员还展示了这些摘要足够智能,能够保留信号最重要的特征。它们不仅仅是进行平均化处理(这会抹平重要的峰值和谷值);相反,它们会记录每个部分中的最高点和最低点。这确保了当医生或科学家观察屏幕时,即使在数据被压缩以适应小空间时,也能看到信号的真实范围。

该团队展示了这种方法适用于长达二十四小时且拥有数百个通道的记录,这种规模在以前需要庞大的存储空间和缓慢的服务器。通过将简化数据的任务从中央服务器转移到存储本身,他们使得研究人员能够像探索一天的数据一样轻松地探索数年的医学数据。该系统既不需要用户下载太字节级的本地副本,也不依赖于可能会在压力下崩溃的专用服务器。它只是让数据可以被即时查看,无论窗口有多宽,或者有多少人在观看,从而将曾经的瓶颈变成了无缝的体验。这种转变意味着,研究人员可以将精力重新回到科学本身,而不是等待电脑跟上进度。

您所在领域的论文太多了?

获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。

试用 Digest →