← Neueste Arbeiten
💻 Bioinformatik

TS-Zarr: a cloud-optimized Zarr layout for viewing and analyzing biomedical time series

TS-Zarr ist ein Cloud-optimiertes Zarr-v3-Layout für biomedizinische Zeitreihen, das vorkommentierte Zusammenfassungs-Pyramiden zusammen mit den Rohdaten speichert und so eine skalierbare, latenzarme visuelle Analyse sowie gezielte parallele Lesezugriffe ermöglicht, ohne dass lokale Downloads oder dedizierte Resampling-Server erforderlich sind.

Ursprüngliche Autoren: Shah, R., Garai, S., De Freitas, D. D., Truong, V. Q., Ganglberger, W., Paron, T., Westover, M. B., Sinha, N., Wagenaar, J.

Veröffentlicht 2026-11-18
📖 5 Min. Lesezeit🧠 Tiefgang

Ursprüngliche Autoren: Shah, R., Garai, S., De Freitas, D. D., Truong, V. Q., Ganglberger, W., Paron, T., Westover, M. B., Sinha, N., Wagenaar, J.

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Medizinische Forscher und Ärzte verlassen sich oft auf Zeitreihendaten, um den menschlichen Körper zu verstehen. Stellen Sie sich eine Aufnahme vor, die elektrische Signale aus dem Gehirn, dem Herzen oder den Muskeln über viele Stunden oder sogar Tage hinweg aufzeichnet. Diese Aufnahmen erfassen hunderte verschiedener Kanäle gleichzeitig und erzeugen Dateien, die so massiv sind, dass sie ganze Festplatten füllen können. Um diese Daten sinnvoll interpretieren zu können, müssen Wissenschaftler sie visuell betrachten, ganz ähnlich wie das Lesen einer langen Textzeile. Wenn eine Aufnahme jedoch einen ganzen Tag umfasst, ist es unmöglich, jeden einzelnen Datenpunkt auf einem Computerbildschirm darzustellen; der Bildschirm hat schlicht nicht genug Platz dafür. Wenn ein Forscher ein Zehn-Sekunden-Fenster sehen möchte, muss der Computer tausende Datenpunkte in wenige Pixel pressen. Wenn er jedoch einen ganzen Tag sehen will, muss er Millionen von Punkten in denselben Raum quetschen. Ohne eine spezielle Methode zur Datenreduktion würde der Computer entweder versuchen, die Daten zu verarbeiten, und dabei einfrieren, oder das Bild würde zu einem soliden, unlesbaren Farbblock werden, der wichtige Details verbirgt.

Jahrelang bestand die Lösung für dieses Problem darin, einen leistungsstarken Server einzusetzen, der die Schwerstarbeit leistet. Wenn ein Benutzer einen bestimmten Teil einer Aufnahme ansehen möchte, liest der Server die Rohdaten, berechnet eine vereinfachte Version, die auf den Bildschirm passt, und sendet dieses Bild zurück. Das funktioniert gut für wenige Nutzer, bricht aber zusammen, wenn viele Nutzer gleichzeitig dieselben Daten betrachten wollen oder wenn das Zeitfenster, das sie sehen möchten, sehr lang ist. Der Server wird überlastet, und die Wartezeiten werden frustrierend lang. Zudem müssen Forscher, wenn sie die Daten auf ihrem eigenen Computer analysieren wollen, oft die gesamte mehrgigabyte-große Datei zuerst herunterladen, was langsam und ineffizient ist. Die Herausforderung bestand darin, einen Weg zu finden, mit dem jeder diese massiven Aufnahmen sofort ansehen kann, ohne einen Supercomputer oder einen riesigen Download zu benötigen.

Ein Team von Forschern hat eine neue Art entwickelt, diese Art von Daten zu speichern und anzuzeigen, die sich TS-Zarr nennt. Anstatt die Daten in einer einzigen, monolithischen Datei zu halten, haben sie sie in eine Struktur reorganisiert, die speziell für die Cloud-Speicherung konzipiert ist. In diesem neuen System sind die Rohdaten zwar noch vorhanden, werden aber von einer Reihe vordefinierter Zusammenfassungen auf verschiedenen Detailstufen begleitet. Betrachten Sie diese Zusammenfassungen als eine Serie von Landkarten: Eine Karte zeigt das ganze Land, eine andere den Bundesstaat, eine weitere die Stadt und so weiter, bis hin zur Straßenebene. Wenn ein Forscher eine Weitwinkelansicht einer vierundzwanzigstündigen Aufnahme sehen möchte, muss der Computer nicht die Millionen individuellen Datenpunkte lesen. Stattdessen greift er einfach auf die „Landkarte des Landes“ zu, die winzig ist und sofort lädt. Wenn der Forscher hineinzoomt, um ein Zehn-Sekunden-Fenster zu betrachten, wechselt der Computer zu einer detaillierteren „Stadtkarte“. Wenn er noch weiter hineinzoomt, um einen Bruchteil einer Sekunde zu sehen, liest er schließlich die Rohdaten.

Die Forscher fanden heraus, dass dieser Ansatz alles über die Geschwindigkeit und die Anzahl der Personen verändert, die die Daten betrachten können. In ihren Tests verglichen sie diese neue Methode mit älteren Dateiformaten und dem traditionellen serverbasierten Ansatz. Als ein einzelner Nutzer ein Zehn-Sekunden-Fenster betrachtete, war das neue System bereits schneller. Aber der wahre Unterschied zeigte sich, als das Fenster auf einen vollen Tag anwuchs. Der traditionelle Server, der für jede einzelne Anfrage die gesamten Rohdaten eines Tages lesen und verarbeiten musste, benötigte fünfundvierzig Sekunden für die Antwort. Im Gegensatz dazu antwortete das neue System, das lediglich eine winzige, vorberechnete Zusammenfassung abrufen musste, in weniger als einer halben Sekunde. Der Unterschied wurde noch dramatischer, als viele Menschen versuchten, die Daten gleichzeitig anzusehen. Der Server wurde schnell überlastet und versagte, während das neue System hunderte von Nutzern gleichzeitig bewältigte, ohne langsamer zu werden, da jeder Nutzer kleine, unabhängige Datenstücke direkt aus der Cloud abruft.

Dieses neue Layout löst auch das Problem des Herunterladens massiver Dateien. Da das System darauf ausgelegt ist, dass Computer nur die spezifischen Kanäle und Zeitfenster abrufen können, die sie benötigen, kann ein Forscher einen einzelnen Kanal aus einer bestimmten Stunde betrachten, ohne jemals die restliche Aufnahme anzutrühren. Die Daten sind so gespeichert, dass viele Computer diese kleinen Stücke gleichzeitig abrufen können, was den Prozess unglaublich effizient macht. Die Forscher zeigten auch, dass die Zusammenfassungen intelligent genug sind, um die wichtigsten Merkmale des Signals zu bewahren. Sie bilden nicht einfach nur den Durchschnitt der Daten, was wichtige Spitzen und Einbrüche glätten würde; statztendessen erfassen sie die höchsten und niedrigsten Punkte in jedem Abschnitt. Dies stellt sicher, dass ein Arzt oder Wissenschaftler, wenn er auf den Bildschirm blickt, das wahre Ausmaß des Signals sieht, selbst wenn es komprimiert wurde, um in einen kleinen Raum zu passen.

Das Team demonstrierte, dass diese Methode für Aufnahmen funktioniert, die vierundzwanzig Stunden lang sind und hunderte von Kanälen besitzen – ein Maßstab, der früher massiven Speicherplatz und langsame Server erforderte. Indem sie die Arbeit der Datenvereinfachung von einem zentralen Server auf den Speicher selbst verlagert haben, haben sie es möglich gemacht, jahrelange medizinische Daten so einfach zu untersuchen wie einen einzelnen Tag. Das System erfordert nicht, dass Nutzer lokale Kopien von Terabyte-großen Dateien herunterladen, noch stützt es sich auf einen dedizierten Server, der unter Druck zusammenbrechen könnte. Es ermöglicht schlichtweg, die Daten sofort zu betrachten, unabhängig davon, wie weit das Zeitfenster ist oder wie viele Leute gerade zusehen. Dieser Wandel bedeutet, dass sich der Fokus wieder auf die Wissenschaft richten kann, anstatt darauf zu warten, dass der Computer aufholt.

Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?

Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.

Digest testen →