HealthFormer: Dual-level time-aware Transformers for irregular electronic health record events

Das Paper stellt HealthFormer vor, einen dual-level Transformer, der durch die explizite Modellierung unregelmäßiger zeitlicher Abstände und die Aggregation heterogener klinischer Codes auf einer großen ungarischen Kohorte patientenbezogene Repräsentationen lernt, die sich durch Self-Supervised Pretraining für die Vorhersage von Krebsinzidenzen ohne aufgabenspezifisches Feature-Engineering effektiv verfeinern lassen.

Körösi-Szabo, P., Kovacs, G., Csiszarik, A., Forrai, B., Laki, J., Szocska, M., Kovats, T.

Veröffentlicht 2026-03-27
📖 5 Min. Lesezeit🧠 Tiefgang
⚕️

Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Each language version is independently generated for its own context, not a direct translation.

Das große Puzzle der Patientengeschichte

Stellen Sie sich vor, das Leben eines Patienten ist wie ein riesiges, unordentliches Tagebuch. Aber dieses Tagebuch ist nicht geschrieben wie ein normaler Roman. Es besteht aus tausenden von kleinen, unterschiedlichen Zetteln, die zu verschiedenen Zeiten in den Briefkasten geworfen wurden:

  • Ein Zettel vom Hausarzt (eine Diagnose).
  • Ein Zettel vom Krankenhaus (ein Operationstermin).
  • Ein Zettel von der Apotheke (ein neues Medikament).
  • Ein Zettel vom Notarzt.

Das Problem: Diese Zettel kommen unregelmäßig an. Manchmal passiert alles an einem Tag, manchmal vergehen Jahre zwischen zwei Zetteln. Und auf einem Zettel stehen oft viele verschiedene Dinge gleichzeitig (z. B. „Fieber" UND „Husten" UND „Röntgenbild").

Bisherige Computerprogramme hatten Schwierigkeiten, dieses Chaos zu verstehen. Sie haben oft alle Zettel einfach in einen Haufen geworfen oder die genauen Zeitabstände ignoriert. Das ist, als würde man versuchen, einen Film zu verstehen, indem man nur die einzelnen Bilder durcheinander betrachtet, ohne zu wissen, in welcher Reihenfolge sie kamen oder wie lange die Pausen zwischen den Szenen waren.

Die Lösung: HealthFormer – Der super-detaillierte Detektiv

Die Forscher haben HealthFormer entwickelt. Man kann sich das wie einen hochintelligenten Detektiv vorstellen, der zwei spezielle Brillen trägt, um die Patientengeschichte zu lesen:

1. Die erste Brille: „Was ist auf diesem Zettel?" (Der Intra-Event Encoder)

Wenn der Detektiv einen einzelnen Zettel (z. B. einen Krankenhausbesuch) sieht, schaut er sich nicht nur die einzelnen Wörter an. Er versteht, wie die Wörter auf diesem einen Zettel zusammenhängen.

  • Analogie: Stellen Sie sich einen Einkaufszettel vor. Wenn dort „Milch", „Brot" und „Eier" stehen, weiß der Detektiv, dass das eine typische Kombination für ein Frühstück ist. Er fasst diese einzelnen Punkte zu einer einzigen Bedeutung zusammen („Frühshoppen"), bevor er zum nächsten Zettel geht.

2. Die zweite Brille: „Wann und in welcher Reihenfolge?" (Der Inter-Event Encoder)

Jetzt schaut der Detektiv auf die ganze Geschichte. Er nutzt eine spezielle Uhr, die nicht nur die Zeit anzeigt, sondern auch weiß, wie wichtig der Abstand ist.

  • Die Magie der Zeit: Wenn zwischen zwei Zetteln nur ein Tag liegt, ist das sehr wichtig. Wenn 10 Jahre vergangen sind, ist das auch wichtig, aber anders. HealthFormer nutzt eine Technik (ALiBI), die wie ein Gummiband funktioniert: Je weiter zwei Ereignisse in der Zeit auseinanderliegen, desto „dehnt" sich das Gummiband, aber der Detektiv vergisst den ersten Zettel trotzdem nicht. Er behält den Kontext über Jahre hinweg im Kopf.

Wie lernt der Detektiv? (Das Training)

Bevor der Detektiv echte Patienten behandeln darf, lässt man ihn an Millionen von anonymisierten, leeren Zetteln üben. Das nennt man „Selbstüberwachtes Lernen". Es ist wie ein Spiel, bei dem man dem Detektiv Aufgaben gibt:

  1. Das Versteckspiel: Man verdeckt ein Wort auf einem Zettel (z. B. die Diagnose) und fragt: „Was fehlt hier?" (Der Detektiv muss es erraten).
  2. Der Typ-Test: Man verdeckt einen ganzen Zettel und fragt: „Was für ein Besuch war das? Hausarzt oder Krankenhaus?"
  3. Die Vorhersage: Man zeigt die Zettel bis heute und fragt: „Was passiert als Nächstes?"
  4. Die Zeit-Schätzung: Man fragt: „Wie viele Tage werden vergehen, bis der nächste Zettel kommt?"

Durch dieses intensive Training lernt der Detektiv die Sprache der Medizin und die Muster im Leben der Menschen, ohne dass ihm jemand explizit gesagt hat, was Krebs ist oder wie man ihn vorhersagt.

Der große Test: Kann er Krebs vorhersagen?

Um zu testen, ob der Detektiv wirklich gut ist, haben die Forscher ihn auf zwei Aufgaben angesetzt:

  • Vorhersage von Darmkrebs
  • Vorhersage von Prostatakrebs

Sie haben ihm die Krankengeschichte von Menschen gegeben, die noch gesund waren, und gefragt: „Wer wird in den nächsten 30, 60 oder 90 Tagen erkranken?"

Das Ergebnis:
HealthFormer war deutlich besser als die alten Methoden (die nur einfache Zählungen von Medikamenten oder Diagnosen machten).

  • Bei Darmkrebs erreichte er eine Trefferquote (AUC) von 0,81 (sehr gut).
  • Bei Prostatakrebs sogar 0,94 (fast perfekt).

Das bedeutet: Der Detektiv konnte subtile Muster erkennen, die andere übersehen haben. Er sah nicht nur, dass jemand Medikamente nahm, sondern wie sich die Geschichte über die Jahre entwickelt hat.

Warum ist das wichtig?

  1. Kein Neustart nötig: Der gleiche Detektiv, der für Darmkrebs trainiert wurde, kann sofort für Herzkrankheiten oder Diabetes eingesetzt werden. Man muss ihn nicht von vorne lernen lassen.
  2. Verständlich: Die Art und Weise, wie der Detektiv die Diagnosen im „Gedächtnis" speichert, folgt der logischen Struktur der Medizin (ähnlich wie ein Stammbaum). Das bedeutet, Ärzte können nachvollziehen, warum der Computer eine bestimmte Vorhersage getroffen hat.
  3. Zeit ist alles: Indem er die genauen Zeitabstände versteht, kann er besser einschätzen, ob ein Patient gerade in einer kritischen Phase ist oder ob ein Ereignis vor 10 Jahren noch relevant ist.

Zusammenfassend: HealthFormer ist wie ein erfahrener Arzt-Assistent, der Millionen von Patientengeschichten gelesen hat, die genauen Zeitabstände im Kopf behält und in der Lage ist, gefährliche Entwicklungen frühzeitig zu erkennen, indem er die kleinen Zettel der Vergangenheit zu einem klaren Bild der Zukunft zusammenfügt.

Erhalten Sie solche Paper in Ihrem Posteingang

Personalisierte tägliche oder wöchentliche Digests passend zu Ihren Interessen. Gists oder technische Zusammenfassungen, in Ihrer Sprache.

Digest testen →