TEDDY: A Pediatric Foundation Model for Risk Forewarning from ICD-Coded Diagnostic Histories
Das Paper stellt TEDDY vor, einen kompakten Decoder-Transformer mit 1,84 Millionen Parametern, der auf pädiatrischen ICD-10-Daten trainiert wurde und den den Beginn von Krankheiten sowie den Zeitpunkt von Arztbesuchen vorhersagt signifikant besser als größere und komplexere Modelle, was zeigt, dass pädiatrische Diagnoseverläufe generative Foundation-Modelle für seltene und langfristige Risikovorhersagen effektiv unterstützen können, ohne dass populationsweite Datensätze erforderlich sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, die Zukunft einer Geschichte vorherzusagen, aber die Charaktere wachsen heran, verändern ihre Stimmen und lernen jeden einzelnen Tag etwas Neues. Dies ist die Herausforderung der pädiatrischen Medizin: Ein Kind ist nicht einfach nur ein kleiner Erwachsener. Sein Körper, seine Krankheiten und sogar die Art und Weise, wie er krank wird, verändern sich rasant, während er sich von einem Neugeborenen zu einem Teenager entwickelt. Lange Zeit haben Ärzte und Computerprogramme hauptsächlich aus Geschichten über Erwachsene gelernt, was oft zu falschen Vermutungen führt, wenn diese auf Kinder angewendet werden. Es ist, als würde man versuchen, mit einer Stadtkarte einen Wald zu durchqueren; die Regeln sind anders und die Orientierungspunkte passen nicht überein.
Um bessere Vorhersagen zu treffen, bauen Wissenschaftler sogenannte „Foundation Models“ (Grundlagenmodelle). Denken Sie an diese als superintelligente Computer, die Millionen von Krankenakten lesen, um die Muster von Gesundheit und Krankheit zu erlernen. Normalerweise sind diese Modelle riesig, wie gigantische Bibliotheken des Wissens, und sie werden mit Daten von Erwachsenen trainiert. Aber was wäre, wenn wir ein kleineres, spezialisiertes Modell bauen könnten, das die einzigartige, schnelllebige Geschichte der Kindheit versteht? Das ist die große Frage, die dieses Paper behandelt: Kann ein Computer lernen, die frühen Anzeichen einer zukünftigen Erkrankung eines Kindes zu erkennen, indem er lediglich dessen vergangene Arztbesuche liest – selbst bei seltenen Krankheiten, die noch gar nicht aufgetreten sind?
Treffen Sie TEDDY (Temporal Event Decoder for Disease in Youth). Sie können sich TEDDY als einen superaufmerksamen Kinderarzt mit einem perfekten Gedächtnis für jedes Kind vorstellen, das er je gesehen hat. Anstatt nur auf die aktuellen Symptome eines Kindes zu schauen, liest TEDDY dessen gesamte Krankengeschichte wie einen Roman und achtet dabei genau auf die Reihenfolge der Ereignisse und die Zeitabstände zwischen ihnen. Seine Aufgabe ist es, zu erraten, was als Nächstes passieren könnte: Wird dieses Kind Asthma entwickeln? Könnte es eine seltene genetische Erkrankung bekommen? Und entscheidend: wann könnte das passieren?
Das Team trainierte TEDDY auf einer massiven Sammlung medizinischer Aufzeichnungen von 1,6 Millionen Kindern im Texas Children's Hospital. Sie fütterten das Modell mit etwa 73 Millionen Diagnosecodes (der medizinische Standard-Kurzschreibweise für Krankheiten), um die Muster zu erlernen. TEDDY ist überraschend klein für einen Computer-Verstand dieser Leistungsfähigkeit, mit nur 1,84 Millionen „Parametern“ (den internen Reglern und Stellschrauben, die ihn intelligent machen). Um dies in Perspektive zu setzen: Es ist viel kleiner als die riesigen Sprachmodelle, von denen Sie vielleicht gehört haben, die oft Milliarden von Parametern besitzen.
Was hat TEDDY also herausgefunden?
Es ist ein großartiger Vorhersager, selbst für seltene Dinge
TEDDY ist sehr gut in seinem Job. Wenn er auf 797 verschiedene Krankheiten getestet wurde, ordnete er Kinder, die eine bestimmte Krankheit bekommen würden, in 72 % der Fälle (ein Wert, der als AUC bekannt ist) höher ein als jene, die sie nicht bekommen würden. Das ist eine große Sache, denn die meisten Computermodelle haben Schwierigkeiten mit seltenen Krankheiten und werden oft verwirrt oder geben auf. Aber TEDDY wurde bei den seltensten Bedingungen sogar noch besser darin, sie vorherzusagen. Bei den 225 seltensten Krankheiten (die weniger als 5 von 10.000 Kindern betreffen) war das Modell immer noch selbstbewusst und genau; seine Vorhersagen waren weitaus besser als reines Raten.
Es sieht die Zukunft Jahre im Voraus
Eine der spannendsten Entdeckungen ist, wie weit voraus TEDDY sehen kann. Das Modell kann die „Warnsignale“ einer Krankheit mehr als zwei Jahre vor der offiziellen Diagnose durch einen Arzt erkennen. Während die Vorhersagen unmittelbar vor dem Auftreten der Diagnose am stärksten sind, bleibt das Signal auch Jahre zuvor nachweisbar. Dies deutet darauf an, dass die Krankengeschichte eines Kindes Hinweise auf seine zukünftige Gesundheit enthält, lange bevor die Krankheit voll ausgeprägt ist.
Es schlägt die Konkurrenz
Die Forscher haben TEDDY nicht nur gebaut, sondern es auch in einem Rennen gegen andere Computermodelle antreten lassen. Sie verglichen es mit älteren Arten von KI (wie RNNs und LSTCs) und sogar mit einem massiven, universell einsetzbaren Sprachmodell, das 1.000 Mal größer ist als TEDDY.
- Für die Vorhersage von Asthma erreichte TEDDY einen Wert von 79,3 %, während der beste Konkurrent (ein riesiges Sprachmodell) nur 62,7 % erreichte.
- Für die Vorhersage von ADHS erreichte TEDDY 84,7 % und schlug damit das nächstbeste Modell, das 71,7 % erreichte.
Dies beweist, dass man keinen gigantischen, Milliarden-Dollar-Computer braucht, um die Gesundheit von Kindern zu verstehen. Ein speziell für Kinder gebautes Modell, das auf deren einzigartigen Geschichten trainiert wurde, arbeitet viel besser als ein riesiges Modell, das für Erwachsene gebaut wurde.
Wie es „Schummeln“ verhindert
Die Wissenschaftler waren sehr sorgfältig darauf bedacht, sicherzustellen, dass TEDDY nicht „schummelt“. In medizinischen Akten kann ein Arzt mehrere Diagnosen am selben Tag dokumentieren. Eine trickreiche KI könnte die erste Diagnose nutzen, um die zweite zu erraten, was nicht fair wäre. TEDDY wurde so konzipiert, dass es seine Vorhersage vor dem Einbeziehen aller Diagnosen dieses Tages trifft, wodurch es gezwungen wird, sich nur auf die vergangene Geschichte des Kindes zu verlassen. Sie stellten zudem sicher, dass kranke Kinder nur mit anderen kranken Kindern desselben Alters und Geschlechts verglichen wurden, damit das Modell nicht einfach basierend darauf raten konnte, ob ein Kind ein Junge oder ein Mädchen ist.
Es ist noch nicht perfekt (noch nicht)
TEDDY ist großartig darin zu erraten, was passieren könnte, aber es ist etwas weniger präzise darin, genau wann es passiert. Es kann die Zeit bis zum nächsten Arztbesuch mit einem durchschnittlichen Fehler von nur 3 Tagen schätzen, was beeindruckend ist. Es hat jedoch manchmal Schwierigkeiten bei sehr langen Abständen zwischen den Besuchen und überschätzt, wie lange ein Kind warten könnte, bevor es wiederkommt. Die Forscher geben zu, dass dies eine Einschränkung ihres aktuellen Designs ist, das eine einfache mathematische Regel zur Zeitprognose verwendet.
Das Fazit
Dieses Paper zeigt, dass wir kompakte, leistungsstarke KI-Werkzeuge speziell für Kinder entwickeln können, die massive, auf Erwachsene ausgerichtete Modelle übertreffen. Indem TEDDY die medizinische Geschichte eines Kindes als eine einzigartige, sich entfaltende Geschichte betrachtet, kann es Risiken für häufige und seltene Krankheiten Jahre im Voraus erkennen. Obwohl es kein Kristallball ist, der uns alles perfekt sagt, ist es ein mächtiges neues Werkzeug, das Ärzten helfen könnte, Krankheiten früher zu entdecken – insbesondere die seltenen, die oft jahrelang unentdeckt bleiben. Die Autoren schlagen vor, dass der nächste Schritt darin besteht, dieses Modell in verschiedenen Krankenhäusern zu testen und weitere Arten von Daten, wie Wachstumskurven und Laborergebnisse, hinzuzufügen, um die Vorhersagen noch präziser zu machen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.