When does validation design change the answer? A simulation study and two empirical applications in clustered longitudinal health data
Diese Studie zeigt, dass eine innerhalb eines Clusters auftretende Korrelation zwar notwendig für ein Leakage bei der Validierung auf Zeilenebene ist, die Clustergröße jedoch in der realen Welt als bindende Beschränkung fungiert, was darauf hindeutet, dass Forscher der zeitlichen Validierung Vorrang einräumen und Prä-Modellierungs-Diagnostik nutzen sollten, um zu bestimmen, wann strengere Validierungsdesigns tatsächlich erforderlich sind.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der medizinischen Vorhersage erstellen Wissenschaftler Computermodelle, um zu erraten, was als Nächstes passieren könnte: Wird ein Patient wieder ins Krankenhaus eingeliefert oder wird sich ein neuer Krankheitsausbruch ausbreiten? Um zu wissen, ob diese Vermutungen gut sind, müssen Forscher sie testen. Die Standardmethode besteht darin, einen Stapel von Daten in zwei Stapel aufzuteilen: einen, um das Modell zu lehren, und einen, um es zu testen. Aber reale Gesundheitsdaten sind unordentlich. Sie sind oft geclustert, was bedeutet, dass viele Datensätze aus derselben Quelle stammen, wie etwa mehrere Besuche desselben Patienten oder mehrere Berichte über dasselbe Krankheitsereignis. Wenn ein Modell denselben Patienten sowohl im Lehrstapel als auch im Teststapel sieht, kann es überlernen (overfitting). Es lernt nicht die Krankheit, sondern es merkt sich einfach den Patienten. Dies vermittelt ein falsches Vertrauen und lässt das Modell brillant erscheinen, obwohl es eigentlich nur gut darin ist, bekannte Gesichter zu erkennen. Jahrelang war die Faustregel, diese Cluster beim Testen immer strikt getrennt zu halten, ungeachtet der Umstände.
Eine neue Studie stellt diese starre Regel infrage. Forscher des Ministeriums für nationale Verteidigung in Südkorea und der Seoul National University stellten eine einfache, aber entscheidende Frage: Ist diese Trennungsregel tatsächlich für jeden einzelnen Datensatz wichtig, oder verschwenden wir in manchen Fällen Mühe? Sie wollten genau wissen, wann die Wahl der Art und Weise, wie die Daten aufgeteilt werden, das Endergebnis verändert und um wie viel. Sie untersuchten zwei sehr unterschiedliche reale Situationen: ein massives Archiv globaler Krankheitsausbruchsberichte und eine große Sammlung von Krankenhausakten für Diabetespatienten. Durch das Durchführen kontrollierter Simulationen und die anschließende Anwendung ihrer Tests auf diese realen Archive entdeckten sie, dass die alte Regel nicht immer notwendig ist. Tatsächlich machte die strikte Trennung bei den beiden von ihnen untersuchten Datensätzen fast keinen Unterschied für das Endergebnis. Die wahre Gefahr, so fanden sie, war nicht das Clustering selbst, sondern der Lauf der Zeit.
Das Team begann damit, tausende künstliche Datensätze auf einem Computer zu erstellen, um die Mechanik des Problems zu verstehen. Sie konnten drei spezifische Zutaten hoch oder runter drehen: wie sehr die Merkmale innerhalb einer Gruppe einander ähnlich sahen, wie sehr das Ergebnis für alle in einer Gruppe gleich war und wie sehr sich die Regeln des Spiels im Laufe der Zeit änderten. Sie fanden heraus, dass das Überlernen minimal war, wenn die Daten statisch waren und die Gruppen klein waren. Aber wenn die Gruppen groß waren und das Ergebnis für jeden in der Gruppe identisch war, wurde das Überlernen schwerwiegend und blähte die Punktzahl des Modells um mehr als zwanzig Punkte auf. Sie fanden jedoch auch einen vierten, oft übersehenen Faktor: die Größe der Gruppe. Selbst wenn die Daten innerhalb einer Gruppe perfekt identisch waren, gab es nichts, worüber das Modell bei einer Gruppe von nur ein oder zwei Einträgen hätte überlernen können.
Mit diesem Verständnis wandten die Forscher sich ihrem ersten realen Test zu: einem vierundzwanzigjährigen Archiv von Berichten über Krankheitsausbrüche der Weltgesundheitsorganisation. In diesem Datensatz konnte ein einzelner Bericht mehrere Zeilen mit Daten für verschiedene Länder erzeugen. Die Forscher testeten ein Modell, um vorherzusagen, ob ein Bericht eine bestimmte Kategorie gefährlicher biologischer Agenzien erwähnte. Die Daten hier waren theoretisch perfekt für Overfitting geeignet: Das Ergebnis war für jede Zeile in einem Bericht identisch und die Merkmale waren hoch korreliert. Nach allen alten Regeln hätte dies ein Desaster für einen Standardtest sein müssen. Doch als sie die Zahlen berechneten, war der Unterschied zwischen einem Standardtest und einem strikten Test winzig, weniger als ein Prozentpunkt. Der Grund war simpel: Die meisten Berichte in dem Archiv waren Einzelereignisse. Es gab keine wiederholten Zeilen, die Informationen hätten durchsickern lassen. Das Modell hatte keine Chance, die Gruppe auswendig zu lernen, weil die Gruppen fast immer allein standen.
Dann testeten sie einen zweiten Datensatz, diesmal mit Blick auf Krankenhauswiederaufnahmen von Diabetespatienten. Hier waren die natürlichen Gruppen einzelne Patienten, von denen viele mehrfach aufgenommen worden waren. In diesem Fall waren die Merkmale für denselben Patienten zwar etwas ähnlich, aber das Ergebnis war es nicht. Ob ein Patient in einem Monat wieder aufgenommen wurde, sagte nicht stark voraus, ob er im nächsten Monat wieder aufgenommen würde. Dieser Datensatz befand sich am entgegengesetzten Ende des Spektrums: Die Gruppen waren wiederholt, aber die Ergebnisse waren nicht geteilt. Auch hier machte die strikte Trennungsregel fast keinen Unterschied für das Endergebnis. Das Modell konnte nicht überlernen, da das Wissen über den Patienten ihm nicht half, das Ergebnis vorherzusagen.
Die bemerkenswerteste Erkenntnis kam, als die Forscher die Zeit betrachteten. Im Archiv der Krankheitsausbrüche verglichen sie die Leistung des Modells bei Daten aus der Vergangenheit mit Daten aus der Zukunft. Während die strikte Trennung der Gruppen das Ergebnis kaum veränderte, änderte die Trennung der Daten nach der Zeit alles. Ein Modell, das bei internen Tests perfekt aussah, fiel bei Tests mit Daten aus einem späteren Zeitraum drastisch ab. Die Punktzahl sank von einem hohen Wert von 0,96 auf einen niedrigen Wert von 0,62 – eine massive Lücke, die offenbarte, dass das Modell versagt hatte, sich an die Veränderungen in der Berichterstattung über Krankheiten im Laufe der Jahre anzupassen. Die Forscher fanden heraus, dass der zeitliche Drift die Zuverlässigkeit des Modells vierzigmal stärker schädigte als das Versagen bei der Trennung der Gruppen.
Die Studie kommt zu dem Schluss, dass die automatische, blinde Anwendung der strikten Gruppentrennung nicht immer der richtige Schritt ist. Es ist ein Werkzeug, das nur dann eingesetzt werden sollte, wenn drei spezifische Bedingungen erfüllt sind: Die Daten müssen wiederholte Einträge innerhalb der Gruppen aufweisen, die Merkmale müssen die Identität der Gruppe tragen und das Ergebnis muss innerhalb dieser Gruppe geteilt werden. Wenn einer dieser Punkte fehlt, bringt der Aufwand zur Trennung der Gruppen nur sehr wenig. Stattdessen argumentieren die Forscher, dass der wahre Fokus auf der temporalen Validierung liegen sollte. Wenn Daten aus einer sich verändernden Welt stammen, ist der wichtigste Test die Frage, ob das Modell mit Daten aus der Zukunft funktioniert, und nicht nur mit Daten aus der Vergangenheit, die lediglich neu gemischt wurden. Indem Wissenschaftler vor dem Aufbau eines Modells die Gruppengröße und die Konsistenz der Ergebnisse prüfen, können sie entscheiden, ob sie ihre Energie in die Trennung von Gruppen oder in das Testen der Zeit investieren sollen. In den zwei untersuchten Fällen war die Antwort klar: Der Zeittest war wichtig, der Gruppentest hingegen nicht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.