A preregistered test that outcome-permuted data also pass: mathematical coupling in a pan-cancer analysis of proliferation adjustment in prognostic gene expression studies
Diese Arbeit zeigt durch eine vorregistrierte Pan-Cancer-Analyse auf, dass eine Hypothese bezüglich der mathematischen Kopplung in prognostischen Genexpressionsstudien weitgehend durch Konstruktion bestätigt wurde, da die Testkriterien selbst bei Anwendung auf ergebnispermutierte Null-Daten erfüllt wurden, was die kritische Notwendigkeit hervorhebt, analytische Pipelines gegen permutierte Ergebnisse zu validieren, um falsche Konfusionsschlüsse zu vermeiden.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der Krebsforschung suchen Wissenschaftler oft nach spezifischen Genen, die als Warnsignale dafür dienen, wie die Krankheit eines Patienten fortschreiten wird. Durch die Analyse der Aktivität dieser Gene in einem Tumor hoffen Forscher vorherzusagen, ob ein Patient länger oder kürzer überleben wird. Tumore sind jedoch komplex, und ihr Verhalten wird von vielen Faktoren beeinflusst, wie etwa dem Alter des Patienten, der Größe des Tumors und der Geschwindigkeit, mit der sich die Krebszellen teilen. Eine große Herausforderung in diesem Bereich besteht darin, zwischen einem Gen zu unterscheiden, das ein wahrer, einzigartiger Prädiktor für das Überleben ist, und einem, das lediglich die allgemeine Geschwindigkeit widerspiegelt, mit der der Tumor wächst. Wenn ein Forscher vergisst, die Geschwindigkeit der Zellteilung zu berücksichtigen, könnte er einem spezifischen Gen fälschlicherweise die Rolle des Vorhersagefaktors für das Ergebnis zuschreiben, obwohl dieses Gen in Wirklichkeit nur ein Passagier auf dem schnell fahrenden Zug der Zellteilung ist. Dieses Problem ist als mathematische Kopplung bekannt – eine Situation, in der zwei Messungen miteinander verknüpft sind, weil sie einfach mit denselben zugrunde liegenden Daten berechnet wurden, was eine falsche Verbindung suggeriert.
Ein Forscher namens Soon Woo Nam setzte sich zum Ziel, eine spezifische Idee darüber zu testen, wie diese Genlisten erstellt werden und ob Standard-Statistikmethoden versehentlich ein Muster bestätigen können, das gar nicht wirklich existiert. Die Studie konzentrierte sich auf eine große Sammlung von Daten aus zwanzig verschiedenen Gruppen von Krebspatienten, die sich auf vierzehn Krebsarten und fast fünftausend Individuen erstreckte. Das Ziel war es zu sehen, ob die Anpassung an einen „Proliferationsscore“ – ein Maß dafür, wie schnell sich die Krebszellen teilen – die Liste der Gene verändern würde, die scheinbar das Überleben vorhersagen. Der Forscher hatte einen präregistrierten Plan, was bedeutet, dass die Regeln für die Analyse aufgeschrieben wurden, bevor man die Daten betrachtete, um sicherzustellen, dass der Prozess fair und transparent war. Der Plan sagte voraus, dass, wenn die Geschwindigkeit der Zellteilung in die statistischen Modelle aufgenommen wird, sich die geschätzte Bedeutung anderer Gene auf eine sehr spezifische, vorhersehbare Weise über alle Krebsarten hinweg verschieben würde.
Als die Analyse mit den tatsächlichen Patientendaten durchgeführt wurde, stimmten die Ergebnisse perfekt mit der Vorhersage überein. Die Daten zeigten, dass sich die Bedeutung der Gene genau so verschob, wie es der Plan prognostiziert hatte, und dieses Muster blieb in jeder der zwanzig Krebsgruppen bestehen. Auf den ersten Blick mag dies wie eine starke Bestätigung erscheinen, dass die statistische Methode wie beabsichtigt funktioniert. Der Forscher führte jedoch eine entscheidende Prüfung durch, die in solchen Studien selten vorgenommen wird. Er nahm dieselben Daten und vertauschte die Überlebensergebnisse – er randomisierte im Wesentlichen, wer lebte und wer starb –, sodass kein Gen möglich wäre, ein echter Prädiktor für das Überleben zu sein. In dieser vertauschten Version der Realität, in der nichts von Bedeutung war, wurde derselbe statistische Test erneut durchgeführt. Überraschenderweise bestand der Test auch in dieser Version. Die vertauschten Daten erfüllten dieselben Kriterien wie die echten Daten und bestätigten das Muster, obwohl es keinerlei echtes biologisches Signal gab.
Dieses Ergebnis offenbart einen grundlegenden Fehler in der Art und Weise, wie diese Tests manchmal interpretiert werden. Das Muster, nach dem der Forscher suchte, ist kein Zeichen einer echten biologischen Beziehung oder einer spezifischen Art von Fehler namens Konfundierung. Stattdessen ist das Muster „eingebaut“ in die Mathematik selbst. Da die neue Messung (die Geschwindigkeit der Zellteilung) aus denselben Gendaten abgeleitet wird, die auch zur Berechnung der anderen Gene verwendet werden, sind die statistischen Modelle mathematisch dazu gezwungen, eine Beziehung aufzuzeigen, unabhängig davon, ob diese Beziehung real oder künstlich ist. Der Test war so empfindlich gegenüber dieser mathematischen Struktur, dass er nicht zwischen einem echten biologischen Effekt und einer zufälligen Verdrehung von Zahlen unterscheiden konnte. Tatsächlich hätte der Test in neunundzwanzig von hundert Zufallsexperimenten bestanden, obwohl eigentlich gar nichts passierte.
Die Studie untersuchte auch, wie sich die Liste der wichtigen Gene änderte, wenn verschiedene Faktoren in die Modelle aufgenommen wurden. Wenn Forscher das Stadium des Krebses (wie weit er gestreut hatte) oder die Geschwindigkeit der Zellteilung in ihre Berechnungen einbezogen, sank die Anzahl der Gene, die als signifikante Prädiktoren erschienen, drastisch. In einigen Fällen führte die Hinzunahme dieser Faktoren dazu, dass mehr als die Hälfte der Gene, die zuvor wichtig erschienen, verschwand. Dies deutet darauf an, dass die Liste der „prognostischen Gene“ keine feste Menge biologischer Wahrheiten ist, sondern eine Liste, die stark von den Faktoren abhängt, die der Forscher in sein Modell aufnimmt. Wenn ein Forscher nicht berücksichtigt, wie schnell der Tumor sich teilt, könnte er viele Gene in seine Liste aufnehmen, die lediglich die Geschwindigkeit widerspiegeln, anstatt einzigartige Informationen über die Zukunft des Patienten zu liefern.
Die endgültige Schlussfolgerung ist, dass eine präregistrierte Hypothese allein durch die Art und Weise, wie die Daten konstruiert sind, bestätigt werden kann, und nicht, weil die Hypothese wahr ist. Der Forscher demonstrierte, dass das Durchführen eines Tests auf permutierten Daten – bei denen die Ergebnisse randomisiert wurden – vor der Finalisierung des Analyseplans diesen Fehler sofort offengelegt hätte. Wenn der Test besteht, obwohl nichts passiert, kann er nicht darauf vertraut werden, etwas zu beweisen, wenn die echten Daten verwendet werden. Die Studie dient als Erinnerung daran, dass die Liste der wichtigen Gene in komplexen Genstudien sehr empfindlich gegenüber den Entscheidungen ist, die während der Analyse getroffen werden. Forscher müssen transparent darüber sein, für welche Faktoren sie korrigieren, und sie sollten verstehen, dass die Änderung dieser Faktoren die Ergebnisse drastisch verändern kann, wobei manchmal zwei Drittel der Gene, die anfangs signifikant erschienen, entfernt werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.