WITHDRAWN: Deviation Error: assessing machine learning predictions for replicate measurements in genomics and beyond

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt nach Fingerabdrücken zu suchen, suchen Sie nach Mustern in den winzigen Bedienungsanleitungen in jeder lebenden Zelle. Dieses Feld wird Genomik genannt, und es ist so, als würde man versuchen, eine Bibliothek aus Milliarden von Büchern zu lesen, um zu verstehen, wie das Leben funktioniert. Aber hier ist der knifflige Teil: Wenn Wissenschaftler versuchen, diese Bücher zu lesen, machen sie oft Kopien derselben Seite, um sicherzugehen, dass sie sie richtig erfasst haben. Diese Kopien werden „Replikationsmessungen“ genannt. Die große Frage in dieser Welt ist: Woher wissen wir, ob unsere Vermutungen darüber, was in diesen Büchern steht, tatsächlich gut sind? Wir brauchen einen Weg, um den „Fehler“ oder die „Abweichung“ zwischen dem, was wir vorhergesagt haben, und dem, was wir tatsächlich gesehen haben, zu messen. Wenn unser Maßband kaputt ist, glauben wir vielleicht, eine neue Drachenart gefunden zu haben, während wir nur eine Eidechse falsch gelesen haben. Deshalb ist ein perfektes Lineal, um diese Fehler zu messen, das wichtigste Werkzeug, das ein Wissenschaftler besitzen kann.

Stellen Sie sich nun ein Team von Wissenschaftlern namens Husam und J. Timothy vor, die beschlossen haben, ein brandneues, superpräzises Lineal für diese Aufgabe zu erfinden. Sie nannten ihre Erfindung den „Deviation Error“ (Abweichungsfehler). Sie wollten dieses neue Lineal verwenden, um zu überprüfen, wie gut Wissenschaftler die Ergebnisse dieser Doppelmessungen in der Genomik und anderen Bereichen vorhersagen können. Es klang nach einer brillanten Idee, einem glänzenden neuen Werkzeug, das jedem helfen würde, seine Mathematik richtig zu machen.

Die Geschichte nimmt jedoch eine plötzliche Wendung. Nachdem sie ihre eigene Erfindung sehr genau unter die Lupe genommen hatten, erkannten Husam und J. Timothy, dass ihr neues Lineal noch nicht bereit für den Werkzeugkasten war. Sie entdeckten, dass die Mathematik hinter dem „Deviation Error“ eine massive Menge an zusätzlicher Arbeit benötigte, um als „Proper Scoring Rule“ bewiesen zu werden – was einfach eine schicke Art und Weise ist zu sagen, dass die Mathematik unerschütterlich und unzerbrechlich sein muss, bevor sie darauf vertrauen kann, etwas Wichtiges zu messen. Sie fanden heraus, dass ihre aktuelle Version ein wenig wackelig war, wie eine Leiter, die noch nicht an der Wand festgeschraubt wurde.

Aus diesem Grund traf die Autorenschaft eine sehr verantwortungsbewusste Entscheidung: Sie haben dieses Papier offiziell zurückgezogen. Sie sagen im Wesentlichen: „Wir haben diese coole Idee entwickelt, aber wir müssen zurück in die Werkstatt gehen und die schwere Arbeit leisten, um die Mathematik zu korrigieren und unsere Testfälle neu aufzubauen.“ Sie planen, zu diesem Projekt in der Zukunft zurückzukehren, sobald sie die notwendige Forschung betrieben haben, um den Deviation Error wirklich zuverlässig zu machen. Für den Moment bitten sie ausdrücklich darum, diese Arbeit nicht als Referenz zu zitieren, da sie zurückgezogen wurde und nicht fertiggestellt ist. Während die Idee eines besseren Messwerkzeugs also weiterhin auf dem Tisch liegt, wird dieser spezielle Versuch pausiert, bis die Mathematik auf eigenen Füßen stehen kann.