Predicting Replication from Domain-Stripped Fingerprints, Where Citations Fail

Die Wissenschaft basiert auf einem einfachen Versprechen: Wenn man ein Experiment wiederholt, sollte man dasselbe Ergebnis erhalten. Doch in der modernen Welt der Forschung ist die bekannteste Art, den Wert einer Studie zu beurteilen, die Zählung, wie oft andere Wissenschaftler sie in ihrer eigenen Arbeit erwähnen. Diese Erwähnungen, sogenannte Zitationen, fungieren wie ein Popularitätswettbewerb. Je öfter ein Papier zitiert wird, desto wertvoller wird es angenommen. Doch es wächst der Verdacht, dass dieses System fehlerhaft ist. Eine Studie kann extrem populär sein und tausendfach zitiert werden, einfach weil sie etwas Überraschendes oder Neues sagt, selbst wenn diese Erkenntnis in sich zusammenbricht, sobald jemand versucht, sie zu wiederholen. Tatsächlich deutet einige Forschung darauf hin, dass Erkenntnisse, die nicht wiederholbar sind, oft sogar häufiger zitiert werden als solche, die es sind. Dies schafft einen gefährlichen blinden Fleck, in dem die wissenschaftliche Gemeinschaft Aufmerksamkeit belohnt, aber die Wahrheit ignoriert.

Ein Forscher an der KU Leuven, Eryk Kulikowski, hat eine neue Methode entwickelt, um wissenschaftliche Arbeiten zu betrachten, die diese beiden Ideen voneinander trennt. Anstatt zu versuchen, den Wert eines Papers auf eine einzige Zahl zu reduzieren, behandelt die Studie die Forschungsqualität als ein Profil mit zwei unterschiedlichen Seiten. Die eine Seite ist die Neuartigkeit (Novelty), die misst, wie überraschend oder neu eine Idee ist. Die andere ist die Verifizierbarkeit (Verifiability), die misst, wie wahrscheinlich es ist, dass das Ergebnis Bestand hat, wenn jemand das Experiment wiederholt. Die Studie argumentiert, dass das aktuelle Zitationssystem nur die erste Seite sieht. Es belohnt die überraschende Behauptung, ist aber fast blind dafür, ob diese Behauptung tatsächlich solide ist. Um dies zu beheben, entwickelte der Forscher ein Werkzeug, das in der Lage ist, das Abstract einer Arbeit zu lesen und vorherzusagen, ob ihre Ergebnisse einen Replikationstest überstehen werden, ohne dabei die spezifische medizinische Bedingung oder das soziale Problem kennen zu müssen.

Die Methode funktioniert, indem sie die spezifischen Details einer Studie entfernt, um deren zugrunde liegende Struktur offenzulegen. Stellen Sie sich vor, Sie nehmen eine komplexe Maschine, entfernen die Farbe und die Markennamen und schauen nur auf die Zahnräder und Hebel, um zu verstehen, wie sie funktioniert. Der Forscher nutzte ein Sprachmodell, um tausende wissenschaftliche Abstracts zu lesen und sie in einen „Fingerabdruck“ umzuschreiben. Dieser Fingerabdruck beschreibt das Design der Studie, was gemessen wurde und wie die Daten analysiert wurden, entfernt aber alle spezifischen Fachbegriffe über Krankheiten, Populationen oder Chemikalien. Dies ermöglicht es dem Computer, eine Studie über das Gedächtnis beim Menschen mit einer Studie über das Gedächtnis bei Ratten oder eine Studie über Wirtschaft mit einer über Psychologie zu vergleichen, da die Fingerabdrücke sich auf die gemeinsame Mechanik dessen konzentrieren, wie die Wissenschaft durchgeführt wurde.

Nachdem diese Fingerabdrücke erstellt worden waren, testete der Forscher sie gegen ein einfaches, transparentes Computerprogramm. Dieses Programm verwendete keine komplexen, verborgenen Algorithmen. Stattdessen suchte es nach spezifischen Wörtern und Phrasen im Fingerabdruck, die in Studien tendenziell auftauchten, die erfolgreich repliziert wurden, im Gegensatz zu jenen, die scheiterten. Die Ergebnisse waren bemerkenswert. Als das Team diese Methode an einer Datenbank von fast fünfhundert Psychologiestudien testete, sagte sie die Replizierbarkeit einer Studie in etwa achtundsechzig Prozent der Fälle korrekt voraus. Dies ist eine signifikante Verbesserung gegenüber dem aktuellen Standard, der sich auf Zitationszahlen stützt. Tatsächlich stellte das Team fest, dass die Vorhersagekraft der Zitationszahlen in Bezug auf die Replizierbarkeit nicht besser als reines Raten war. Das Zitationssystem war völlig unfähig zu unterscheiden, welche Erkenntnisse Bestand haben würden und welche nicht.

Die Studie bewies auch, dass dieses neue Werkzeug nicht nur die Namen verschiedener wissenschaftlicher Fachgebiete lernte. Wenn der Computer einfach gelernt hätte, dass „Sozialpsychologie“-Studien häufiger scheitern als „Kognitive Psychologie“-Studien, hätte er gut abschneiden können, ohne die Wissenschaft tatsächlich zu verstehen. Aber als die Forscher das Werkzeug innerhalb spezifischer Teilbereiche testeten, funktionierte es immer noch genauso gut. Es konnte zwischen einer soliden und einer wackeligen Studie unterscheiden, selbst wenn beide exakt dasselbe Thema behandelten. Darüber hinaus funktionierte das Werkzeug ebenso gut bei einem völlig anderen Datensatz aus einem anderen großen Forschungsprojekt, was zeigt, dass das gefundene Signal real und kein Zufall eines spezifischen Datensatzes war.

Die vielleicht wichtigste Erkenntnis war das, was geschah, als die Forscher versuchten, die beiden Seiten des Forschungs-Wertes miteinander zu vermischen. Sie nahmen ihr Maß der Neuartigkeit und fügten es dem Werkzeug hinzu, das die Replizierbarkeit vorhersagt. Das Ergebnis war, dass die Vorhersage schlechter wurde. Dies bestätigte, dass Neuartigkeit und Verifizierbarkeit tatsächlich getrennte Dinge sind. Eine Studie kann hochgradig neuartig und hochgradig fragil sein, oder sie kann langweilig und absolut solide sein. Das aktuelle Zitationssystem versagt, weil es schwer auf der Seite der Neuartigkeit lastet – es belohnt das Überraschende und ignoriert das Solide. Indem man diese beiden Konzepte in eine einzige Punktzahl presst, verliert das System die Fähigkeit, den wichtigsten Teil zu sehen: ob die Wissenschaft wahr ist.

Die Forscher fanden auch heraus, dass dieser neue Ansatz nicht den gesamten, oft schwer zugänglichen Volltext einer Arbeit lesen muss. Er funktioniert einwandfrei allein mit dem Abstract, der kurzen Zusammenfassung, die am Anfang eines jeden Papers erscheint. Dies macht das Werkzeug kostengünstig und leicht einsetzbar für jede Bibliothek oder Datenbank. Der gesamte Prozess ist transparent; da das Computerprogramm einfach ist, können Wissenschaftler die spezifischen Wörter einsehen, die der Computer zur Entscheidung verwendet hat, und genau verstehen, warum ein Paper als wahrscheinlich replizierbar oder als wahrscheinlich scheiternd markiert wurde. Dies steht in scharfem Kontrast zu anderen modernen Werkzeugen, die wie „Black Boxes“ agieren und einen Wert liefern, ohne zu erklären, wie dieser erreicht wurde.

Letztlich bietet diese Arbeit eine neue Art, den wissenschaftlichen Wert zu denken. Sie legt nahe, dass wir aufhören sollten, jedes Paper mit einer einzigen Zahl zu ranken. Stattdessen sollten wir ein Profil betrachten, das uns zeigt, wie neu eine Idee ist und wie wahrscheinlich es ist, dass sie wahr ist. Das in dieser Studie entwickelte Werkzeug bietet einen klaren, ehrlichen und transparenten Weg, um den zweiten Teil dieser Gleichung zu messen. Es zeigt, dass wir zwar nicht immer vorhersagen können, welche Erkenntnisse die Welt verändern werden, wir aber nun mit angemessener Genauigkeit vorhersagen können, welche Erkenntnisse die Zeit überdauern werden. Dieser Wechsel von der Jagd nach Aufmerksamkeit zur Verifizierung der Wahrheit könnte Wissenschaftlern, Geldgebern und der Öffentlichkeit helfen, sich auf die Arbeit zu konzentrieren, die tatsächlich Bestand hat, statt nur auf die Arbeit, die den meisten Lärm macht.