Auditing Biomedical Literature with Blinded AI Peer Review: Where Peer Review Works, Where It Fails, and How to Strengthen It

Die Wissenschaft stützt sich auf ein einfaches, altes Versprechen: Bevor eine neue Entdeckung veröffentlicht wird, lesen unabhängige Experten die Arbeit, um sicherzustellen, dass die Experimente korrekt durchgeführt wurden, die Mathematik auf sich beruht und die Schlussfolgerungen aus den Beweisen folgen. Dieser Prozess, bekannt als Peer-Review, ist der Wächter der Wahrheit in der Medizin und Biologie. Jahrzehntelang hat dieses System gut genug funktioniert, um unser modernes Verständnis des Lebens aufzubauen. Doch das Volumen wissenschaftlicher Arbeiten ist explodiert. Seit 1991 ist die Zahl der jährlich veröffentlichten biomedizinischen Artikel um mehr als das Elffache gestiegen und hat damit die Anzahl der verfügbaren menschlichen Experten bei weitem überholt. Wenn die Flut neuer Forschung die Kapazität menschlicher Gutachter übersteigt, kann die Qualität dessen, was veröffentlicht wird, nachlassen. Fehler in der Statistik, fehlende Kontrollen oder eine fehlerhafte Logik können durch die Maschen schlüpfen, und da diese Fehler oft subtil sind, können sie jahrelang unbemerkt bleiben und andere Wissenschaftler auf falsche Wege führen.

Um dieses wachsende Problem anzugehen, hat ein Team von Forschern einen neuen Typus von Schiedsrichter entwickelt: ein System der künstlichen Intelligenz, das darauf ausgelegt ist, wissenschaftliche Arbeiten zu lesen, ohne zu wissen, wer sie geschrieben hat oder wo sie veröffentlicht wurden. Sie nennen dieses System BARS, das Blinded AI Review System. Die Idee ist, alles zu entfernen, was einen Leser voreingenommen machen könnte – die berühmten Namen der Autoren, das Prestige der Zeitschrift oder das Veröffentlichungsdatum –, damit die Arbeit allein nach der Qualität ihrer Wissenschaft beurteilt werden kann. Die Forscher trainierten dieses System darauf, nach vier spezifischen Dingen zu suchen: ob die Methoden und Statistiken fundiert sind, ob die Daten tatsächlich die aufgestellten Behauptungen stützen, ob die biologischen Ideen realistisch sind und ob die Daten und der Code offen geteilt werden. Sie gaben jeder Arbeit eine Punktzahl von null bis zehn, wobei alles unter fünf auf einen grundlegenden Fehler hindeutete, der die Studie untergräbt.

Das Team testete zunächst, ob ihr System den Unterschied zwischen guter und schlechter Wissenschaft erkennen konnte, ohne durch Reputation abgelenkt zu werden. Sie fütterten die KI mit einer Gruppe von Papieren, die bereits widerlegt und zurückgezogen worden waren, zusammen mit einem Satz verifizierter, qualitativ hochwertiger Studien. Wenn die KI die Namen der Autoren und die Titel der Fachzeitschriften sehen konnte, gab sie den berühmten Papieren etwas höhere Bewertungen, was zeigte, dass selbst eine Maschine von Prestige beeinflusst werden kann. Aber als das System von all diesen Informationen geblendet war, wurde es zu einem scharfen und objektiven Richter. Es identifizierte fast alle fehlerhaften Arbeiten korrekt und vergab perfekte Punktzahlen an die fundierten Studien, ohne Fehlalarme. Es erwies sich zudem als weitaus konsistenter als menschliche Gutachter; wenn dieselbe Arbeit mehrfach von der KI geprüft wurde, waren die Punktzahlen fast identisch, während sich menschliche Gutachter oft untereinander uneinig sind.

Als die Forscher dieses geblindete System auf 320 aktuelle Arbeiten aus acht verschiedenen Gebieten der Biologie anwandten, waren die Ergebnisse ernüchternd. Mehr als die Hälfte dieser Arbeiten bestand den Test nicht und lag unter der Schwelle für grundlegende wissenschaftliche Genauigkeit. Die Ausfallrate war nicht überall gleich. Felder, die auf strengen mathematischen Modellen basieren, wie etwa die molekulare Evolution, schnitten tendenziell besser ab. Felder, die auf komplexem Data-Mining oder Kontamination anfälligen Assays beruhen, wie etwa die Einzelzellgenetik und Mikrobiom-Studien, schnitten viel schlechter ab. Auch die Art der Fachzeitschrift spielte eine tiefe Rolle. Arbeiten, die in hochselektiven, traditionellen Zeitschriften veröffentlicht wurden, schnitten signifikant besser ab als jene in massiven Open-Access-Zeitschriften, die eine Gebühr für die Veröffentlichung verlangen, aber behaupten, nur die technische Korrektheit zu prüfen. Tatsächlich war die durchschnittliche Arbeit in einer erstklassigen Fachgesellschaft in der Qualität fast einen vollen Punkt höher als die in einem kommerziellen Megajournal, eine Lücke, die darauf hindeutet, dass der Begutachtungsprozess selbst einen Unterschied macht.

Die Forscher untersuchten auch, inwiew nào das Peer-Review die Arbeit tatsächlich verbessert. Sie verglichen den ersten Entwurf einer Arbeit, der vor jeglicher Prüfung online gestellt wurde, mit der endgültigen Version, die in einer Fachzeitschrift veröffentlicht wurde. Für Arbeiten, die von selektiven, strengen Zeitschriften akzeptiert wurden, war die endgültige Version merklich besser, mit klareren Methoden und stärkeren Belegen. Aber für Arbeiten, die in kommerziellen Megajournalen veröffentlicht wurden, unterschied sich die endgültige Version kaum vom Entwurf, und in einigen Fällen machte der Revisionsprozess die Arbeit sogar schlechter, indem er neue Fehler einführte. Die Studie fand heraus, dass das geblindete KI-System fast alle Kritiken erfassen konnte, die menschliche Gutachter übersahen, einschließlich mathematischer Fehler und unmöglicher biologischer Behauptungen, während es gleichzeitig Mängel entdeckte, die menschliche Prüfer gänzlich übersehen hatten.

Beim Rückblick auf fünfunddreißig Jahre wissenschaftlicher Literatur stellten die Forscher einen klaren Abwärtstrend in der Qualität fest. Die durchschnittliche Punktzahl der Arbeiten ist seit den 1990er Jahren stetig gesunken. Dieser Rückgang lag nicht daran, dass etablierte Zeitschriften ihre Standards gesenkt hätten, sondern weil sich die Mischung der veröffentlichten Forschung verändert hat. Das Feld hat sich weg von Primärexperimenten, die in „Wet Labs“ durchgeführt werden, hin zu Studien verschoben, die lediglich vorhandene Daten aus öffentlichen Datenbanken reanalysieren und dabei oft formelhafte Vorlagen verwenden, die nicht zur spezifischen Fragestellung passen. Während diese Datenbankstudien billiger und schneller zu produzieren sind, sind sie weita viel wahrscheinlicher anfällig für fundamentale Fehler. Die Studie zeigte, dass gut finanzierte Forschungsteams nicht automatisch bessere Wissenschaft produzieren; sobald ein gewisses Maß an Finanzierung erreicht ist, verbessert mehr Geld die Qualität der Arbeit nicht. Ähnlich verhält es sich mit den teuersten Fachzeitschriften, die nicht zwangsläufig die strengste Wissenschaft veröffentlichen.

Der vielleicht beeindruckendste Teil der Studie war, dass die Forscher ihr eigenes System nutzten, um ihre eigenen Karrieren zu prüfen. Sie speisten 238 ihrer eigenen veröffentlichten Arbeiten in das geblindete System ein. Die KI fand reale Fehler in ihrer Arbeit, darunter Copy-Paste-Fehler in Tabellen, falsch beschriftete Einheiten und statistische Mängel, die sowohl den Autoren als auch den ursprünglichen menschlichen Gutachtern entgangen waren. Das System entdeckte sogar fünf Fehler im Entwurf dieser vorliegenden Studie, bevor sie veröffentlicht wurde. Diese Selbstprüfung demonstrierte, dass kein Wissenschaftler immun gegen Fehler ist und dass eine objektive, automatisierte Kontrolle Fehler aufspüren kann, die menschliche Ermüdung oder Voreingenommenheit übersehen könnten.

Die Forscher kommen zu dem Schluss, dass das derzeitige System der wissenschaftlichen Publikation unter Druck steht, bieten aber einen praktischen Weg nach vorn an. Sie schlagen vor, dass eine einfache, automatisierte Prüfung bei jeder Arbeit durchgeführt werden könnte, bevor sie an menschliche Gutachter geht. Diese Prüfung würde nur wenige Cent pro Arbeit kosten, einen winzigen Bruchteil der Kosten menschlicher Arbeit, könnte aber dennoch tausende Fehler abfangen, die andernfalls unbemerkt blieben. Indem man den Einfluss von Ruhm und Prestige entfernt und sich strikt auf die Logik und die Beweise innerhalb des Textes konzentriert, könnte ein solches System helfen, die Zuverlässigkeit der wissenschaftlichen Literatur wiederherzustellen. Das Ziel ist nicht, menschliche Experten zu ersetzen, sondern ihnen eine bessere Grundlage zu bieten, um sicherzustellen, dass die Wissenschaft, die wir lesen, so solide ist, wie sie vorgibt zu sein.