Tracking claim changes from preprint to publication across 72,644 biomedical studies using large language models

Stellen Sie sich die Welt der biomedizinischen Forschung als eine riesige Küche vor, in der Wissenschaftler ständig neue Rezepte zusammenrühren (ihre Studien). Lange Zeit wurden diese Rezepte der Öffentlichkeit erst nach einem strengen „Geschmackstest“ durch ein Gremium von Expertenkritikern (Peer-Review) serviert. Doch vor kurzem haben Köche damit begonnen, ihre rohen, ungeprüften Rezepte auf einem öffentlichen schwarzen Brett namens Preprint (wie bioRxiv) zu veröffentlichen, damit jeder sie sofort sehen kann.

Einige Menschen machen sich Sorgen, dass diese Rezepte, da sie noch nicht geschmacklich geprüft wurden, voller Fehler oder Übertreibungen sein könnten. Diese Studie beschloss, diese Sorge auszuräumen, indem sie 72.644 Paare von Rezepten untersuchte: die Originalversion, die auf dem schwarzen Brett gepostet wurde, und die endgültige, genehmigte Version, die nach der offiziellen Absegnung durch die Kritiker im Restaurant serviert wurde.

Hier ist das, was die Forscher herausgefunden haben, wobei sie einen superintelligenten KI-Assistenten (wie einen sehr sorgfältigen Editor) nutzten, um die beiden Versionen zu vergleichen:

1. Die Kernbotschaft bleibt gleich

Betrachten Sie die Hauptaussage einer Studie als die Schlagzeile einer Nachrichtengeschichte. Die Forscher fanden heraus, dass sich die Schlagzeile bei fast 90 % der Studien nicht wesentlich verändert hat.

• 40 % der Zeit war die Schlagzeile exakt dieselbe.
• 50 % der Zeit erhielt die Schlagzeile einen kleinen Schliff oder eine leichte Anpassung, wie etwa die Änderung von „Wir haben ein Heilmittel gefunden“ zu „Wir haben eine vielversprechende Behandlung gefunden“.
• Nur 10 % der Zeit erhielt die Schlagzeile eine komplette Neugestaltung.

Mit anderen Worten: Die „Seele“ der Forschung übersteht den Weg vom schwarzen Brett bis zur endgültigen Veröffentlichung meist unbeschadet.

2. Wissenschaftler werden vorsichtiger, nicht selbstbewusster

Wenn Wissenschaftler einen Preprint veröffentlichen, sind sie oft begeistert und voller Selbstvertrauen. Nachdem die Kritiker ihre Arbeit geprüft haben, neigen sie dazu, die Begeisterung etwas zurückzuschrauben.

• Stellen Sie sich vor, ein Wissenschaftler sagt im Preprint: „Dieses Medikament ist ein Wunder!“
• In der endgültigen Arbeit schreiben sie vielleicht: „Dieses Medikament zeigt vielversprechende Ergebnisse.“
• Die Studie fand heraus, dass Wissenschaftler doppelt so häufig vorsichtiger und zurückhaltender wurden, nachdem sie die Kritik erhalten hatten, als dass sie selbstbewusster wurden. Sie ließen ihre Behauptungen nur selten nach der Begutachtung durch die Kritiker dramatischer klingen.

3. Zeit spielt eine Rolle, aber die Trends verbessern sich

• Das Warten: Wenn eine Studie sehr lange in der Warteschleife der Begutachtung verweilte (die „langsame Spur“), war sie eher zu einer größeren Überarbeitung geneigt (14 % Chance) als jene, die schnell begutachtet wurden (7 % Chance). Es scheint, je länger die Kritiker an einem Rezept kauen, desto wahrscheinlicher ist es, dass sie eine komplette Änderung des Rezepts verlangen.
• Es wird besser: Über die Jahre hinweg (von 2019 bis 2024) ist der Bedarf an großen Überarbeitungen signifikant gesunken. Es ist, als würden die Köche immer besser darin, ihre Rezepte zu schreiben, bevor sie sie überhaupt an die Kritiker senden.

4. Das „Preprint-Sicherheitsnetz“

Die Studie bemerkte auch etwas Interessantes bei Papieren, die es nie auf das schwarze Brett geschafft hatten. Diese Arbeiten wurden doppelt so häufig zurückgezogen (aus dem Register entfernt, weil sie falsch waren) wie Arbeiten, die als Preprint begannen. Es ist, als ob das frühe Veröffentlichen eines Rezepts, damit die Öffentlichkeit es zuerst sehen kann, als Sicherheitskontrolle fungiert, die Fehler abfängt, bevor sie dauerhaft werden.

Das Fazit

Die wichtigste Erkenntung ist einfach: Preprints sind eine zuverlässige Quelle der Wahrheit.

Nur weil eine wissenschaftliche Studie noch nicht „offiziell“ veröffentlicht wurde, bedeutet das nicht, dass ihre Hauptergebnisse wilde Vermutungen sind. Der Weg vom Preprint-schwarzen Brett bis zur endgültigen Veröffentlichung beinhaltet meist nur ein wenig Polieren und keine komplette Neugestaltung. Die zentralen Behauptungen der meisten biomedizinischen Forschung sind solide, selbst noch bevor die endgültigen Kritiker ihre Zustimmung gegeben haben.