An index to quantify scientific debt

Stellen Sie sich die Welt der Wissenschaft wie eine riesige, belebte Bibliothek vor, in der Forscher ständig neue Bücher schreiben. Seit Jahrzehnten ist der bekannteste Weg, den Erfolg eines Autors zu beurteilen, der „h-Index“. Denken Sie an dies wie an einen „Popularitätswettbewerb“-Score: Wenn ein Wissenschaftler einen h-Index von 20 hat, bedeutet das, dass er 20 Bücher geschrieben hat, die jeweils von mindestens 20 anderen Menschen ausgeliehen und besprochen wurden. Je höher der Wert, desto einflussreicher gilt der Autor und desto wahrscheinlicher ist es, dass er Fördergelder oder einen Job erhält. Es ist ein zukunftsorientiertes Ehrenabzeichen, unter der Annahme, dass ein hoher Wert bedeutet, dass der Autor weiterhin großartige Arbeit leisten wird.

Aber was passiert, wenn eines dieser „großen“ Bücher sich als Lüge herausstellt? Was, wenn die Daten gefälscht wurden oder die Ergebnisse einfach nur ein Fehler waren? In der realen Welt zieht die Bibliothek ein Buch, wenn es als falsch bewiesen wurde, aus dem Regal und setzt einen großen „RETRACTED“-Stempel (Zurückgezogen) darauf. Der alte Popularitätsscore (der h-Index) ändert sich jedoch nicht; das schlechte Buch zählt immer noch zur Berühmtheit des Autors. Dies schafft ein Problem: Ein Wissenschaftler könnte einen hohen Score aufgebaut haben, der teilweise auf Büchern basiert, die nun als Unsinn bekannt sind. Dieses Paper führt eine neue Idee ein, um dieses Ungleichgewicht zu beheben. Es schlägt vor, dass wir einen Weg brauchen, um nicht nur die guten Bücher zu messen, sondern auch die „wissenschaftliche Schuld“, die durch die schlechten verursacht wird. Es ist wie die Erkenntnis, dass ein Bankkontostand nur dann gut aussieht, wenn man die massiven Überziehungsgebühren ignoriert, die im Hintergrund anfallen.

Der neue Score: Der „z-Index“

Der Autor dieses Papers, der aus einem zukünftigen Datum im Jahr 2026 schreibt, schlägt eine neue Metrik namens z-Index vor. Wenn der h-Index Ihren wissenschaftlichen „Erfolg“ misst, misst der z-Index Ihre „Schuld“.

So funktioniert es: Jedes Mal, wenn ein Paper zurückgezogen wird, erhöht dies den z-Index eines Wissenschaftlers. Aber es ist nicht nur ein einfaches „Ein Strike“-System. Das Paper argumentt, dass ein Rückzug in einem superberühmten, hochkarätigen Journal eine viel größere Sache ist als ein Rückzug in einem kleineren Journal. Daher addiert der z-Index den „Impact Factor“ (einen Score dafür, wie berühmt und einflussreich ein Journal ist) jedes Journals, in dem ein zurückgezogenes Paper veröffentlicht wurde.

Denken Sie an ein Spiel mit Stühlen, bei dem die Stühle unterschiedliche Punktwerte haben. Wenn Sie einen kleinen, wackeligen Stuhl umstoßen, verlieren Sie ein paar Punkte. Aber wenn Sie einen riesigen, goldenen Thron umstoßen, verlieren Sie massiv an Punkten. Der z-Index ist das Gesamtgewicht aller Stühle, die Sie umgestoßen haben.

Die Balance zwischen „Leistung“ und „Schuld“

Das Paper schlägt vor, dass wir nicht nur auf den h-Index schauen sollten, um ein wahres Bild des Wertes eines Wissenschaftlers zu erhalten. Stattdessen sollten wir die Differenz betrachten: h minus z.

• Positives Ergebnis: Wenn Ihr „guter Buch“-Score (h) höher ist als Ihre „schlechte Buch“-Schuld (z), sind Sie immer noch ein Netto-Positiv-Beitragender.
• Negatives Ergebnis: Wenn Ihre Schuld höher ist als Ihre Leistungen, ist Ihr Nettowert negativ. Dies deutet darauf hin, dass Ihre Arbeit der wissenschaftlichen Gemeinschaft in der Bilanz eher schadet als nützt.

Der Autor verwendet ein reales Beispiel (aus der Perspekten des Datums 2026 des Papers) unter Einbeziehung eines Wissenschaftlers namens Ranga Dias. In diesem Szenario hat Dias einen h-Index von 19, was beeindruckend klingt. Er hat jedoch fünf zurückgezogene Paper in sehr berühmten Journalen wie Nature und Physical Review Letters. Wenn man die „Berühmtheits-Scores“ dieser Journale zusammenrechnet, springt sein z-Index auf etwa 124. Sein Endwert (19 minus 124) ist eine massive -105. Diese negative Zahl fungiert als Warnflagge und deutologiert, dass die Fehlinformationen, die er verbreitet hat, seine validen Beiträge überwiegen.

Zeit spielt eine Rolle: Die „verzögerte Strafe“

Das Paper erkennt auch, dass es darauf ankommt, wann ein Fehler korrigiert wird. Wenn ein Wissenschaftler erkennt, dass er einen ehrlichen Fehler gemacht hat, und diesen schnell korrigiert, ist der Schaden gering. Aber wenn er den Prozess über Jahre hinweg verschleppt, verbreitet sich die Fehlinformation weiter, und die „Schuld“ wächst.

Um dies zu berücksichtigen, erstellt der Autor einen „modifizierten z-Index“ (genannt z-Tilde). Diese Version nutzt eine spezielle mathematische Funktion, die wie ein Penalty-Timer wirkt:

• Wenn ein Paper schnell zurückgezogen wird (innerhalb eines Jahres), ist die Strafe klein.
• Wenn der Rückzug lange dauert (wie zwei Jahre oder mehr), verdoppelt oder vervierfacht sich die Strafe sogar.

Unter Verwendung dieses „zeitgewichteten“ Systems berechnet der Autor die Scores neu. Für Ranga Dias wächst die Schuld noch stärker (auf etwa 165), da seine Rückzüge viele Monate lang bearbeitet wurden. Sein Endwert sinkt auf -146.

Interessanterweise betrachtet das Paper auch zwei Nobelpreisträger, Gregg Semenza und Thomas Südhof. Obwohl sie riesige h-Indizes (223 und 238) haben, ist ihre kumulierte Schuld aus zurückgezogenen Papern so hoch, dass sich ihre Nettoscores signifikant ändern. Für Semenza wird der h minus z-tilde Wert zu einer massiven -227. Südhof hingegen bleibt mit 176 positiv, was bedeutet, dass trotz seiner Rückzüge seine validen Leistungen seine wissenschaftliche Schuld überwiegen. Dies deutet darauf, dass selbst die am meisten gefeierten Wissenschaftler einen „Netto-negativen“ Einfluss haben können, wenn sie zu viel Fehlinformationen lausen lassen, obwohl in Südhofs Fall sein Vermächtnis netto positiv bleibt.

Die eigene Scorecard der Bibliotheken

Das Paper beschränkt sich nicht nur auf einzelne Wissenschaftler; es wendet dieselbe Logik auf die Journale selbst an. Genau wie Wissenschaftler haben auch Journale ihre Scores. Der Autor berechnet den z-Index für die Top 20 Journale der Welt.

Die Ergebnisse sind erschreckend. Die beiden berühmtesten Journale, Nature und Science, haben massive h-Indizes (1495 und 1433), was zeigt, dass sie viele einflussreiche Paper veröffentlichen. Sie haben jedoch auch enorme z-Indizes (3650 und 2809). Wenn der „Zeit-Penalty“ angewendet wird, bläht sich ihre Schuld auf 8290 und 6350 auf.

Das Paper weist darauf hin, dass diese Journale auf einem Berg von „wissenschaftlichem Schutt“ sitzen. Während sie berühmt für ihre Leistungen sind, sind sie auch verantwortlich für eine enorme Menge an Fehlinformationen, die lange Zeit zur Bereinigung brauchten. Im Gegensatz dazu hat das New England Journal of Medicine (NEJM) einen viel niedrigeren Schuldenscore im Verhältnis zu seinem Ruhm. Der Autor legt nahe, dass dies daran liegen könnte, dass das NEJM strengere Regeln zur Datenteilung hat, was hilft, Fehler schneller zu erfassen.

Warum das wichtig ist

Das Paper kommt zu dem Schluss, dass die Wissenschaft einen Weg braucht, um „negativen Einfluss“ genauso gut zu messen wie „positiven Einfluss“. Derzeit zählt das System nur die Siege. Durch die Einführung des z-Index hofft der Autor, Wissenschaftler und Journale dazu zu ermutigen, vorsichtiger zu sein.

Die Kernbotschaft ist: Wenn Journale schlechte Paper schneller zurückziehen könnten (idealerweise innerhalb eines Jahres), würden die „Schuld“-Scores signifikant sinken und die meisten Wissenschaftler und Journale wieder einen positiven Nettowert hätten. Das Paper behauptet nicht, das Problem des wissenschaftlichen Fehlverhaltens zu lösen, aber es bietet ein neues Werkzeug an – ein „Schulden-Meter“ –, um das Problem sichtbar zu machen und die wissenschaftliche Gemeinschaft dazu zu bewegen, ihr Verhalten zu korrigieren. Es ist ein Aufruf, aufzuhören, die schlechten Bücher in der Bibliothek zu ignorieren, und anzfangen, die Kosten der Lügen zu zählen.