Protocol for the development of a tool (INSPECT-IPD) to identify problematic randomised controlled trials when individual participant data are available
Dieses Papier skizziert das Protokoll für die Entwicklung von INSPECT-IPD, einem neuen Werkzeug, das darauf ausgelegt ist, problematische randomisierte kontrollierte Studien zu identifizieren, indem es durch eine Kombination aus empirischer Prüfung und internationalem Expertenkonsens forensische Kontrollen an individuellen Teilnehmerdaten evaluiert und implementiert.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Koch, der versucht, die beste Suppe der Welt zu kochen. Um dies zu erreichen, sammeln Sie Rezepte von Hunderten verschiedener Köche (dies sind randomisierte kontrollierte Studien, oder RCTs). Sie probieren von jeder Suppe ein wenig, um zu sehen, ob sie schmeckt. Normalerweise lesen Sie einfach nur die Rezeptkarte, die der Koch aufgeschrieben hat.
Aber was, wenn einige dieser Köche gelogen haben? Was, wenn sie die Zutatenliste erfunden oder sogar so getan haben, als hätten sie die Suppe überhaupt gekocht? Das bloße Lesen der Rezeptkarte reicht nicht immer aus, um einen Lügner zu entlarven.
In diesem Papier geht es darum, eine neue, super-starke Lupe namens INSPECT-IPD zu bauen. So funktioniert sie, in einfachen Schritten erklärt:
Das Problem: Die „Rezeptkarte“ reicht nicht aus
Die Autoren haben bereits ein Werkzeug namens INSPECT-SR entwickelt, das die Rezeptkarten auf Warnsignale überprüft. Aber sie haben erkannt, dass man manchmal auch den eigentlichen Topf mit der Suppe sehen muss – die rohen, einzelnen Zutaten –, um sicher zu sein, ob der Koch die Wahrheit sagt.
In der Welt der Wissenschaft wird dieser „Topf mit der Suppe“ als Individualisierte Patientendaten (IPD) bezeichnet. Es handelt sich dabei um die Rohdaten von jeder einzelnen Person in der Studie. Das Papier stellt fest, dass Wissenschaftler viel häufiger auf gefälschte oder fehlerhafte Studien stoßen, wenn sie sich die Rohdaten ansehen (das sind etwa 44 % bei gefälschten Studien im Vergleich zu nur 2 %, wenn sie nur die Rezeptkarte betrachtet haben).
Das Ziel: Das Werkzeug für die „forensische Küche“ zu bauen
Das Team möchte ein neues Werkzeug namens INSPECT-IPD entwickeln, das Wissenschaftlern hilft, diese Rohdaten zu überprüfen. Aber sie können nicht einfach raten, welche Prüfungen sie anwenden sollen. Sie müssen ein „Menü“ an Prüfungen erstellen, die tatsächlich funktionieren.
Dazu führen sie ein fünfstufiges Projekt durch:
Schritt 1: Die Werkzeuge sammeln
Zuerst erstellen sie eine riesige Liste aller möglichen Wege, um Rohdaten zu überprüfen. Es ist, als würde man jedes mögliche Küchengerät sammeln: Waagen, Thermometer, Mikroskope und sogar KI-Detektoren. Diese Liste haben sie von Experten und aus bisheriger Forschung erhalten.
Schritt 2: Der „Echt vs. Gefälscht“-Test
Als Nächstes werden sie diese Gadgets testen.
- Sie werden 15 echte Datensätze (echte Suppenrezepte) nehmen.
- Sie werden 15 gefälschte Datensätze mithilfe einer KI (wie ChatGPT) erstellen, um zu simulieren, wie ein Lügner Daten fälschen könnte.
- Sie werden 30 verschiedene Experten bitten, die Gadgets auf diesen Datensätzen anzuwenden.
- Das Ziel: Zu sehen, welche Gadgets die gefälschte Suppe tatsächlich erkennen und welche verwirrend oder nutzlos sind. Sie wollen wissen: Ist diese Prüfung leicht zu verstehen? Erkennt sie tatsächlich die schlechten Daten?
Schritt 3: Die Expertenabstimmung (Delphi-Umfrage)
Sobeder sie wissen, welche Gadgets funktionieren, werden sie eine große Gruppe internationaler Experten (Statistiker, Ärzte, Editoren und sogar Patienten) bitten, darüber abzustimmen.
- Sie werden jede Prüfung auf einer Skala von 1 bis 9 bewerten basierend auf: „Wie nützlich ist das?“ und „Wie leicht ist es zu verstehen?“
- Sie wollen nur die Prüfungen behalten, bei denen fast alle zustimmen, dass sie sowohl nützlich als auch leicht zu verwenden sind.
Schritt 4: Das endgültige Menü
Die Experten werden sich (virtuell) treffen, um die endgültige Liste zu entscheiden.
- Wenn eine Prüfung großartig darin ist, Lügner zu entlarven, aber sehr schwer zu verstehen ist, könnten sie in einen „Spezialistenbereich“ verschoben oder mit einer besseren Bedienungsanleitung versehen werden.
- Das Ergebnis ist ein Entwurf des INSPECT-IPD-Tools – eine Schritt-für-Schritt-Anleitung zur Überprüfung von Rohdaten.
Schritt 5: Die „Testfahrt“
Schließlich werden sie echte Anwender das Werkzeug ausprobieren lassen.
- Sie werden Menschen fragen, die Systematische Übersichtsarbeiten schreiben (die Suppen-Chefs) und Journal-Editoren (die Gesundheitsinspektoren der Restaurants), das Tool auf echten Studien anzuwenden.
- Sie werden fragen: „War dies einfach zu benutzen? Hat es Ihnen geholfen, zu entscheiden, ob eine Studie vertrauenswürdig ist?“
- Basierend auf diesem Feedback werden sie das Tool ein letztes Mal anpassen, bevor sie es der Öffentlichkeit zugänglich machen.
Wichtige Regeln des Spiels
Das Papier stellt sehr klar, was dieses Werkzeug nicht ist:
- Es ist kein Lügendetektortest: Es wird nicht sagen: „Diese Person ist ein Krimineller.“ Es sagt nur: „Diese Daten sehen verdächtig aus, also seien Sie vorsichtig.“
- Es ist nicht für jeden: Sie können dies nur verwenden, wenn Sie Zugang zu den Rohdaten (den IPD) haben. Wenn Sie nur die veröffentlichte Arbeit vorliegen haben, müssen Sie das ältere Werkzeug (INSPECT-SR) verwenden.
- Es ist kein Zauberstab: Die Autoren geben zu, dass das Tool aktualisiert werden muss, wenn die KI besser darin wird, Daten zu fälschen, genau wie Antivirensoftware Updates benötigt.
Das große Ganze
Die Autoren glauben, dass, wenn wir ein gutes, leicht zu bedienendes Werkzeug zur Überprüfung von Rohdaten haben, Fachzeitschriften damit beginnen könnten, von Wissenschaftlern zu verlangen, ihre Rohdaten häufiger zu teilen. Dies könnte die Wissenschaft ehrlicher machen, denn wenn man weiß, dass jemand den „Topf mit der Suppe“ mit einer Lupe prüft, ist man weniger geneigt, etwas zu fälschen.
Kurz gesagt: Dieses Papier ist der Bauplan für ein neues, hochmodernes Qualitätskontroll-Kit für wissenschaftliche Studien, das darauf ausgelegt ist, gefälschte Daten zu entlarven, indem es auf die rohen Zutaten statt nur auf die Rezeptkarte schaut.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.