Practitioner Allegiance Risk Scale (PARS-6): Development of a Theory-Informed Instrument for Screening Investigator Allegiance-Related Risk Across Intervention Research
Dieses Paper präsentiert die theoretische Entwicklung und Struktur der Practitioner Allegiance Risk Scale (PARS-6), eines neuen sechs Items umfassenden Instruments, das darauf ausgelegt ist, Merkmale im Zusammenhang mit der Investigator Allegiance während der Datenextraktion in systematischen Übersichtsarbeiten zur Interventionsforschung systematisch zu screenen und zu dokumentieren, wobei explizit klargestellt wird, dass es als deskriptiver Risikoindikator und nicht als definitives Maß für Bias dient.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der wissenschaftlichen Forschung gibt es eine leise, aber mächtige Kraft, die die Ergebnisse einer Studie beeinflussen kann, ohne dass es jemand bemerkt. Man nennt dies Investigator Allegiance (Untersuchergeneigtheit). Dies geschieht, wenn ein Wissenschaftler, der eine neue Behandlung testet, gleichzeitig ein Verfechter dieser Behandlung ist, ein Entwickler ihrer Methoden ist oder jemand, der sie jahrelang öffentlich verteidigt hat. Genau wie ein Elternteil ganz natürlich das Beste in seinem eigenen Kind sieht, kann ein Forscher mit einer tiefen persönlichen oder beruflichen Verbindung zu einer Therapie oder einem Medikament eine Studie unbewusst so konzipieren, die Daten so interpretieren oder die Ergebnisse so berichten, dass die Behandlung besser aussieht, als sie es tatsächlich ist. Dieses Phänomen ist in der Psychotherapie bekannt, wo jahrzehntelange Forschung gezeigt hat, dass die Person, die die Studie leitet, oft das Ergebnis beeinflusst. Doch für Forscher, die alles von Meditation über Chirurgie bis hin zu Ernährung untersuchen, gab es bisher keine standardisierte, zuverlässige Methode, um nach dieser Voreingenommenheit zu suchen. Ohne ein gemeinsames Werkzeug könnte ein Review-Team eine Studie als potenziell voreingenommen einstufen, während ein anderes Team, das dieselben Belege betrachtet, dies völlig übersieht, was zu Verwirrung darüber führt, was die Wissenschaft tatsächlich aussagt.
Um dieses Problem zu lösen, hat ein Team von Forschern ein neues Instrument namens Practitioner Allegiance Risk Scale, oder kurz PARS-6, entwickelt. Betrachten Sie es als eine strukturierte Checkliste, die den Wissenschaftlern helfen soll, die spezifischen Beziehungen zwischen einem Forscher und der von ihm untersuchten Behandlung aufzuspüren. Das Werkzeug misst nicht, ob eine Studie falsch ist oder ob der Forscher unehrlich gehandelt hat; es dokumentiert stattdessen lediglich die strukturellen Bedingungen, die zu einer Voreingenommenheit führen könnten. Die Skala besteht aus sechs spezifischen Fragen, die die Reviewer für jede von ihnen untersuchte Studie beantworten. Diese Fragen suchen nach Dingen wie der Frage, ob der Autor ein langjähriger Praktizierender der untersuchten Tradition ist, ob die Studie von einer Organisation finanziert wurde, die ein finanzielles Interesse am Erfolg der Behandlung hat, oder ob der Autor zuvor öffentliche Vorträge gehalten oder Artikel geschrieben hat, in denen er die Behandlung gelobt hat. Jede Frage wird mit einer von drei Optionen beantwortet: die Beziehung ist vorhanden, sie ist nachweislich abwesend oder es liegen schlichtweg nicht genügend öffentliche Informationen vor, um dies zu beurteilen.
Die Forscher entwickelten dieses Werkzeug, indem sie drei verschiedene Arten kartierten, wie Allegiance eine Studie beeinflussen kann. Die erste ist die erfahrungsbasierte (experiential), bei der die persönliche Praxis eines Technikers die Sichtweise auf die Ergebnisse prägt. Die zweite ist die institutionelle (institutional), bei der die Arbeit, die Finanzierung oder der berufliche Aufstieg eines Forschers vom Erfolg der Behandlung abhängt. Die dritte ist die reputationsbasierte (reputational), bei der ein Forscher, der öffentlich versprochen hat, dass eine Behandlung wirkt, unter einem psychologischen Druck steht, die Daten so darzustellen, dass sie dieses Versprechen stützen. Durch das Überprüfen dieser sechs spezifischen Arten von Beziehungen liefert das Werkzeug einen einfachen Wert, den sogenannten Allegiance Risk Index, der von null bis sechs reicht. Ein Wert von Null bedeutet, dass keine allegiance-bezogenen Beziehungen in der öffentlichen Dokumentation gefunden wurden, während ein Wert von sechs bedeutet, dass alle sechs Arten von Beziehungen dokumentiert wurden. Die Autoren betonen vorsichtig, dass ein hoher Wert nicht beweist, dass die Studie fehlerhaft ist, noch dass ein niedriger Wert garantiert, dass sie perfekt ist. Es ist lediglich ein Warnsignal, das dem Review-Team sagt, genauer hinzusehen oder einen speziellen Test durchzuführen, um zu sehen, ob das Entfernen der hoch bewerteten Studien die endgültige Schlussfolgerung verändert.
Um sicherzustellen, dass das Werkzeug konsistent funktioniert, haben die Forscher einen strengen Prozess eingebaut. Bevor jemand die Skala anwendet, muss er eine Trainingsübung durchlaufen, um sicherzustellen, dass er die Regeln genauso interpretiert wie alle anderen auch. Wenn zwei Personen dieselbe Studie bewerten, müssen sie sich über die Antworten einigen; wenn sie uneins sind, hilft eine dritte Person bei der Entscheidung. Das Werkzeug enthält zudem eine „Konfidenzbewertung“ (confidence rating) für jede Antwort, die es den Reviewern ermöglicht, festzuhalten, ob sie eine klare Aussage in einer Arbeit gefunden haben oder ob sie auf der Grundlage indirekter Hinweise mutmaßen mussten. Die Entwickler testeten die Skala zuerst an sich selbst, indem sie sie auf ihr eigenes Forschungsteam anwandten. Sie fanden heraus, dass einer der leitenden Autoren eine persönliche Verbindung zur untersuchten Meditationstradition hatte, was das Tool korrekt als einen einzelnen Punkt auf der Skala identifizierte. Dieser Selbstcheck demonstrierte, dass das System transparent eingesetzt werden kann, selbst von den Personen, die es selbst geschaffen haben.
Das Paper präsentiert diese Skala als ein laufendes Projekt, als ein „lebendes Instrument“, das der wissenschaftlichen Gemeinschaft zur Nutzung und zum Testen zur Verfügung gestellt wird. Die Autoren räumen ein, dass das Werkzeug noch nicht bewiesen hat, in jeder Situation voreingenommene Ergebnisse vorherzusagen, und dass die Schwelle dafür, was als „hohes Risiko“ gilt, eher ein vorläufiger Vorschlag als eine feste Regel ist. Sie laden andere Forschungsteams ein, die Skala in ihren eigenen Reviews zu verwenden und ihre Ergebnisse in einem öffentlichen Register zu teilen. Diese kollektive Anstrengung soll dazu dienen, genügend reale Daten zu sammeln, um letztendlich zu beweisen, ob die Skala tatsächlich Studien identifiziert, in denen die Allegiance die Wahrheit verzerrt. Durch die Bereitstellung einer klaren, gemeinsamen Methode zum Aufspüren dieser verborgenen Einflüsse hoffen die Forscher, den Prozess der Überprüfung wissenschaftlicher Erkenntnisse konsistenter und vertrauenswürdiger zu gestalten und sicherzustellen, dass die Schlussfolgerungen, die wir über die Wirksamkeit ziehen, auf Fakten basieren und nicht auf den persönlichen Überzeugungen der Wissenschaftler, die sie erhoben haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.