Practitioner Allegiance Risk Scale (PARS-6): Development of a Theory-Informed Instrument for Screening Investigator Allegiance-Related Risk Across Intervention Research
Dit artikel presenteert de theoretische ontwikkeling en structuur van de Practitioner Allegiance Risk Scale (PARS-6), een nieuw instrument bestaande uit zes items dat is ontworpen om kenmerken gerelateerd aan de allegiantie van de onderzoeker systematisch te screenen en te documenteren tijdens de data-extractie in systematische reviews van interventieonderzoek, waarbij expliciet wordt verduidelijkt dat het dient als een beschrijvende risicindicator in plaats van een definitieve maatstaf voor bias.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van wetenschappelijk onderzoek bestaat er een stille maar krachtige kracht die de resultaten van een studie kan doen kantelen zonder dat iemand het merkt. Dit wordt onderzoeksloyaliteit (investigator allegiance) genoemd. Dit gebeurt wanneer een wetenschapper die een nieuwe behandeling test, ook een gelovige is in die behandeling, een ontwikkelaar van de methoden ervan, of iemand die deze jarenlang publiekelijk heeft geprezen. Net zoals een ouder van nature het beste in zijn eigen kind ziet, kan een onderzoeker met een diepe persoonlijke of professionele band met een therapie of medicijn de studie, de data interpreteren of de bevindingen op een manier rapporteren die de behandeling beter doet lijken dan zij in werkelijkheid is. Dit fenomeen is goed bekend in het vakgebied van de psychotherapie, waar decennia aan onderzoek hebben aangetoond dat de persoon die de studie leidt, vaak de uitkomst beïnvloedt. Echter, voor onderzoekers die alles bestuderen van meditatie tot chirurgie en voeding, is er geen standaard, betrouwbare manier geweest om voor deze bias te controleren. Zonder een gemeenschappelijk instrument zou het ene reviewteam een studie als potentieel bevooroordeeld kunnen markeren, terwijl een ander team, kijkend naar dezelfde bewijslast, dit volledig zou missen, wat leidt tot verwarring over wat de wetenschap daadwerkelijk zegt.
Om dit probleem op te lossen, heeft een team van onderzoekers een nieuw instrument ontwikkeld genaamd de Practitioner Allegiance Risk Scale, of PARS-6. Zie dit als een gestructureerde checklist die is ontworpen om wetenschappers te helpen de specifieke relaties tussen een onderzoeker en de behandeling die zij bestuderen te ontdekken. Het instrument meet niet of een studie fout is of dat de onderzoeker oneerlijk handelde; het documenteert simpelweg de structurele omstandigheden die tot bias kunnen leiden. De schaal bestaat uit zes specifieke vragen die reviewers beantwoorden voor elke studie die zij onderzoeken. Deze vragen zoeken naar zaken als of de auteur een langdurige beoefenaar is van de traditie die wordt bestudeerd, of de studie werd gefinancierd door een organisatie met een financieel belang bij het succes van de behandeling, of of de auteur eerder publieke lezingen heeft gegeven of artikelen heeft geschreven waarin de behandeling werd geprezen. Elk vraagstuk wordt beantwoord met een van de drie opties: de relatie is aanwezig, het is bevestigd afwezig, of er is simpelweg niet genoeg publieke informatie om het te kunnen zeggen.
De onderzoekers ontwikkelden dit instrument door drie verschillende manieren uit te werken waarop loyaliteit een studie kan beïnvloeden. De eerste is ervaringsgericht (experiential), waarbij de persoonlijke beoefening van een techniek door een onderzoeker de manier waarop zij de resultaten zien vormgeeft. De tweede is institutioneel, waarbij de baan, financiering of carrièreprogressie van een onderzoeker afhangt van het succes van de behandeling. De derde is reputatiegericht (reputational), waarbij een onderzoeker die publiekelijk heeft beloofd dat een behandeling werkt, een psychologische druk voelt om de data de ondersteuning van die belofte te laten bieden. Door te controleren op deze zes specifieke soorten relaties, produceert het instrument een eenvoudige score, bekend als de Allegiance Risk Index, die varieert van nul tot zes. Een score van nul betekent dat er geen loyaliteitsgerelateerde relaties zijn gevonden in de publieke registers, terwijl een score van zes betekent dat alle zes de soorten relaties zijn gedocumenteerd. De auteurs benadrukken zorgvuldig dat een hoge score niet bewijst dat de studie gebrekkig is, noch dat een lage score garandeert dat deze perfect is. Het is simpelweg een vlag die het reviewteam vertelt om nauwkeuriger te kijken of om een speciale test uit te voeren om te zien of het verwijderen van de hoog scorende studies de uiteindelijke conclusie verandert.
Om te garanderen dat het instrument consistent werkt, hebben de onderzoekers een strikt proces ingebouwd. Voordat men de schaal toepast, moet iedereen die de schaal wil gebruiken een trainingsoefening doorlopen om er zeker van te zijn dat zij de regels op dezelfde manier interpreteren als de rest. Wanneer twee mensen dezelfde studie scoren, moeten zij het eens worden over de antwoorden; als zij het oneens zijn, helpt een derde persoon bij de besluitvorming. Het instrument bevat ook een "betrouwbaarheidsbeoordeling" voor elk antwoord, waardoor reviewers kunnen aangeven of zij een duidelijke verklaring in een paper vonden of dat zij moesten gissen op basis van indirecte aanwijzingen. De ontwikkelaars testten de schaal eerst op zichzelf, door deze toe te passen op hun eigen onderzoeksteam. Zij ontdekten dat een van de hoofdauteurs een persoonlijke connectie had met de meditatietraditie die werd bestudeerd, wat het instrument correct identificeerde als een enkel punt op de schaal. Deze zelfcontrole toonde aan dat het systeem transparant gebruikt kon worden, zelfs door de mensen die het creëerden.
Het artikel presenteert deze schaal als een werk in uitvoering, een "levend instrument" dat wordt vrijgegeven aan de wetenschappelijke gemeenschap zodat anderen het kunnen gebruiken en testen. De auteurs erkennen dat het instrument nog niet bewezen is dat het in elke situatie bevooroordeelde resultaten voorspelt, en dat de drempel voor wat een "hoog risico" score telt, een tijdelijke suggestie is in plaats van een vaste regel. Zij nodigen andere onderzoeksteams uit om de schaal in hun eigen reviews te gebruiken en de resultaten in een publiek register te delen. Deze collectieve inspanning is bedoeld om genoeg praktijkgegevens te verzamelen om uiteindelijk te bewijzen of de schaal accuraat studies identificeert waarbij loyaliteit de waarheid mogelijk kleurt. Door een duidelijke, gedeelde methode te bieden voor het opsporen van deze verborgen invloeden, hopen de onderzoekers het proces van het beoordelen van wetenschappelijk bewijs consistenter en betrouwbaarder te maken, zodat de conclusies die we trekken over wat werkt gebaseerd zijn op de feiten, en niet op de persoonlijke betrokkenheid van de wetenschappers die ze verzameld hebben.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.