Protocol for the development of a tool (INSPECT-IPD) to identify problematic randomised controlled trials when individual participant data are available
Dit artikel schetst het protocol voor de ontwikkeling van INSPECT-IPD, een nieuwe tool die ontworpen is om problematische gerandomiseerde gecontroleerde onderzoeken te identificeren door het evalueren en implementeren van forensische controles op individuele deelnemersgegevens door middel van een combinatie van empirische testen en internationale deskundigenconsensus.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Stel je voor dat je een chef-kok bent die probeert de beste soep ter wereld te maken. Om dit te doen, verzamel je recepten van honderden verschillende koks (dit zijn Randomized Controlled Trials, of RCT's). Je proeft een klein beetje van elk recept om te zien of de soep lukt. Meestal lees je gewoon het recept dat de kok heeft opgeschreven.
Maar wat als sommige van die koks hebben gelogen? Wat als ze de ingrediëntenlijst hebben verzonnen, of zelfs deden alsof ze de soep wel hadden gekookt? Alleen het lezen van het receptkaart is niet altijd genoeg om een leugenaar te ontmaskeren.
Dit artikel gaat over het bouwen van een nieuwe, superkrachtige loep genaamd INSPECT-IPD. Hier is hoe het werkt, in eenvoudige stappen uitgelegd:
Het Probleem: Het "Receptkaart" is niet genoeg
De auteurs hebben al een hulpmiddel gebouwd genaamd INSPECT-SR dat de receptkaarten controleert op rode vlaggen. Maar ze realiseerden zich dat je soms de eigenlijke soeppot moet zien—de rauwe, individuele ingrediënten—om zeker te weten of de kok de waarheid spreekt.
In de wereld van de wetenschap wordt deze "soeppot" Individual Participant Data (IPD) genoemd. Dit is de ruwe data van elk individu in de studie. Het artikel merkt op dat wanneer wetenschappers naar deze ruwe data kunnen kijken, ze veel vaker nep of defecte studies vinden (zoals 44% van de neppe studies te vinden versus slechts 2% wanneer ze alleen naar de receptkaart keken).
Het Doel: De "Forensische Keuken" Tool Bouwen
Het team wil een nieuw hulpmiddel bousmen, INSPECT-IPD, om wetenschappers te helpen deze ruwe data te controleren. Maar ze kunnen niet zomaar gokken welke controles ze moeten gebruiken. Ze moeten een "menu" van controles maken die ook echt werken.
Hiervoor voeren ze een vijfstappenproject uit:
Stap 1: Het verzamelen van de gereedschappen
Eerst maken ze een enorme lijst van elke mogelijke manier om ruwe data te controleren. Het is alsof je alle mogelijke keukenapparaten verzamelt: weegschalen, thermometers, microscopen en zelfs AI-detectoren. Ze hebben deze lijst verkregen van experts en eerder onderzoek.
Stap 2: De "Echt vs. Nep" Test
Vervolgens gaan ze deze apparaten testen.
- Ze zullen 15 echte datasets nemen (echte soeprecepten).
- Ze zullen 15 neppe datasets creëren met behulp van een AI (zoals ChatGPT) om te simulteren hoe een leugenaar nepdata zou samenstellen.
- Ze zullen 30 verschillende experts vragen om de apparaten op deze datasets te gebruiken.
- Het Doel: Om te zien welke apparaten de neppe soep daadwerkelijk opsporen en welke verwarrend of nutteloos zijn. Ze willen weten: Is deze controle gemakkelijk te begrijpen? Valt het de slechte data daadwerkelijk?
Stap 3: De Stem van de Expert (Delphi-enquête)
Zod_dat ze weten welke apparaten werken, zullen ze een grote groep internationale experts (statistici, artsen, redacteuren en zelfs patiënten) vragen om over hen te stemmen.
- Ze zullen elke controle beoordelen op een schaal van 1 tot 9 op basis van: "Hoe nuttig is dit?" en "Hoe gemakkelijk is het te begrijpen?".
- Ze willen alleen de controles behouden waarvan bijna iedereen vindt dat ze zowel nuttig als gemakkelijk in gebruik zijn.
Stap 4: Het Definitieve Menu
De experts zullen virtueel samenkomen om de definitieve lijst te bepalen.
- Als een controle geweldig is in het betrappen van leugenaars maar erg moeilijk te begrijpen is, kunnen ze deze verplaatsen naar een "specialistische sectie" of een betere instructiehandleiding schrijven.
- Het resultaat is een concept INSPECT-IPD tool—een stapsgewijze handleiding voor het controleren van ruwe data.
Stap 5: De "Proefrit"
Ten slotte laten ze echte gebruikers de tool uitproberen.
- Ze zullen mensen vragen die Systematic Reviews schrijven (de soepchefs) en Journal Editors (de gezondheidsinspecteurs van het restaurant) om de tool op echte studies te gebruiken.
- Ze zullen vragen: "Was dit gemakkelijk in gebruik? Hielp het u om te bepalen of een studie betrouwbaar was?"
- Op basis van hun feedback zullen ze de tool nog één laatste keer aanpassen voordat ze deze publiekelijk vrijgeven.
Belangrijke Spelregels
Het artikel is heel duidelijk over wat dit hulpmiddel niet is:
- Het is geen leugendetectortest: Het zal niet zeggen: "Deze persoon is een crimineel." Het zegt alleen: "Deze data ziet er verdacht uit, dus wees voorzichtig."
- Het is niet voor iedereen: Je kunt dit alleen gebruiken als je toegang hebt tot de ruwe data (de IPD). Als je alleen het gepubliceerde artikel hebt, moet je de oudere tool gebruiken (INSPECT-SR).
- Het is geen toverstaf: De auteurs geven toe dat naarmate AI beter wordt in het vervalsen van data, de tool bijgewerkt moet worden, net zoals antivirussoftware updates nodig heeft.
Het Grote Plaatje
De auteurs geloven dat als we een goede, gemakkelijk te gebruiken tool hebben om ruwe data te controleren, tijdschriften ermee kunnen beginnen te eisen dat wetenschappers hun ruwe data vaker delen. Dit kan de wetenschap eerlijker maken, omdat als je weet dat iemand je "soeppot" met een loep gaat controleren, je minder snel geneigd bent om het te vervalsen.
Kortom: Dit artikel is het blauwdruk voor het bouwen van een nieuwe, hoogtechnologische kwaliteitscontrolekit voor wetenschappelijke studies, ontworpen om neppe data te betrappen door naar de ruwe ingrediënten te kijken in plaats van alleen naar het receptkaart.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.