Protocol for the development of a tool (INSPECT-IPD) to identify problematic randomised controlled trials when individual participant data are available
Ce document expose le protocole de développement d'INSPECT-IPD, un nouvel outil conçu pour identifier les essais contrôlés randomisés problématiques en évaluant et en mettant en œuvre des contrôles forensiques sur les données individuelles des participants par une combinaison de tests empiriques et de consensus d'experts internationaux.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
Imaginez que vous êtes un chef essayant de préparer la meilleure soupe du monde. Pour ce faire, vous rassemblez les recettes de centaines de cuisiniers différents (ce sont des essais contrôlés randomisés, ou RCT). Vous goûtez un peu chaque recette pour voir si la soupe fonctionne. Généralement, vous vous contentez de lire la fiche de recette que le cuisinier a écrite.
Mais et si certains de ces cuisiniers avaient menti ? Et s'ils avaient inventé la liste des ingrédients, ou même prétendu avoir cuisiné la soupe ? Lire la fiche de recette seule ne permet pas toujours de démasquer un menteur.
Ce document porte sur la création d'une nouvelle loupe surpuissante appelée INSPECT-IPD. Voici comment elle fonctionne, décomposée en étapes simples :
Le Problème : La « Fiche de Recette » ne suffit pas
Les auteurs ont déjà construit un outil appelé INSPECT-SR qui vérifie les fiches de recettes pour détecter les signaux d'alarme. Mais ils ont réalisé que, parfois, il faut voir la véritable marmite de soupe — les ingrédients bruts, individuels — pour savoir avec certitude si le cuisinier dit la vérité.
Dans le monde de la science, cette « marmite de soupe » est appelée Données Individuelles des Participants (IPD - Individual Participant Data). Ce sont les données brutes de chaque personne ayant participé à l'étude. Le document note que lorsque les scientifiques peuvent examiner ces données brutes, ils trouvent beaucoup plus souvent des études fausses ou défectueuses (comme trouver 44 % d'études fausses contre seulement 2 % lorsqu'on ne regardait que la fiche de recette).
L'Objectif : Construire l'outil de la « Cuisine Forensique »
L'équipe veut construire un nouvel outil, INSPECT-IPD, pour aider les scientifiques à vérifier ces données brutes. Mais ils ne peuvent pas deviner quels contrôles utiliser. Ils doivent construire un « menu » de contrôles qui fonctionnent réellement.
Pour ce faire, ils mènent un projet en cinq étapes :
Étape 1 : Rassembler les outils
D'abord, ils dressent une liste géante de toutes les manières possibles de vérifier les données brutes. C'est comme rassembler tous les gadgets de cuisine possibles : balances, thermomètres, microscopes et même des détecteurs d'IA. Ils ont obtenu cette liste auprès d'experts et de recherches antérieures.
Étape 2 : Le test « Vrai vs Faux »
Ensuite, ils vont tester ces gadgets.
- Ils prendront 15 ensembles de données réels (de vraies recettes de soupe).
- Ils créeront 15 ensembles de données faux en utilisant une IA (comme ChatGPT) pour simuler la façon dont un menteur pourrait concocter de fausses données.
- Ils demanderont à 30 experts différents d'utiliser les gadgets sur ces ensembles de données.
- Le But : Voir quels gadgets repèrent réellement la fausse soupe et lesquels sont déroutants ou inutiles. Ils veulent savoir : Ce contrôle est-il facile à comprendre ? Détecte-t-il réellement les mauvaises données ?
Étape 3 : Le vote des experts (Enquête Delphi)
Une fois qu'ils savent quels gadgets fonctionnent, ils demanderont à un vaste groupe d'experts internationaux (statisticiens, médecins, éditeurs et même des patients) de voter sur ceux-ci.
- Ils évalueront chaque contrôle sur une échelle de 1 à 9 selon : « Quel est le degré d'utilité ? » et « Quel est le degré de facilité de compréhension ? ».
- Ils ne conserveront que les contrôles sur lesquels presque tout le monde est d'accord pour dire qu'ils sont à la fois utiles et faciles à utiliser.
Étape 4 : Le menu final
Les experts se réuniront (virtuellement) pour décider de la liste finale.
- Si un contrôle est excellent pour attraper les menteurs mais très difficile à comprendre, ils pourront le déplacer dans une « section spécialisée » ou rédiger un meilleur manuel d'instructions pour celui-ci.
- Le résultat sera un projet d'outil INSPECT-IPD — un guide étape par étape pour vérifier les données brutes.
Étape 5 : Le « Test de Conduite »
Enfin, ils laisseront les utilisateurs du monde réel essayer l'outil.
- Ils demanderont aux personnes qui rédigent des Revues Systématiques (les chefs de soupe) et aux Éditeurs de Revues (les inspecteurs sanitaires des restaurants) d'utiliser l'outil sur de réelles études.
- Ils demanderont : « Était-ce facile à utiliser ? Cela vous a-t-il aidé à décider si une étude était digne de confiance ? »
- Sur la base de leurs commentaires, ils ajusteront l'outil une dernière fois avant de le rendre public.
Règles importantes du jeu
Le document est très clair sur ce que cet outil n'est pas :
- Ce n'est pas un test de détection de mensonge : Il ne dira pas « Cette personne est un criminel ». Il dira simplement : « Ces données semblent suspectes, soyez prudent ».
- Ce n'est pas pour tout le monde : Vous ne pouvez l'utiliser que si vous avez accès aux données brutes (l'IPD). Si vous n'avez que l'article publié, vous devez utiliser l'ancien outil (INSPECT-SR).
- Ce n'est pas une baguette magique : Les auteurs admettent qu'à mesure que l'IA s'améliore pour falsifier les données, l'outil devra être mis à jour, tout comme un logiciel antivirus a besoin de mises à jour.
La vue d'ensemble
Les auteurs pensent que si nous avons un outil bon et facile à utiliser pour vérifier les données brutes, les revues pourraient commencer à exiger que les scientifiques partagent leurs données brutes plus souvent. Cela pourrait rendre la science plus honnête car, si vous savez que quelqu'un va examiner votre « marmite de soupe » avec une loupe, vous serez moins tenté de la truquer.
En bref : Ce document est le plan de construction d'un nouveau kit de contrôle qualité de haute technologie pour les études scientifiques, conçu pour détecter les fausses données en examinant les ingrédients bruts plutôt que la simple fiche de recette.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.