When the record makes the result: exposure-linked recording of a continuous outcome can manufacture a spurious treatment effect in real- world evidence

Le piège caché dans les données : quand le « tâtonnement » crée une science de façade

Imaginez que vous soyez un détective tentant de résoudre un mystère à l'aide d'une pile géante de rapports de police. Vous voulez savoir si un nouveau type de serrure empêche mieux les cambriolages que l'ancien. Dans le monde de la science moderne, les chercheurs font quelque chose de très similaire. Au lieu de rapports de police, ils utilisent des « preuves en vie réelle » (Real-World Evidence) — des dossiers numériques massifs provenant d'hôpitaux, comme les dossiers médicaux électroniques, pour voir si de nouveaux traitements fonctionnent réellement. C'est un outil puissant car il observe de vrais patients dans la vraie vie, et non des personnes dans un laboratoire contrôlé.

Mais il y a un piège. Parfois, les personnes qui rédigent les rapports n'utilisent pas une règle ; elles utilisent leurs yeux pour deviner. Si un médecin doit estimer la quantité de sang perdue par un patient, ou la taille d'une plaie, il peut noter un chiffre qui lui semble « juste », plutôt que la vérité exacte. Les scientifiques appellent cela l'« estimation ». Habituellement, nous pensons que ces suppositions ajoutent simplement un peu de bruit, comme des parasites sur une radio. Mais et si le parasite n'était pas aléatoire ? Et si la façon dont le médecin estime la valeur changeait selon le médicament que le patient a pris ? C'est la question effrayante que pose cet article. Il explore un piège caché où la façon dont nous notons les résultats peut accidentellement inventer un remède miracle qui n'existe pas réellement.

Le cas du médicament « magique » qui n'en était pas un

Dans cette étude, des chercheurs ont examiné une vaste collection de 8 années de dossiers hospitaliers provenant d'un seul hôpital à Taïwan. Ils étudiaient un médicament appelé carbetocine, utilisé pour aider à arrêter les saignements après la naissance d'un bébé. Voici le rebondissement : le médicament n'était pas couvert par l'assurance, les patients devaient donc le payer eux-mêmes. Cela signifiait que les médecins savaient exactement qui recevait le médicament et qui ne le recevait pas, créant ainsi une « expérience naturelle » parfaite pour voir si le médicament fonctionnait.

Les chercheurs se sont concentrés sur un résultat spécifique : la quantité de sang perdue par la mère lors d'un accouchement par voie basse. Dans de nombreux hôpitaux, ce chiffre n'est pas mesuré avec une balance ; il est estimé visuellement par le médecin ou l'infirmier. Ils regardent le sang et notent un chiffre, comme « 150 mL » ou « 200 mL ».

Lorsque les chercheurs ont analysé les chiffres de la manière « standard », les résultats étaient incroyables. Les données suggéraient que le médicament réduisait la perte de sang de façon massive : 62 %. La confiance dans ce chiffre était si élevée qu'il ressemblait à une découverte scientifique évidente. Le groupe traité semblait avoir perdu presque pas de sang du tout, tandis que le groupe témoin en avait perdu beaucoup.

Mais les auteurs de cet article ne s'en sont pas arrêtés là. Ils ont commencé à jouer les détectives, cherchant des indices que quelque chose de louche se tramait.

L'indice du « chiffre rond »

La première chose qu'ils ont remarquée est un motif étrange dans les chiffres, tel une empreinte laissée sur une scène de crime. Dans le groupe ayant pris le médicament, environ 60 % des valeurs de perte de sang enregistrées étaient exactement de 30 mL ou 50 mL. En revanche, seulement 2,4 % du groupe témoin présentait ces chiffres bas exacts.

Il s'avère que les médecins ont souvent l'habitude d'arrondir leurs estimations à des chiffres ronds et plaisants (comme 50 ou 100). Mais ici, les médecins semblaient avoir une règle secrète : si le patient prenait le médicament, ils écrivaient presque toujours « 50 mL », même si la perte réelle était plus élevée. C'était comme si les médecins avaient un modèle qui disait : « S'ils ont pris la pilule magique, écrivez 50 ». C'est ce qu'on appelle la « préférence de chiffre » ou l'« accumulation de valeurs » (value heaping). Le groupe traité ne perdait pas seulement moins de sang ; il était enregistré comme perdant moins de sang à cause d'une habitude d'enregistrement.

Le test du « voyage dans le temps »

Pour être sûrs qu'il ne s'agissait pas d'un coup de chance, les chercheurs ont vérifié si le motif changeait au fil du temps. Si le médicament fonctionnait vraiment, l'effet devrait être constant d'une année sur l'autre. Et c'était le cas ! De 2019 à 2025, la médiane de la perte de sang pour le groupe traité était bloquée exactement à 50 mL chaque année. Pendant ce temps, le groupe témoin oscillait entre 150 mL et 200 mL.

C'est un énorme signal d'alarme. Les effets biologiques réels ne se figent généralement pas à la même valeur exacte pendant sept années consécutives. Cette rigidité suggère une règle d'enregistrement, et non un miracle biologique. Les chercheurs ont également tenté de corriger les données à l'aide de techniques statistiques standards (comme l'ajustement selon l'année ou l'état de santé du patient), mais la « réduction de 62 % » restait exactement la même. Cela a prouvé que le problème n'était pas que les groupes étaient différents, mais que la manière dont les résultats étaient écrits était différente.

Le test de réalité du « seuil »

L'indice le plus accablant est venu lorsqu'ils ont examiné les chiffres sous un autre angle. Ils se sont demandé : « Combien de femmes ont réellement eu une hémorragie dangereuse (hémorragie du post-partum), définie par une perte de 500 mL ou plus ? »

Lorsqu'ils ont examiné cette question binaire « oui ou non », la magie a disparu.

• Groupe médicament : 3,2 % ont eu des saignements abondants.
• Groupe témoin : 4,2 % ont eu des saignements abondants.
• Résultat : Il n'y avait aucune différence significative.

La « réduction de 62 % » n'existait que dans les chiffres estimés et imprécis. Lorsqu'ils ont regardé le seuil réel de danger, le médicament ne semblait pas aider du tout. En fait, à l'extrémité extrême (perte de 1 000 mL ou plus), le groupe médicament présentait légèrement plus de cas que le groupe témoin, ce qui est l'opposé de ce qu'un médicament miracle devrait faire.

La simulation : prouver l'illusion

Pour prouver que cette habitude d'enregistrement pouvait à elle seule créer un tel faux résultat, les chercheurs ont construit une simulation informatique. Ils ont créé un monde fictif où le médicament n'avait absolument aucun effet (l'effet réel était de zéro). Ils ont programmé l'ordinateur pour enregistrer la perte de sang du groupe « traité » avec le même biais : en bloquant les valeurs basses à 30 ou 50 mL, tout en laissant le groupe témoin plus naturel.

Le résultat ? L'ordinateur a généré une fausse « réduction de 62 % » qui paraissait tout aussi impressionnante et statistiquement significative que les données réelles. Cela a confirmé que le biais d'enregistrement différentiel était suffisant pour fabriquer de toutes pièces un effet de traitement massif et convaincant.

La leçon à retenir : Faites confiance à la règle, pas à l'estimation

Cet article ne dit pas que le médicament ne fonctionne certainement pas ; il dit que la « réduction de 62 % » trouvée dans les chiffres de perte de sang estimés est probablement un mensonge créé par la façon dont les médecins ont consigné les données.

Les auteurs concluent que lorsque nous utilisons des données en vie réelle, nous devons être prudents avec les résultats qui sont simplement « devinés » ou « estimés ». Si la façon dont nous enregistrons les données change en fonction de qui a reçu le traitement, nous pouvons accidentellement inventer un remède.

La leçon pour l'avenir :

1. Vérifiez l'arrondi : Avant de croire un résultat important issu de données estimées, vérifiez si un groupe arrondit ses chiffres à 50 ou 100 alors que l'autre ne le fait pas.
2. Regardez les seuils « réels » : Ne vous fiez pas seulement à la moyenne. Vérifiez si le traitement aide réellement les personnes à franchir la ligne de danger (comme le seuil de 500 mL de saignement).
3. Utilisez des mesures objectives : Dans la mesure du possible, utilisez des mesures effectuées par des machines (comme un test d'hémoglobine) plutôt que des estimations humaines.

En bref, un effet qui semble large et précis dans une étude basée sur des estimations humaines pourrait bien n'être que le reflet du stylo du médecin, et non du corps du patient. La « magie » était dans le carnet de notes, pas dans le médicament.