📊 statistics

The Difference Between "Replicable" and "Not replicable" is not Itself Scientifically Replicable

Ce papier soutient que l'agrégation de verdicts de réplication binaires à travers des expériences non exactes échoue à distinguer de manière fiable les résultats « réplicables » des résultats « non réplicables », car l'hétérogénéité inhérente génère une incertitude irréductible et une variance non identifiable, sapant ainsi les fondements statistiques utilisés pour déclarer une crise de la réplication.

Auteurs originaux : Berna Devezer, Erkan O. Buzbas

Publié 2026-04-30

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Berna Devezer, Erkan O. Buzbas

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Pourquoi nous ne pouvons pas facilement distinguer la « vraie » science de la « fausse » science

Imaginez que vous êtes un juge tentant de décider si une nouvelle recette est « bonne » ou « mauvaise ». Vous demandez à 50 chefs différents de l'essayer.

Si 45 chefs disent : « C'est délicieux ! » et 5 disent : « C'est affreux », vous pourriez conclure que la recette est replicable (bonne).
Si 25 disent « Délicieux » et 25 disent « Affreux », vous pourriez conclure qu'elle n'est pas replicable (mauvaise).

Cet article soutient que cette façon de juger est brisée.

Les auteurs, Berna Devezer et Erkan O. Buzbas, affirment que dans la science moderne, nous ne pouvons pas distinguer de manière fiable la différence entre un résultat « bon » et un « mauvais » simplement en comptant combien de fois il a fonctionné dans différents laboratoires. Même si vous effectuez des milliers d'expériences, les mathématiques indiquent que la frontière entre « replicable » et « non replicable » est invisible.

Le Problème Central : Le Mythe de la « Copie Parfaite »

Pour comprendre pourquoi, nous devons examiner ce qu'est réellement une « réplication ».

Une Réplication Exacte : C'est comme un photocopieur. Vous prenez un document, et la machine éjecte une copie identique. En science, cela signifierait que chaque détail unique (les mêmes personnes, le même équipement, le même moment de la journée, les mêmes instructions) est identique, et que seule la chance aléatoire du tirage change.
La Réalité : Les copies exactes sont presque impossibles. Dans la vie réelle, les réplications sont comme recopier un document à la main. L'une utilise un stylo bleu, l'autre un crayon. L'un écrit sur un bureau, l'autre dans un train. L'un est fatigué, l'autre est énergique.

L'article appelle cela la « non-exactitude ». Parce que chaque laboratoire est légèrement différent, chaque expérience est légèrement différente.

Les Deux Modèles : Le « Secret Partagé » contre le « Pari Indépendant »

Les auteurs utilisent deux modèles statistiques pour expliquer ce qui se passe lorsque nous mélangeons ces copies imparfaites.

1. Le Modèle de Référence (Le « Secret Partagé »)
Imaginez un groupe de chefs qui suivent tous secrètement la même recette maîtresse, mais qui sont tous légèrement mauvais pour la lire.

Si la recette est « difficile à lire » (forte non-exactitude), même si vous faites essayer à 1 000 chefs, leurs résultats resteront désordonnés.
La Leçon : Il existe un « plancher » à la précision que vous pouvez atteindre. Peu importe combien de chefs supplémentaires vous ajoutez, l'incertitude ne disparaît jamais car le « désordre » de la recette elle-même est le problème, et non le nombre de chefs.

2. Le Modèle Opérationnel (Le « Pari Indépendant »)
C'est ainsi que la science fonctionne réellement. Chaque laboratoire réalise sa propre expérience unique et rapporte un simple « Oui » (cela a fonctionné) ou « Non » (cela a échoué).

Les auteurs montrent que lorsque vous ne recevez qu'une réponse « Oui/Non » de chaque laboratoire, vous perdez toute information sur la façon dont les laboratoires différaient.
L'Analogie : Imaginez que vous essayez de deviner la température moyenne d'une ville.
- Scénario A : Vous demandez à 100 personnes de regarder le même thermomètre. Elles voient toutes le même chiffre, mais peut-être regardent-elles toutes mal.
- Scénario B : Vous demandez à 100 personnes de regarder 100 différents thermomètres. Certains sont cassés, certains sont au soleil, d'autres à l'ombre.
- Si vous ne leur demandez que « Fait-il chaud ? (Oui/Non) », vous ne pouvez pas distinguer le Scénario A du Scénario B. Vous obtenez simplement une liste de « Oui » et de « Non ». Vous ne savez pas si les thermomètres sont cassés ou si la météo est simplement chaotique.

La « Crise de la Replication » est une Illusion Statistique

L'article soutient que la célèbre « Crise de la Replication » (l'idée que la moitié de la science est fausse) pourrait être un malentendu causé par de mauvaises mathématiques.

Le Piège : Les scientifiques disent souvent : « Nous avons tenté de répliquer 100 études, et seulement 36 % ont fonctionné. Par conséquent, la science est en crise. »
La Réalité : Les auteurs disent que 36 % est simplement un nombre qui mélange des pommes et des oranges. Parce que chaque laboratoire est différent (non-exact), le « 36 % » ne nous dit pas si la science originale était mauvaise, ou si les laboratoires n'ont tout simplement pas pu s'accorder sur la façon de la mesurer.
Le Verdict : Vous ne pouvez pas regarder une liste de résultats « Oui/Non » et dire : « Ce résultat est définitivement vrai » ou « Ce résultat est définitivement faux ». La structure des données ne contient tout simplement pas assez d'informations pour prendre cette décision.

Pourquoi « Plus de Réplications » ne Résout Pas le Problème

Habituellement, nous pensons : « Si nous ne sommes pas sûrs, faisons plus d'expériences ! »

La Surprise de l'Article : Si les expériences sont « non-exactes » (différents laboratoires, différentes personnes, différents outils), ajouter plus d'expériences revient à ajouter plus de personnes dans une pièce où tout le monde crie dans des langues différentes. Vous obtenez simplement plus de bruit.
La « Taille d'Échantillon Effective » : Les auteurs montrent qu'une étude avec 100 laboratoires différents pourrait n'avoir que la puissance statistique de 5 ou 6 expériences parfaites et identiques. Le « bruit » des différences entre les laboratoires annule l'avantage d'avoir plus de laboratoires.

L'Exemple de Many Labs 4

Les auteurs ont testé leur théorie sur un projet réel appelé « Many Labs 4 », où 17 laboratoires ont tenté de répliquer une célèbre expérience de psychologie sur la réflexion concernant la mort.

Le Résultat : Les laboratoires étaient tous différents. Certains l'ont fait en ligne, d'autres en personne. Certains ont utilisé des questions différentes.
Les Mathématiques : Lorsqu'ils ont calculé le « désordre » (hétérogénéité) de ces 17 laboratoires, ils ont constaté qu'il était si élevé que les données ne pouvaient absolument pas leur dire si le résultat original était vrai ou faux. Les réponses « Oui/Non » étaient trop floues.
La Conclusion : Même avec un projet massif et bien financé, les données étaient trop « floues » pour déclarer un gagnant.

Résumé : Que Devrions-Nous Faire ?

Les auteurs ne disent pas que nous devrions arrêter de faire de la science ou d'effectuer des réplications.

La réplication reste bonne pour apprendre comment les choses fonctionnent, trouver les bonnes mesures et comprendre les détails.
La réplication est mauvaise lorsque nous essayons de l'utiliser comme un simple test « Réussi/Échoué » pour déclarer qu'un domaine entier de la science est une « crise » ou un « succès ».

La Métaphore Finale :
Tenter de décider si un résultat scientifique est « réel » en comptant les votes « Oui/Non » de différents laboratoires, c'est comme tenter de juger la qualité d'une chanson en demandant à 100 personnes de vous la fredonner. Certaines la fredonneront dans une tonalité différente, d'autres oublieront les paroles, et d'autres la fredonneront plus vite. Si vous comptez simplement combien de personnes l'ont « bien comprise », vous ne jugez pas la chanson ; vous jugez simplement à quel point la foule est capable d'imiter la chanson.

L'article conclut que les outils que nous utilisons actuellement pour déclarer une « crise » dans la science sont mathématiquement incapables d'accomplir la tâche qui leur est assignée. Nous ne pouvons pas tracer de manière fiable une ligne entre « replicable » et « non replicable » avec les méthodes actuelles.

1. Énoncé du problème

L'article aborde une faille fondamentale dans les pratiques métascientifiques actuelles concernant les taux de réplication. La communauté scientifique agrège régulièrement des verdicts binaires (répliqué vs non répliqué) issus de multiples études pour estimer un taux moyen de réplicabilité ( $\mu$ ) pour un domaine ou un résultat spécifique. Ce taux est ensuite utilisé pour délimiter les résultats « fiables » des résultats « suspects » ou pour déclarer une « crise de la réplication ».

Les auteurs soutiennent que cette pratique est statistiquement infondée car :

Non-exactitude : Les réplications réelles sont rarement « exactes » (statistiquement équivalentes à la référence). Elles diffèrent par les pools de sujets, les procédures et les contextes, introduisant une hétérogénéité.
Limitation de la structure des données : Les études de réplication standard ne rapportent qu'un seul verdict binaire par expérience. Cette structure de données manque des informations nécessaires pour distinguer le bruit d'échantillonnage de l'hétérogénéité entre expériences.
L'affirmation centrale : La différence entre un résultat « réplicable » (haut $\mu$ ) et un résultat « non réplicable » (bas $\mu$ ) ne peut être distinguée de manière fiable en utilisant les méthodes actuelles, même avec un grand nombre de réplications. L'outillage statistique utilisé pour produire ces verdicts perd son pouvoir discriminant dans des conditions réalistes de non-exactitude.

2. Méthodologie

Les auteurs formalisent le problème en utilisant deux modèles statistiques distincts pour capturer les sources ontologiques de la non-exactitude :

A. Le modèle de référence (Taux latent partagé)

Hypothèse : Toutes les $m$ réplications sont échangeables et dépendent d'un taux latent de réplicabilité unique $\phi$ , tiré d'une distribution de population avec une moyenne $\mu$ et une corrélation intraclasse $\rho$ .
Mécanisme : Le nombre total de succès suit une distribution bêta-binomiale.
Insight clé : Même si $\rho$ (le degré d'hétérogénéité) est connu, la variance de la moyenne estimée $\hat{\mu}$ présente un plafond de variance irréductible lorsque $m \to \infty$ :
$\lim_{m \to \infty} V(\hat{\mu}) = \mu(1-\mu)\rho$
Cela signifie que l'ajout de plus de réplications ne peut éliminer l'incertitude si $\rho > 0$ . Les régimes de haute et de basse réplicabilité auront des intervalles de confiance qui se chevauchent, les rendant indistinguables.

B. Le modèle opérationnel (Taux conditionnellement indépendants)

Hypothèse : Ce modèle reflète la pratique réelle où chacune des $m$ expériences est unique (non exacte) et possède son propre taux de réplicabilité $\phi_i$ , tiré indépendamment d'une distribution de population.
Structure des données : Chaque expérience $i$ contribue exactement par un seul verdict binaire ( $k_i = 1$ ).
Insight clé : Lorsque $k_i = 1$ , le paramètre $\rho$ (hétérogénéité) devient non identifiable à partir des données. La distribution conjointe des résultats binaires se réduit à une simple distribution binomiale $Bin(m, \mu)$ , indépendamment de la vraie valeur de $\rho$ .
Conséquence : Les chercheurs ne peuvent pas déterminer s'ils opèrent dans un régime de faible hétérogénéité (où davantage de réplications aident) ou de haute hétérogénéité (où elles n'aident pas). La structure des données sous-estime systématiquement l'incertitude.

C. Exemples numériques et réanalyse

Les auteurs valident leur théorie par :

Modèles génératifs : Simulation de l'hétérogénéité provenant de (a) l'hétérogénéité de l'échantillon (différentes populations de sujets) et (b) l'hétérogénéité des stimuli/dosages (erreurs de délivrance et biais). Ils montrent comment ces sources physiques se traduisent par des valeurs élevées de $\rho$ .
Étude de cas (Many Labs 4) : Une réanalyse du projet de réplication de la « Théorie de la gestion de la terreur ».
- Ils ont utilisé un modèle auxiliaire à effets aléatoires Normal sur des tailles d'effet continues (Hedges' $g$ ) pour estimer le $\rho$ implicite.
- Ils ont mappé ces estimations sur le modèle de référence pour démontrer que les intervalles de variance résultants sont si larges que la classification binaire est impossible.

3. Contributions clés

Formalisation de la non-identifiabilité : L'article prouve que, sous le design standard d'« un verdict binaire par expérience », le degré de non-exactitude ( $\rho$ ) est mathématiquement non identifiable. Par conséquent, la précision du taux moyen de réplicabilité ne peut être évaluée.
Le plafond de variance irréductible : Il établit que l'hétérogénéité crée une limite stricte sur la précision. Contrairement à l'erreur d'échantillonnage, qui diminue avec $N$ , la variance induite par l'hétérogénéité reste constante quel que soit le nombre de réplications.
Le « paradoxe de la réplication » : Les auteurs démontrent que l'augmentation du nombre de réplications dans un contexte hétérogène peut conduire à un faux sentiment de précision (si $\rho$ est ignoré) ou simplement échouer à distinguer les réplicabilités élevées/basses (si $\rho$ est reconnu).
Critique de l'agrégation : Ils soutiennent que l'agrégation des taux de réplicabilité à travers des littératures diverses (par exemple, « la psychologie dans son ensemble ») produit une moyenne dénuée de sens qui confond des régimes expérimentaux incommensurables.

4. Résultats clés

Perte de discriminabilité : Sous une hétérogénéité réaliste (par exemple, $\rho = 0,15$ ), les intervalles de densité les plus élevés (HDI) à 95 % pour un taux de réplicabilité « élevé » (par exemple, $\mu=0,80$ ) et un taux « faible » (par exemple, $\mu=0,20$ ) se chevauchent considérablement, même avec $m=50$ réplications.
Taille d'échantillon effective : Le nombre effectif de réplications indépendantes ( $m_e$ ) chute drastiquement à mesure que $\rho$ augmente. Par exemple, dans le Projet de reproductibilité : Psychologie ( $m=100$ ), si $\rho=0,20$ , le poids inférentiel équivaut à seulement 5 réplications exactes.
Analyse de Many Labs 4 :
- Le $\rho$ estimé pour la séquence ML4 était élevé (moyenne postérieure $\approx 0,37$ à $0,59$).
- À ce niveau d'hétérogénéité, l'HDI à 95 % pour le taux de réplicabilité estimé couvre presque tout l'intervalle [0, 1].
- Les données ne peuvent pas distinguer si l'effet sous-jacent est véritablement réplicable ou non ; la séquence est « non diagnostique ».
Biais et bruit : Le biais systématique (par exemple, la sous-délivrance de stimuli) déplace la moyenne $\mu$ , tandis que le bruit gonfle $\rho$ . Les deux déforment le taux de réplicabilité apparent et compromettent la capacité à rendre des verdicts binaires.

5. Signification et implications

Réfutation du récit de la « crise » : Les auteurs soutiennent que la « crise de la réplication » ne peut être établie par les méthodes actuelles. Un taux de réplicabilité faible (par exemple, 36 %) est statistiquement indistinguable d'une littérature saine remplie d'études petites et bruyantes, car le taux de base des effets vrais et le degré d'hétérogénéité sont inconnus.
Échec de la démarcation : La distinction binaire entre « réplicable » et « non réplicable » n'est pas une propriété scientifiquement réplicable d'un résultat dans le cadre des méthodologies actuelles.
Recommandations pour la pratique :
- Arrêter les verdicts binaires : Les chercheurs devraient éviter de réduire les résultats de réplication à de simples comptes de « succès/échec » à des fins de démarcation.
- Structures de données plus riches : Pour récupérer des informations sur l'hétérogénéité, les études ont besoin de résultats continus, de multiples mesures par expérience ( $k > 1$ ) ou de designs hiérarchiques.
- Changement de focalisation : La réplication devrait être utilisée pour estimer les magnitudes d'effet, caractériser la variabilité et calibrer les procédures, plutôt que d'agir comme un « tribunal » pour juger de la vérité de résultats individuels.
Avancement théorique : L'article suggère que la résolution des problèmes de réplicabilité nécessite soit des prédictions théoriques plus fortes (pour définir l'ancrage), soit l'identification d'« expériences minimales viables » pour éliminer le bruit auxiliaire, plutôt que de simplement standardiser les protocoles autour d'études de référence arbitraires.

En conclusion, l'article fournit une preuve statistique rigoureuse que le paradigme actuel d'agrégation des verdicts binaires de réplication est fondamentalement incapable de distinguer entre une réplicabilité élevée et faible en présence de l'hétérogénéité inévitable trouvée dans la pratique scientifique.