Imaginez la science comme une gigantesque partie mondiale de « téléphone arabe », mais au lieu de transmettre un murmure le long d'une ligne, les scientifiques se transmettent des idées et des expériences complexes à travers le monde. Dans le domaine du génie logiciel, les chercheurs construisent des outils, testent des théories et écrivent du code pour résoudre des problèmes. Mais voici le hic : ce n'est pas parce qu'une équipe dit : « Hé, ce code fonctionne parfaitement ! » que cela signifie qu'il fonctionnera pour tous les autres. C'est là que la réplication entre en jeu. La réplication, c'est comme demander à un autre groupe d'amis de jouer au même jeu avec les mêmes règles pour voir s'ils obtiennent le même score. C'est l'ultime vérification de la vérité. Si la première équipe gagne, et que la deuxième équipe gagne aussi, nous pouvons être assez certains que le jeu n'est pas truqué. Mais si la deuxième équipe perd, ou obtient un score étrangement différent, nous devons nous demander : ont-ils mal joué ? La première équipe a-t-elle eu de la chance ? Ou le jeu est-il simplement trop complexe pour être joué de la même manière deux fois ?

La grande question qui taraude les scientifiques est la suivante : Comment décider si la deuxième équipe a réellement « gagné » ou « perdu » ? Par le passé, c'était comme un arbitre criant « But ! » ou « Pas de but ! » en se basant sur une intuition, ou peut-être en regardant simplement le tableau d'affichage en disant : « Eh bien, ils sont assez proches, je suppose. » Mais sans un règlement clair, un arbitre peut déclarer un match réussi tandis qu'un autre le déclare un échec, même si les scores sont identiques. Cela rend impossible la construction d'un socle de connaissances fiable, car nous ne savons pas quels jeux valent vraiment la peine d'être rejoués.

Le mystère du grand tableau de score

Dans cet article, Giuseppe Destefanis, Martin Shepperd et Leila Yousefi ont décidé d'agir comme des détectives pour résoudre le mystère de la façon dont les ingénieurs logiciels jugent ces jeux de réplication. Ils n'ont pas inventé un nouveau jeu ; ils ont simplement examiné les tableaux de score des dernières années (plus précisément les études publiées entre 2021 et 2025) pour voir comment les arbitres faisaient leur travail.

Ils ont trouvé un total de 10 études récentes qui tentaient de répliquer des expériences antérieures de génie logiciel. Lorsqu'ils ont commencé à lire les tableaux de score, ils ont réalisé que les arbitres utilisaient un mélange chaotique de règles. C'était comme si certains arbitres utilisaient une règle, d'autres une boule de cristal, et d'autres encore devinaient simplement en fonction de l'apparence des joueurs.

Le chaos dans le tableau de score
Les auteurs ont découvert que la façon dont ces études étaient jugées était totalement désordonnée.

• Le problème du « pressentiment » : Dans plusieurs cas, les chercheurs ont simplement utilisé le « jugement d'expert ». C'est comme un arbitre qui dirait : « J'ai regardé le match, et j'ai eu l'impression que c'était une victoire », sans montrer de chiffres ni expliquer pourquoi. Dans 3 des 10 études, la raison du verdict final n'était même pas clairement énoncée. C'était une boîte mystère !
• Le piège du « mélange » : Trois études ont décidé de sauter la question de savoir si « cette réplication spécifique a fonctionné ? » et ont plutôt déversé toutes les données du jeu original et des nouveaux jeux dans un seul grand pot pour obtenir une moyenne. Les auteurs appellent cela le « regroupement » (pooling). Bien que le mélange de données puisse être utile plus tard, l'article soutient qu'on ne peut pas simplement sauter l'étape de vérification pour savoir si le nouveau jeu correspondait bien à l'ancien. C'est comme dire : « Nous ne savons pas si ce nouveau joueur est bon, mais si nous mélangeons ses statistiques avec celles de l'ancienne équipe, la moyenne semble correcte ! »
• Les outils manquants : L'article souligne que les arbitres n'utilisaient pas les meilleurs outils disponibles. Ils n'utilisaient pas d'« intervalles de prédiction » (qui consistent à dessiner une zone de sécurité sur le tableau de score pour voir si le nouveau score rentre dans la plage attendue) ni de « méthodes bayésiennes » (une façon sophistiquée de mettre à jour vos croyances à mesure que de nouvelles preuves arrivent). Au lieu de cela, ils s'appuyaient souvent sur des vérifications simples par « oui/non » qui pourraient passer à côté des nuances de la situation.

Les verdicts étaient éparpillés
Lorsque les auteurs ont examiné les résultats finaux de ces 10 études, les réponses étaient confuses :

• 5 études ont déclaré que la réplication était « partielle » ou « mitigée ».
• 2 ont déclaré qu'elle était un « succès ».
• 1 a déclaré qu'elle avait « échoué ».
• 1 a été déclarée « inconcluante ».
• 1 étude n'a même pas donné de verdict final, malgré la réalisation de 11 nouvelles expériences !

Le plus gros problème identifié par les auteurs est que, sans règles claires écrites avant le début du jeu, il est impossible de savoir si un « succès » est réel ou juste un coup de chance. Par exemple, une étude a affirmé qu'une réplication était réussie simplement parce qu'un expert l'a estimé ainsi, sans préciser quels chiffres auraient fait d'elle un échec. Une autre étude a comparé deux nombres mais n'a pas précisé à quel point ils devaient être proches pour compter comme une correspondance.

Le nouveau règlement

À cause de ce désordre, les auteurs proposent un nouvel ensemble de quatre principes pour réparer les tableaux de score. Ils ne disent pas avoir résolu tout le problème, mais ils offrent un point de départ pour rendre les choses plus équitables.

1. Écrire les règles d'abord : Avant même de regarder les résultats, vous devez écrire exactement ce qui compte comme une victoire et ce qui compte comme une défaite. Vous ne pouvez pas décider des règles après la fin du match simplement parce que vous aimez le score.
2. Vérifier la « compatibilité », pas seulement la « victoire » : Au lieu de simplement demander « Ont-ils obtenu un score élevé ? », demandez : « Le nouveau score rentre-t-il dans la zone de sécurité du score ancien ? ». Il s'agit de voir si les résultats sont compatibles, et non de savoir s'ils sont simplement statistiquement significatifs.
3. Ne pas sauter la vérification : Vous ne pouvez pas simplement mélanger toutes les données ensemble (regroupement) pour éviter le travail difficile de vérifier si la nouvelle expérience a réellement fonctionné. Vous devez d'abord vérifier le jeu individuel.
4. Il est acceptable de dire « Je ne sais pas » : Si les données sont trop floues ou si les chiffres sont trop larges, il vaut mieux déclarer le résultat « inconcluant » plutôt que de forcer un verdict de « succès » ou d'« échec ». Admettre l'incertitude est plus honnête que de prétendre savoir quelque chose que l'on ne sait pas.

Pour montrer comment cela fonctionne, les auteurs ont repris l'une des études confuses (où un expert disait simplement « Ça a marché ! ») et l'ont réévaluée en utilisant leurs nouvelles règles. Sous le nouveau système, comme l'étude originale n'avait pas écrit les règles ni les chiffres, le verdict passerait de « Succès » à « Inconcluant ». Cela ne signifie pas que l'expérience a échoué ; cela signifie simplement que nous n'avons pas encore assez d'informations pour dire qu'elle a réussi.

L'essentiel

L'article conclut qu'actuellement, la réplication en génie logiciel est un peu comme un jeu où les arbitres inventent les règles au fur et à mesure. En adoptant ces nouveaux principes — écrire les règles à l'avance, vérifier la compatibilité et être honnête face à l'incertitude — nous pouvons commencer à construire un socle de connaissances en lequel tout le monde peut avoir confiance. Les auteurs admettent qu'ils n'ont examiné que 10 études, il ne s'agit donc que du début de la conversation, et non de la réponse finale. Mais si nous voulons savoir quels outils et théories logicielles sont réellement fiables, nous devons arrêter de deviner et commencer à jouer selon un règlement clair et partagé.