The ICSE 2026 Shadow PC: Training the Next Generation of Reviewers Through Deliberate Practice

Imaginez un jeu de « revue par les pairs » géant et à enjeux élevés où des scientifiques soumettent leurs meilleurs travaux à un panel de juges. Dans le monde du génie logiciel, c'est ainsi que les nouvelles idées sont testées et approuvées. Mais voici le hic : la plupart de ces juges apprennent sur le tas. Ils n'ont pas de manuel de formation ; ils espèrent simplement recevoir de bons conseils de la part de leurs mentors ou apprendre en lisant les critiques des autres. C'est comme essayer de devenir un chef professionnel en regardant seulement les autres cuisiner, sans jamais qu'on ne vous explique pourquoi un plat est bon ou mauvais. La grande question est la suivante : pouvons-nous construire un véritable programme de formation structuré qui transforme des débutants complets en experts de l'évaluation, et pouvons-nous le faire pour un grand nombre de personnes à la fois ?

Ce document raconte l'histoire de l'ICSE 2026 Shadow PC, une expérience massive consistant à enseigner aux gens comment évaluer des articles scientifiques. Les organisateurs n'ont pas simplement distribué une liste de contrôle ; ils ont traité l'évaluation comme un sport qui nécessite une pratique délibérée. Pensez à une équipe de sport qui ne se contente pas de jouer un match une fois par semaine, mais qui passe des semaines à faire des exercices, à regarder des séquences de matchs, à recevoir des commentaires instantanés de coachs et même à critiquer les mouvements de ses coéquipiers. L'équipe a utilisé un système « shadow » (ombre), ce qui signifie que ces stagiaires ont évalué exactement les mêmes articles que les vrais juges, mais que leurs opinions ne comptaient pas pour la décision finale. Cela a créé un « terrain d'entraînement » sécurisé où les erreurs étaient permises et où l'apprentissage était le seul objectif.

Les résultats ont été étonnamment réussis. Sur 183 personnes ayant commencé le programme, 102 l'ont suivi jusqu'au bout, évaluant 117 articles réels. Les stagiaires ont adoré : 97 % d'entre eux diraient qu'ils recommanderaient cette expérience à d'autres. Même les auteurs des articles évalués ont trouvé les commentaires utiles dans 67 % des cas. L'étude suggère qu'en utilisant une approche structurée en plusieurs étapes — où l'on essaie, on échoue, on est corrigé, puis on réessaie — on peut former un grand groupe de personnes pour devenir des évaluateurs compétents. Cependant, l'article note également que maintenir l'engagement de chacun sur une longue période était difficile, et suggère que les futurs programmes pourraient avoir besoin de « capitaines d'équipe » (appelés Area Chairs) pour aider à gérer le flux et maintenir l'énergie.

Le Problème : Apprendre à juger par accident

Dans le monde de la recherche logicielle, la revue par les pairs est le gardien. C'est le processus par lequel des experts lisent un nouvel article et décident s'il est assez bon pour être publié. Mais comment ces experts apprennent-ils à le faire ? Généralement, ils ne l'apprennent pas. Ils apprennent de manière « implicite », ce qui est une façon élégante de dire qu'ils comprennent par osmose. Un doctorant peut recevoir une critique acerbe d'un professeur chevronné et se dire : « D'accord, je suppose que je dois être plus critique », ou il peut recevoir une critique vague et être confus. Certains étudiants chanceux bénéficient d'un coaching direct, mais pour beaucoup, c'est un jeu de devinettes.

À mesure que le nombre de soumissions augmente, le système est submergé par les demandes de nouveaux juges. Nous avons besoin de plus de personnes capables de distinguer une excellente idée d'une idée défaillante, mais il n'existe aucun chemin clair pour y parvenir. C'est comme si une ville essayait d'embaucher 1 000 nouveaux pompiers mais ne leur enseignait la méthode qu'en les jetant dans un bâtiment en feu en espérant qu'ils apprennent à tenir la lance.

La Solution : La salle de sport « Shadow »

Les auteurs de cet article ont décidé de remédier à cela en créant un Shadow PC (Program Committee). Considérez le PC principal comme les juges olympiques officiels. Le Shadow PC est le « camp d'entraînement » juste à côté. Les stagiaires (principalement des chercheurs en début de carrière comme des doctorants et de nouveaux professeurs) ont évalué les mêmes articles que les vrais juges, mais ils l'ont fait dans un espace séparé et sécurisé. Leurs évaluations ne décidaient pas de l'admission ; elles servaient uniquement de pratique.

L'innovation clé ici était la Pratique Délibérée. Au lieu de simplement dire : « Voici un article, rédigez une critique », le programme a été conçu comme un jeu vidéo avec des niveaux. Il reposait sur l'idée que l'on apprend mieux lorsqu'on essaie quelque chose, qu'on réalise qu'on est mauvais à cela, qu'on reçoit des commentaires spécifiques, et qu'on réessaie.

Comment le camp d'entraînement fonctionnait

Le programme était divisé en plusieurs phases, chacune conçue pour enseigner une compétence spécifique :

1. La phase « Essayer d'abord » (Génération avant instruction) :
   D'habitude, les enseignants vous donnent les règles avant que vous ne commenciez. Ce programme a fait l'inverse. Les participants ont été invités à rédiger une critique avant de recevoir des listes de contrôle ou des guides. Pourquoi ? Parce qu'il est difficile d'apprendre si vous ne savez pas ce qui vous manque. En essayant d'abord, ils ont réalisé : « Oh, je ne savais même pas que je devais vérifier cela ! ». Cela a transformé leur « incompétence inconsciente » (ne pas savoir ce qu'ils ne savaient pas) en « incompétence consciente » (savoir qu'ils avaient besoin d'apprendre).

2. La phase de « Contraste » (Calibration) :
   Pour leur apprendre à quoi ressemble un « bon » article, on leur a donné deux articles spéciaux. L'un était un article déjà accepté dans une conférence de haut niveau, et l'autre était un article rejeté qui avait été secrètement édité pour présenter des défauts évidents. Les stagiaires devaient évaluer les deux. Ensuite, ils ont vu comment les experts les avaient évalués. Cela les a aidés à voir la différence entre un article « imparfait mais bon » et un article « défectueux », affinant ainsi leur jugement.

3. La boucle de rétroaction (Revue par les pairs des revues) :
   Comme il y avait trop de personnes pour qu'un seul enseignant puisse tout noter, les stagiaires ont évalué les revues les uns des autres. Cela repose sur l'idée que « enseigner est la meilleure façon d'apprendre ». En critiquant la revue de quelqu'un d'autre, ils ont dû réfléchir profondément à ce qui rend une revue bonne, ce qui les a aidés à améliorer la leur.

4. La phase « Réalité » :
   Après tous les exercices, on leur a assigné trois articles réels à évaluer de manière autonome. Ensuite, ils ont dû discuter de ces articles en groupe et rédiger une « méta-revue » (un résumé de l'opinion du groupe), tout comme le font les vrais juges.

5. Le Débriefing (La Révélation) :
   Enfin, ils ont pu voir ce que les vrais juges pensaient des mêmes articles. Ils ont pu comparer leurs propres critiques avec les officielles et voir où ils concordaient et où ils avaient manqué la marque.

Les Résultats : Est-ce que cela a fonctionné ?

L'expérience a été un succès, malgré quelques difficultés de croissance.

• Échelle : Ils ont réussi à obtenir 183 inscriptions. 102 d'entre elles ont terminé tout le programme. C'est beaucoup de personnes apprenant en même temps !
• Les Revues : Ces stagiaires ont évalué 117 articles.
• Le Verdict : 97 % des participants ont déclaré qu'ils recommanderaient cette expérience à d'autres. Ils ont estimé avoir beaucoup appris et avoir acquis une nouvelle perspective.
• Retour des Auteurs : Les personnes ayant écrit les articles évalués ont été interrogées pour savoir si les critiques des stagiaires étaient utiles. 67 % ont répondu par l'affirmative. Plus intéressant encore, 63 % des auteurs ont remarqué que les critiques des stagiaires correspondaient aux opinions des juges officiels, ce qui signifie que la formation a réellement fonctionné pour aligner leur pensée sur celle des experts.
• Le biais « Conservateur » : Les stagiaires étaient un peu plus prudents que les vrais juges. Ils ont rejeté des articles plus souvent et ont demandé des « révisions majeures » plus fréquemment. Les auteurs suggèrent que c'est parce que les stagiaires n'avaient pas à gérer le désagrément de devoir relire un article plus tard si celui-ci était corrigé, ils étaient donc plus stricts.

Les Accrocs et les Plans Futurs

Ce n'était pas parfait. Le plus grand défi a été de maintenir l'engagement des participants. Le programme a duré environ trois mois et, vers la fin, certaines personnes ont cessé de participer, notamment durant la phase de discussion. Les organisateurs ont dû intervenir pour rédiger certains des résumés finaux parce que les groupes étaient bloqués.

Les auteurs suggèrent quelques correctifs pour la prochaine fois :

• Plus de « Capitaines d'équipe » : Ils proposent de créer un nouveau rôle appelé « Shadow PC Area Chairs ». Il s'agirait de stagiaires expérimentés qui gèrent un petit groupe de relecteurs, faisant progresser la discussion et apportant leur aide. Cela créerait également une échelle de carrière : Stagiaire $\rightarrow$ Capitaine d'équipe $\rightarrow$ Vrai juge.
• Meilleure Synchronisation : Les réunions en direct étaient excellentes mais trop courtes. Ils suggèrent de les rendre plus longues et de les enregistrer pour les différents fuseaux horaires.
• Communauté : Ils veulent transformer cela en un club permanent où les anciens participants reviennent pour aider à former le groupe suivant, créant ainsi une communauté auto-suffisante.

Ce qu'il faut retenir

L'ICSE 2026 Shadow PC prouve que l'on peut apprendre aux gens comment être de bons juges scientifiques, même s'ils partent de zéro. En utilisant une approche structurée, axée sur la pratique — où l'on essaie, on échoue, on reçoit un feedback, puis on réessaie — on peut former un grand groupe à un niveau élevé. Il ne s'agit pas seulement de produire plus de relecteurs ; il s'agit de construire un vivier de leaders qui savent juger la qualité, garantissant ainsi que l'avenir de la recherche logicielle reste solide et équitable. L'article suggère que si nous continuons à affiner ce modèle de « camp d'entraînement », nous pourrons résoudre la pénurie de bons relecteurs sans sacrifier la qualité.