The ICSE 2026 Shadow PC: Training the Next Generation of Reviewers Through Deliberate Practice

Stel je een gigantisch, hoogwaardig spel van "peer review" voor waarbij wetenschappers hun beste werk indienen bij een panel van rechters. In de wereld van software engineering is dit hoe nieuwe ideeën worden getest en goedgekeurd. Maar hier komt de crux: de meeste van deze rechters leren het vak terwijl ze het uitvoeren. Ze hebben geen trainingshandleiding; ze hopen gewoon dat ze goed advies krijgen van hun mentoren of dat ze leren door de reviews van anderen te lezen. Het is alsof je probeert een professionele chef-kok te worden door alleen maar toe te kijken hoe anderen koken, zonder ooit te horen waarom een gerecht goed of slecht smaakt. De grote vraag is: Kunnen we een echt, gestructureerd trainingsprogramma bous dat beginners transformeert in expertrechters, en kunnen we dat tegelijkertijd voor een enorme groep mensen doen?

Dit artikel vertelt het verhaal van de ICSE 2026 Shadow PC, een grootschalig experiment in het leren beoordelen van wetenschappelijke papers. De organisatoren deelden niet zomaar een checklist uit; ze behandelden het reviewen als een sport die doelgerichte oefening (deliberate practice) vereist. Denk aan een sportteam dat niet alleen één keer per week een wedstrijd speelt, maar wekenlang oefeningen doet, wedstrijdbeelden bekijkt, directe feedback krijgt van coaches en zelfs elkaars bewegingen bekritiseert. Het team gebruikte een "shadow"-systeem, wat betekende dat deze trainees exact dezelfde papers beoordeelden als de echte rechters, maar dat hun meningen niet telden voor de uiteindelijke beslissing. Dit creëerde een veilige "oefenplaats" waar fouten maken mocht en leren het enige doel was.

De resultaten waren verrassend succesvol. Van de 183 mensen die aan het programma begonnen, hielden 102 zich er de hele weg aan vast en beoordeelden zij 117 echte papers. De trainees waren enthousiast: 97% zou de ervaring aan anderen aanbevelen. Zelfs de auteurs van de papers die werden beoordeeld, vonden de feedback in 67% van de gevallen nuttig. De studie suggereert dat door een gestructureerde, meerstaps aanpak te gebruiken—waarbij je probeert, faalt, gecorrigeerd wordt en het opnieuw probeert—je een grote groep mensen competent kunt trainen om reviewers te worden. De paper merkt echter ook op dat het lastig was om iedereen over een langere periode betrokken te houden, en ze suggereren dat toekomstige programma's "teamcaptains" (genaamd Area Chairs) nodig hebben om de workflow te beheren en de energie hoog te houden.

Het Probleem: Leren oordelen bij toeval

In de wereld van softwareonderzoek is peer review de poortwachter. Het is het proces waarbij experts een nieuwe paper lezen en beslissen of deze goed genoeg is voor publicatie. Maar hoe leren deze experts dit te doen? Meestal doen ze dat niet. Ze leren "impliciet", wat een chique manier is om te zeggen dat ze het door osmose ontdekken. Een PhD-student kan een harde review krijgen van een senior professor en denken: "Oké, ik denk dat ik kritischer moet zijn," of ze kunnen een vage review krijgen en in de war raken. Sommige gelukkige studenten krijgen directe coaching, maar voor velen is het een gokspel.

Nu er steeds meer mensen papers indienen, verzuipt het systeem in verzoeken om meer rechters. We hebben meer mensen nodig die weten hoe ze een geweldig idee van een gebrekkig idee onderscheiden, maar er is geen duidelijk pad naar toe. Het is alsof een stad 1.000 nieuwe brandweerlieden probeert aan te nemen, maar hen alleen leert door ze in een brandend gebouw te gooien en te hopen dat ze leren hoe ze de slang moeten vasthouden.

De Oplossing: De "Shadow" Gym

De auteurs van dit paper besloten dit op te lossen door een Shadow PC (Program Committee) te creëren. Beschouw de hoofd-PC als de officiële Olympische juryleden. De Shadow PC is de "trainingskamp" direct ernaast. De trainees (voornamelijk beginnende onderzoekers zoals PhD-studenten en nieuwe professoren) beoordeelden exact dezelfde papers als de echte rechters, maar deden dit in een aparte, veilige ruimte. Hun reviews bepaalden niet wie er werd toegelaten; ze waren enkel bedoeld voor de praktijk.

De belangrijkste innovatie hier was Doelgerichte Oefening. In plaats van alleen te zeggen: "Hier is een paper, schrijf een review," was het programma ontworpen als een videogame met levels. Het was gebouwd op het idee dat je het beste leert wanneer je iets probeert, beseft dat je er slecht in bent, specifieke feedback krijgt en het opnieuw probeert.

Hoe het Trainingskamp werkte

Het programma was onderverdeeld in verschillende fasen, elk ontworpen om een specifieke vaardigheid te leren:

1. De "Eerst Proberen"-fase (Generatie vóór Instructie):
   Normaal gesproken geven leraren je de regels voordat je begint. Dit programma deed het tegenovergestelde. De deelnemers werden gevraagd een review te schrijven voordat ze enige checklists of gidsen kregen. Waarom? Omdat het moeilijk is om te leren als je niet weet wat je mist. Door eerst te proberen, realiseerden zij zich: "Oh, ik wist niet eens dat ik hierop moest controleren!" Dit veranderde hun "onbewuste incompetentie" (niet weten wat ze niet wisten) in "bewuste incompetentie" (weten dat ze iets moesten leren).

2. De "Contrast"-fase (Kalibratie):
   Om hen te leren wat een "goede" paper is, kregen ze twee speciale papers. De ene was een paper die al geaccepteerd was door een topconferentie, en de andere een afgewezen paper die geheim is bewerkt om duidelijke gebreken te bevatten. De trainees moesten beide beoordelen. Daarna zagen ze hoe de experts deze beoordeelden. Dit hielp hen het verschil te zien tussen een "gebrekkige maar goede" paper en een "kapotte" paper, waardoor hun oordeelsvorming werd aangescherpt.

3. De "Feedbackloop" (Peer Review van Reviews):
   Omdat er te veel mensen waren voor één docent om iedereen te beoordelen, beoordeelden de trainees elkaars reviews. Dit is gebaseerd op het idee dat "leren door te doceren de beste manier is om te leren." Door een review van iemand anders te bekritiseren, moesten ze dieper nadenken over wat een goede review maakt, wat hen hielp zichzelf te verbeteren.

4. De "Real Deal"-fase:
   Na alle oefeningen kregen ze drie echte papers toegewezen om zelfstandig te beoordelen. Daarna moesten ze deze papers bespreken met een groep en een "meta-review" schrijven (een samenvatting van de groepsmening), precies zoals de echte rechters doen.

5. De "Debrief" (De Onthulling):
   Ten slotte kregen ze te zien wat de echte rechters over dezelfde papers vonden. Ze konden hun reviews vergelijken met de officiële en zien waar ze overeenkwamen en waar ze de plank missloegen.

De Resultaten: Werkte het?

Het experiment was een succes, maar met enkele groeipijnen.

• Schaal: Ze kregen 183 mensen aan te melden. 102 van hen voltooiden het hele programma. Dat is veel mensen die tegelijkertijd leren!
• De Reviews: Deze trainees beoordeelden 117 papers.
• Het Oordeel: 97% van de deelnemers gaf aan deze ervaring aan anderen aan te bevelen. Ze vonden dat ze veel hadden geleerd en een nieuw perspectief hadden gekregen.
• Feedback van Auteurs: De mensen die de papers schreven die werden beoordeeld, kregen de vraag of de reviews van de trainees nuttig waren. 67% zei van wel. Nog interessanter was dat 63% van de auteurs opmerkte dat de reviews van de trainees overeenkwamen met de meningen van de officiële rechters, wat betekent dat de training er daadwerkelijk in slaagde hun denken af te stemmen op dat van de experts.
• De "Conserveerde" Bias: De trainees waren wat voorzichtiger dan de echte rechters. Ze wezen papers vaker af en vroegen vaker om "grote revisies". De auteurs suggereren dat dit komt doordat de trainees niet met de rompslomp hoefden om te gaan van het later opnieuw lezen van een paper als deze is aangepast, waardoor ze strenger waren.

De Hobbels en Toekomstige Plannen

Het was niet perfect. De grootste uitdaging was om mensen betrokken te houden. Het programma duurde ongeveer drie maanden, en tegen het einde stopten sommige mensen met deelnemen, vooral tijdens de discussiefase. De organisatoren moesten soms ingrijpen en enkele van de laatste samenvattingen schrijven omdat de groepen vastliepen.

De auteurs stellen een paar oplossingen voor voor de volgende keer:

• Meer "Teamcaptains": Ze stellen een nieuwe rol voor genaamd "Shadow PC Area Chairs". Dit zouden ervaren trainees zijn die een kleine groep reviewers managen, de discussie gaande houden en ondersteuning bieden. Dit zou ook een carrièreladder creëren: Trainee $\rightarrow$ Teamcaptain $\rightarrow$ Echte Rechter.
• Betere Synchronisatie: De live-sessies waren geweldig maar te kort. Ze suggereren deze langer te maken en op te nemen voor verschillende tijdzones.
• Gemeenschap: Ze willen dit omvormen tot een permanente club waar oud-deelnemers terugkomen om de volgende groep te helpen trainen, waardoor een zelfvoorzienende gemeenschap ontstaat.

De Conclusie

De ICSE 2026 Shadow PC bewijst dat je mensen kunt leren hoe ze goede wetenschappelijke rechters kunnen zijn, zelfs als ze als beginner beginnen. Door een gestructureerde, praktijkgerichte aanpak te gebruiken—waarbij je probeert, faalt, feedback krijgt en het opnieuw probeert—kun je een grote groep mensen naar een hoog niveau trainen. Het gaat niet alleen om het creëren van meer reviewers; het gaat om het bouwen van een pijplijn van leiders die kwaliteit kunnen beoordelen, zodat de toekomst van het softwareonderzoek sterk en eerlijk blijft. De paper suggereert dat als we dit "trainingskamp"-model blijven verfijnen, we het tekort aan goede reviewers kunnen oplossen zonder de kwaliteit in gevaar te brengen.