The ICSE 2026 Shadow PC: Training the Next Generation of Reviewers Through Deliberate Practice

Stellen Sie sich ein riesiges, hochkarätiges Spiel des „Peer-Reviewing“ vor, bei dem Wissenschaftler ihre besten Arbeiten einem Gremium von Preisrichtern vorlegen. In der Welt des Software-Engineerings ist dies die Art und Weise, wie neue Ideen getestet und genehmigt werden. Aber hier ist der Haken: Die meisten dieser Preisrichter lernen während der Arbeit. Sie haben kein Handbuch; sie hoffen einfach, guten Rat von ihren Mentoren zu bekommen oder durch das Lesen der Bewertungen anderer zu lernen. Es ist, als würde man versuchen, ein professioneller Koch zu werden, indem man nur anderen beim Kochen zusieht, ohne jemals erklärt zu bekommen, warum ein Gericht gut oder schlecht schmeckt. Die große Frage ist: Können wir ein echtes, strukturiertes Trainingsprogramm entwickeln, das absolute Anfänger in erfahrene Preisrichter verwandelt, und können wir das für eine riesige Anzahl von Menschen gleichzeitig tun?

Dieses Paper erzählt die Geschichte des ICSE 2026 Shadow PC, eines massiven Experiments in der Lehre des wissenschaftlichen Reviewing. Die Organisatoren haben nicht einfach eine Checkliste verteilt; sie haben das Reviewing wie einen Sport behandelt, der gezieltes Üben (deliberate practice) erfordert. Denken Sie an eine Sportmannschaft, die nicht nur einmal pro Woche ein Spiel bestreitet, sondern Wochen mit Übungen verbringt, Spielvideos analysiert, sofortiges Feedback von Trainern erhält und sogar die Züge der Mitspieler kritisiert. Das Team nutzte ein „Shadow“-System, was bedeutet, dass diese Trainees exakt dieselben Arbeiten wie die echten Preisrichter bewerteten, ihre Meinungen jedoch nicht über die endgültige Entscheidung entschieden. Dies schuf ein sicheres „Übungsfeld“, auf dem Fehler okay waren und das Lernen das einzige Ziel war.

Die Ergebnisse waren überraschend erfolgreich. Von 183 Personen, die mit dem Programm begannen, hielten 102 bis zum Ende durch und bewerteten 117 echte wissenschaftliche Arbeiten. Die Trainees liebten es: 97 % gaben an, dass sie die Erfahrung anderen empfehlen würden. Sogar die Autoren der bewerteten Arbeiten fanden das Feedback in 67 % der Fälle hilfreich. Die Studie legt nahe, dass man durch einen strukturierten, mehrstufigen Ansatz – bei dem man es versucht, scheitert, korrigiert wird und es erneut versucht – eine große Gruppe von Menschen zu kompetenten Reviewern ausbilden kann. Das Paper stellt jedoch auch fest, dass es schwierig war, alle über einen langen Zeitraum hinweg engagiert zu halten, und schlägt vor, dass zukünftige Programme „Teamkapitäne“ (genannt Area Chairs) benötigen könnten, um den Fluss zu steuern und die Energie hochzuhalten.

Das Problem: Das Urteilen durch Zufall lernen

In der Welt der Softwareforschung ist das Peer-Reviewing der Gatekeeper. Es ist der Prozess, bei dem Experten eine neue Arbeit lesen und entscheiden, ob sie gut genug für eine Publikation ist. Aber wie lernen diese Experten das? Normalerweise tun sie es nicht. Sie lernen „implizit“, was eine schicke Art zu sagen ist, dass sie es durch Osmose herausfinden. Ein Doktorand könnte eine harte Kritik von einem erfahrenen Professor erhalten und denken: „Okay, ich schätze, ich muss kritischer sein“, oder er erhält eine vage Kritik und ist verwirrt. Einige glückliche Studenten erhalten direktes Coaching, aber für viele ist es ein Ratespiel.

Da immer mehr Leute Arbeiten einreichen, versinkt das System in Anfragen nach mehr Preisrichtern. Wir brauchen mehr Menschen, die wissen, wie man eine großartige Idee von einer fehlerhaften unterscheidet, aber es gibt keinen klaren Weg dorthin. Es ist, als würde eine Stadt versuchen, 1.000 neue Feuerwehrleute einzustellen, sie aber nur lehren, indem man sie einfach in ein brennendes Gebäude wirft und hofft, dass sie lernen, den Schlauch zu halten.

Die Lösung: Das „Shadow“-Fitnessstudio

Die Autoren dieses Papers beschlossen, dies zu beheben, indem sie einen Shadow PC (Program Committee) schufen. Betrachten Sie den Haupt-PC als die offiziellen olympischen Preisrichter. Der Shadow PC ist das „Trainingslager“ direkt daneben. Die Trainees (meist junge Forscher wie Doktoranden und neue Professoren) bewerteten exakt dieselben Arbeiten wie die echten Preisrichter, aber sie taten dies in einem separaten, sicheren Raum. Ihre Reviews entschieden nicht darüber, wer aufgenommen wurde; sie dienten nur der Praxis.

Die entscheidende Innovation war das gezielte Üben (Deliberate Practice). Anstatt nur zu sagen: „Hier ist eine Arbeit, schreibe ein Review“, war das Programm wie ein Videospiel mit verschiedenen Levels aufgebaut. Es basierte auf der Idee, dass man am besten lernt, wenn man etwas versucht, merkt, dass man schlecht darin ist, spezifisches Feedback erhält und es erneut versucht.

Wie das Trainingslager funktionierte

Das Programm war in mehrere Phenomen unterteilt, von denen jedes eine spezifische Fähigkeit vermitteln sollte:

1. Die „Erst Versuchen“-Phase (Generierung vor Instruktion):
   Normalerweise geben Lehrer erst die Regeln vor, bevor man anfängt. Dieses Programm machte das Gegenteil. Die Teilnehmer wurden gebeten, ein Review zu schreiben, bevor sie irgendwelche Checklisten oder Leitfäden erhielten. Warum? Weil es schwer zu lernen ist, wenn man nicht weiß, was einem fehlt. Durch den ersten Versuch erkannten sie: „Oh, ich wusste gar nicht, dass ich das prüfen muss!“ Dies verwandelte ihre „unbewusste Inkompetenz“ (nicht zu wissen, was man nicht weiß) in „bewusste Inkompetenz“ (zu wissen, dass man etwas lernen muss).

2. Die „Kontrast“-Phase (Kalibrierung):
   Um ihnen zu zeigen, was eine „gute“ Arbeit ausmacht, erhielten sie zwei spezielle Arbeiten. Eine war eine Arbeit, die bereits an einer Top-Konferenz angenommen worden war, und die andere war eine abgelehnte Arbeit, die heimlich so bearbeitet wurde, dass sie offensichtliche Mängel aufwies. Die Trainees mussten beide bewerten. Danach sahen sie, wie die Experten diese bewerteten. Dies half ihnen zu verstehen, was der Unterschied zwischen einer „fehlerhaften, aber guten“ Arbeit und einer „kaputten“ Arbeit ist, und schärfte ihr Urteilsvermögen.

3. Die „Feedback-Schleife“ (Peer-Review der Reviews):
   Da es zu viele Menschen für einen einzelnen Lehrer gab, um alle zu bewerten, bewerteten die Trainees die Reviews einander. Dies basiert auf der Idee, dass „Lehren der beste Weg zum Lernen ist“. Indem sie die Reviews eines anderen kritisierten, mussten sie tief über die Frage nachdenken, was ein gutes Review ausmacht, was ihnen half, ihre eigenen zu verbessern.

4. Die „Echte Sache“-Phase:
   Nach allen Übungen bekamen sie drei echte Arbeiten zugewiesen, die sie eigenständig bewerten sollten. Danach mussten sie diese Arbeiten in einer Gruppe diskutieren und ein „Meta-Review“ (eine Zusammenfassung der Gruppenmeinung) schreiben, genau wie es die echten Preisrichter tun.

5. Das „Debriefing“ (Die Enthüllung):
   Schließlich konnten sie sehen, was die echten Preisrichter über dieselben Arbeiten dachten. Sie konnten ihre Reviews mit den offiziellen vergleichen und sehen, wo sie übereinstimmten und wo sie das Ziel verfehlten.

Die Ergebnisse: Hat es funktioniert?

Das Experiment war ein Erfolg, aber es gab auch Wachstumsschmerzen.

• Skalierbarkeit: Sie bekamen 183 Personen dazu, sich anzumelden. 102 von ihnen schlossen das gesamte Programm ab. Das ist eine Menge Menschen, die gleichzeitig lernen!
• Die Reviews: Diese Trainees bewerteten 117 Arbeiten.
• Das Urteil: 97 % der Teilnehmer sagten, dass sie die Erfahrung anderen empfehlen würden. Sie hatten das Gefühl, viel gelernt zu haben und eine neue Perspektive gewonnen zu haben.
• Feedback der Autoren: Die Personen, die die bewerteten Arbeiten geschrieben hatten, wurden gefragt, ob die Reviews der Trainees hilfreich waren. 67 % sagten ja. Interessanterweise bemerkten 63 % der Autoren auch, dass die Reviews der Trainees mit den Meinungen der offiziellen Preisrichter übereinstimmten, was bedeutet, dass das Training tatsächlich funktionierte, um ihr Denken mit dem der Experten zu synchronisieren.
• Der „konservative“ Bias: Die Trainees waren etwas vorsichtiger als die echten Preisrichter. Sie lehnten Arbeiten häufiger ab und forderten öfter „wesentliche Überarbeitungen“ (major revisions). Die Autoren vermuten, dass dies daran liegt, dass die Trainees nicht damit beschäftigt waren, sich später erneut mit einer korrigierten Fassung befassen zu müssen, weshen sie daher strenger waren.

Die Schwierigkeiten und Zukunftspläne

Es war nicht perfekt. Die größte Herausforderung bestand darin, die Leute bei der Stange zu halten. Das Programm dauerte etwa drei Monate, und gegen Ende hörten einige Menschen auf teilzunehmen, insbesondere während der Diskussionsphase. Die Organisatoren mussten eingreifen und einige der abschließenden Zusammenfassungen selbst schreiben, weil die Gruppen feststeckten.

Die Autoren schlagen einige Korrekturen für das nächste Mal vor:

• Mehr „Teamkapitäne“: Sie schlagen die Schaffung einer neuen Rolle vor, die „Shadow PC Area Chairs“. Dies wären erfahrene Trainees, die eine kleine Gruppe von Reviewern leiten, die Diskussion vorantreiben und unterstützen. Dies würde auch eine Karriereleiter schaffen: Trainee $\rightarrow$ Teamkapitän $\rightarrow$ Echter Preisrichter.
• Bessere Synchronisation: Die Live-Meetings waren gut, aber zu kurz. Sie schlagen vor, sie länger zu gestalten und für verschiedene Zeitzonen aufzuzeichnen.
• Gemeinschaft: Sie möchten dies in einen permanenten Club verwandeln, bei dem ehemalige Teilnehmer zurückkehren, um der nächsten Gruppe zu helfen, und so eine selbsttragende Gemeinschaft zu schaffen.

Das Fazit

Der ICSE 2026 Shadow PC beweist, dass man Menschen beibringen kann, gute wissenschaftliche Preisrichter zu sein, selbst wenn sie als Anfänger beginnen. Durch einen strukturierten, praxisorientierten Ansatz – bei dem man versucht, scheitert, Feedback erhält und es erneut versucht – kann man eine große Gruppe von Menschen auf ein hohes Niveau bringen. Es geht nicht nur darum, mehr Reviewer zu schaffen; es geht darum, eine Pipeline von Führungspersönlichkeiten aufzubauen, die Qualität beurteilen können, um sicherzustellen, dass die Zukunft der Softwareforschung stark und fair bleibt. Das Paper legt nahe, dass wir, wenn wir dieses „Trainingslager“-Modell ständig verfeinern, den Mangel an guten Reviewern lösen können, ohne die Qualität zu opfern.