The ICSE 2026 Shadow PC: Training the Next Generation of Reviewers Through Deliberate Practice

Imagina un juego gigante y de alto riesgo de "revisión por pares", donde los científicos presentan sus mejores trabajos a un panel de jueces. En el mundo de la ingeniería de software, así es como se prueban y aprueban las nuevas ideas. Pero aquí está el truco: la mayoría de estos jueces están aprendiendo sobre la marcha. No tienen un manual de entrenamiento; simplemente esperan recibir buenos consejos de sus mentores o aprender leyendo las revisiones de otras personas. Es como intentar convertirse en un chef profesional viendo solamente a otras personas cocinar, sin que nunca se te diga por qué un plato sabe bien o mal. La gran pregunta es: ¿Podemos construir un programa de formación real y estructurado que convierta a principiantes totales en jueces expertos, y podemos hacerlo para un gran número de personas a la vez?

Este artículo cuenta la historia del Shadow PC de la ICSE 2026, un experimento masivo para enseñar a la gente cómo revisar artículos científicos. Los organizadores no se limitaron a entregar una lista de verificación; trataron la revisión como un deporte que requiere práctica deliberada. Piensa en ello como un equipo deportivo que no solo juega un partido una vez a la semana, sino que pasa semanas haciendo ejercicios, viendo grabaciones de partidos, recibiendo retroalimentación instantánea de los entrenadores e incluso criticando los movimientos de sus compañeros. El equipo utilizó un sistema "shadow" (en la sombra), lo que significa que los aprendices revisaron exactamente los mismos artículos que los jueces reales, pero sus opiniones no contaban para la decisión final. Esto creó un "campo de práctica" seguro donde cometer errores estaba bien y el único objetivo era el aprendizaje.

Los resultados fueron sorprendentemente exitosos. De 183 personas que comenzaron el programa, 102 lo completaron hasta el final, revisando 117 artículos reales. Los aprendices adoraron la experiencia: el 97% dijo que recomendaría la experiencia a otros. Incluso los autores de los artículos revisados sintieron que la retroalimentación fue útil el 67% de las veces. El estudio sugiere que, mediante el uso de un enfoque estructurado de varios pasos —donde intentas, fallas, recibes correcciones y lo intentas de nuevo— puedes entrenar a un gran grupo de personas para que se conviertan en revisores competentes. Sin embargo, el artículo también señala que mantener a todos involucrados durante un período prolongado fue complicado, y sugieren que los programas futuros podrían necesitar "capitanes de equipo" (llamados Area Chairs) para ayudar a gestionar el flujo y mantener la energía alta.

El Problema: Aprender a Juzgar por Accidente

En el mundo de la investigación de software, la revisión por pares es el guardián. Es el proceso mediante el cual los expertos leen un nuevo artículo y deciden si es lo suficientemente bueno para ser publicado. Pero, ¿cómo aprenden estos expertos a hacerlo? Por lo general, no lo hacen. Aprenden "implícitamente", que es una forma elegante de decir que lo descubren por ósmosis. Un estudiante de doctorado podría recibir una crítica dura de un profesor experimentado y pensar: "Está bien, supongo que debo ser más crítico", o podría recibir una vaga y sentirse confundido. Algunos estudiantes con suerte reciben coaching directo, pero para muchos, es un juego de adivinanzas.

A medida que más personas envían artículos, el sistema se está ahogando en solicitudes de más jueces. Necesitamos más personas que sepan distinguir una gran idea de una defectuosa, pero no hay un camino claro para lograrlo. Es como una ciudad que intenta contratar a 1,000 nuevos bomberos pero solo les enseña lanzándolos a un edificio en llamas con la esperanza de que aprendan a sostener la manguera.

La Solución: El Gimnasio "Shadow"

Los autores de este artículo decidieron solucionar esto creando un Shadow PC (Comité de Programa). Piensa en el PC principal como los jueces olímpicos oficiales. El Shadow PC es el "campamento de entrenamiento" justo al lado. Los aprendices (principalmente investigadores en el inicio de su carrera, como estudiantes de doctorado y nuevos profesores) revisaron exactamente los mismos artículos que los jueces reales, pero lo hicieron en un espacio separado y seguro. Sus revisiones no decidían quién entraba; eran solo para practicar.

La innovación clave aquí fue la Práctica Deliberada. En lugar de solo decir: "Aquí hay un artículo, escribe una revisión", el programa fue diseñado como un videojuego con niveles. Se construyó sobre la idea de que aprendes mejor cuando intentas algo, te das cuenta de que eres malo en ello, recibes retroalimentación específica y lo intentas de nuevo.

Cómo Funcionó el Campamento de Entrenamiento

El programa se dividió en varias fases, cada una diseñada para enseñar una habilidad específica:

1. La Fase de "Intentar Primero" (Generación antes de la Instrucción):
   Normalmente, los profesores te dan las reglas antes de empezar. Este programa hizo lo contrario. Se pidió a los participantes que escribieran una revisión antes de recibir cualquier lista de verificación o guía. ¿Por qué? Porque es difícil aprender si no sabes qué te falta. Al intentar primero, se dieron cuenta de: "¡Oh, ni siquiera sabía que tenía que revisar esto!". Esto convirtió su "incompetencia inconsciente" (no saber lo que no sabían) en "incompetencia consciente" (saber que necesitaban aprender).

2. La Fase de "Contraste" (Calibración):
   Para enseñarles qué es un "buen" artículo, se les entregaron dos artículos especiales. Uno era un artículo que ya había sido aceptado en una conferencia de alto nivel, y el otro era un artículo rechazado que había sido editado secretamente para tener fallos obvios. Los aprendices tuvieron que revisar ambos. Luego, vieron cómo los expertos los revisaron. Esto les ayudó a ver la diferencia entre un artículo "defectuoso pero bueno" y uno "roto", agudizando su juicio.

3. El "Bucle de Retroalimentación" (Revisión de Revisiones):
   Dado que había demasiadas personas para que un solo profesor calificara a todos, los aprendices calificaron las revisiones de los demás. Esto se basa en la idea de que "enseñar es la mejor forma de aprender". Al criticar la revisión de otra persona, tuvieron que pensar profundamente en qué hace que una revisión sea buena, lo que les ayudó a mejorar la propia.

4. La Fase de "El Momento Real":
   Después de todos los ejercicios, se les asignaron tres artículos reales para revisar por su cuenta. Luego, tuvieron que discutir estos artículos en grupo y escribir una "meta-revisión" (un resumen de la opinión del grupo), tal como lo hacen los jueces reales.

5. El "Debrief" (La Revelación):
   Finalmente, pudieron ver qué pensaron los jueces reales sobre los mismos artículos. Pudieron comparar sus revisiones con las oficiales y ver dónde coincidían y dónde habían fallado el tiro.

Los Resultados: ¿Funcionó?

El experimento fue un éxito, pero con algunos problemas de crecimiento.

• Escala: Lograron que 183 personas se inscribieran. 102 de ellas completaron todo el programa. ¡Eso es mucha gente aprendiendo a la vez!
• Las Revisiones: Estos aprendices revisaron 117 artículos.
• El Veredicto: El 97% de los participantes dijo que recomendaría esta experiencia a otros. Sintieron que aprendieron mucho y ganaron una nueva perspectiva.
• Retroalimentación de los Autores: Se les preguntó a las personas que escribieron los artículos revisados si las revisiones de los aprendices fueron útiles. El 67% dijo que sí. Incluso más interesante, el 63% de los autores notó que las revisiones de los aprendices coincidían con las opiniones de los jueces oficiales, lo que significa que el entrenamiento realmente funcionó para alinear su pensamiento con el de los expertos.
• El Sesgo "Conservador": Los aprendices fueron un poco más cautelosos que los jueces reales. Rechazaron artículos con más frecuencia y pidieron "revisiones mayores" más a menudo. Los autores sugieren que esto se debe a que los aprendices no tenían que lidiar con la molestia de volver a leer un artículo más tarde si este se corregía, por lo que fueron más estrictos.

Los Contratiempos y Planes Futuros

No fue perfecto. El mayor desafío fue mantener a la gente comprometida. El programa duró unos tres meses y, al final, algunas personas dejaron de participar, especialmente durante la fase de discusión. Los organizadores tuvieron que intervenir y escribir algunos de los resúmenes finales porque los grupos se estancaban.

Los autores sugieren algunas soluciones para la próxima vez:

• Más "Capitanes de Equipo": Proponen crear un nuevo rol llamado "Shadow PC Area Chairs". Estos serían aprendices experimentados que gestionan un pequeño grupo de revisores, manteniendo la discusión en movimiento y ayudando. Esto también crearía una escalera de carrera: Aprendiz $\rightarrow$ Capitán de Equipo $\rightarrow$ Juez Real.
• Mejor Sincronización: Las reuniones en vivo fueron geniales pero demasiado cortas. Sugieren hacerlas más largas y grabarlas para diferentes zonas horarias.
• Comunidad: Quieren convertir esto en un club permanente donde los participantes pasados regresen para ayudar a entrenar al siguiente grupo, creando una comunidad autosustentable.

La Conclusión

El Shadow PC de la ICSE 2026 demuestra que se puede enseñar a la gente a ser buenos jueces científicos, incluso si comienzan como principiantes. Al utilizar un enfoque estructurado y basado en la práctica —donde intentas, fallas, recibes retroalimentación y lo intentas de nuevo— puedes entrenar a un gran grupo de personas con un alto estándar. No se trata solo de crear más revisores; se trata de construir una vía de formación de líderes que sepan juzgar la calidad, asegurando que el futuro de la investigación de software se mantenga sólido y justo. El artículo sugiere que si seguimos refinando este modelo de "campamento de entrenamiento", podemos resolver la escasez de buenos revisores sin sacrificar la calidad.