The ICSE 2026 Shadow PC: Training the Next Generation of Reviewers Through Deliberate Practice

Imagine um jogo gigante e de alto risco de "revisão por pares", onde cientistas submetem seus melhores trabalhos a um painel de juízes. No mundo da engenharia de software, é assim que novas ideias são testadas e aprovadas. Mas aqui está o detalhe: a maioria desses juízes está aprendendo no trabalho. Eles não têm um manual de treinamento; eles apenas esperam receber bons conselhos de seus mentores ou aprender lendo as revisões de outras pessoas. É como tentar se tornar um chef profissional apenas observando outras pessoas cozinharem, sem nunca lhe dizer por que um prato tem um gosto bom ou ruim. A grande questão é: Podemos construir um programa de treinamento real e estruturado que transforme iniciantes totais em juízes especialistas e podemos fazer isso para um grande número de pessoas ao mesmo tempo?

Este artigo conta a história do ICSE 2026 Shadow PC, um experimento massivo de ensino de como revisar artigos científicos. Os organizadores não apenas entregaram um checklist; eles trataram a revisão como um esporte que requer prática deliberada. Pense nisso como um time esportivo que não apenas joga uma partida uma vez por semana, mas passa semanas fazendo exercícios, assistindo a fitas de jogos, recebendo feedback instantâneo de treinadores e até criticando os movimentos uns dos outros. O time usou um sistema "shadow" (sombra), o que significa que esses estagiários revisaram exatamente os mesmos artigos que os juízes reais, mas suas opiniões não contavam para a decisão final. Isso criou um "campo de prática" seguro, onde cometer erros era aceitável e o único objetivo era o aprendizado.

Os resultados foram surpreendentemente bem-sucedidos. De 183 pessoas que começaram o programa, 102 seguiram até o fim, revisando 117 artigos reais. Os estagiários adoraram: 97% disseram que recomendariam a experiência a outros. Até mesmo os autores dos artigos revisados sentiram que o feedback foi útil 67% das vezes. O estudo sugere que, ao usar uma abordagem estruturada de múltiplas etapas — onde você tenta, falha, é corrigido e tenta novamente — você pode treinar um grande grupo de pessoas para se tornarem revisores competentes. No entanto, o artigo também observa que manter todos engajados por um longo período foi difícil, e eles sugerem que programas futuros podem precisar de "capitães de equipe" (chamados de Area Chairs) para ajudar a gerenciar o fluxo e manter a energia alta.

O Problema: Aprendendo a Julgar por Acidente

No mundo da pesquisa de software, a revisão por pares é o porteiro. É o processo onde especialistas leem um novo artigo e decidem se ele é bom o suficiente para ser publicado. Mas como esses especialistas aprendem a fazer isso? Geralmente, eles não aprendem. Eles aprendem "implicitamente", que é uma forma elegante de dizer que eles descobrem por osmose. Um estudante de doutorado pode receber uma revisão dura de um professor sênior e pensar: "Ok, acho que preciso ser mais crítico", ou pode receber uma revisão vaga e ficar confuso. Alguns estudantes sortudos recebem coaching direto, mas para muitos, é um jogo de adivinhação.

À medida que mais pessoas submetem artigos, o sistema está sendo inundado por pedidos de mais juízes. Precisamos de mais pessoas que saibam distinguir uma ótima ideia de uma falha, mas não há um caminho claro para chegar lá. É como uma cidade tentando contratar 1.000 novos bombeiros, mas ensinando-os apenas jogando-os dentro de um prédio em chamas e esperando que aprendam a segurar a mangueira.

A Solução: A Academia "Shadow"

Os autores deste artigo decidiram corrigir isso criando um Shadow PC (Comitê de Programa). Pense no PC principal como os juízes olímpicos oficiais. O Shadow PC é o "acampamento de treinamento" logo ao lado. Os estagiários (principalmente pesquisadores em início de carreira, como estudantes de doutorado e novos professores) revisaram exatamente os mesmos artigos que os juízes reais, mas fizeram isso em um espaço separado e seguro. Suas revisões não decidiam quem entrava; eram apenas para prática.

A inovação principal aqui foi a Prática Deliberada. Em vez de apenas dizer: "Aqui está um artigo, escreva uma revisão", o programa foi desenhado como um videogame com níveis. Foi construído sobre a ideia de que você aprende melhor quando tenta algo, percebe que é ruim naquilo, recebe feedback específico e tenta novamente.

Como o Acampamento de Treinamento Funcionou

O programa foi dividido em várias fases, cada uma projetada para ensinar uma habilidade específica:

1. A Fase "Tente Primeiro" (Geração antes da Instrução):
   Normalmente, os professores dão as regras antes de você começar. Este programa fez o oposto. Os participantes foram solicitados a escrever uma revisão antes de receberem quaisquer checklists ou guias. Por quê? Porque é difícil aprender se você não sabe o que está faltando. Ao tentar primeiro, eles perceberam: "Ah, eu nem sabia que precisava verificar isso!". Isso transformou sua "incompetência inconsciente" (não saber o que não sabiam) em "incompetência consciente" (saber que precisavam aprender).

2. A Fase de "Contraste" (Calibragem):
   Para ensinar o que um "bom" artigo parece, eles receberam dois artigos especiais. Um era um artigo que já havia sido aceito em uma conferência de topo, e o outro era um artigo rejeitado que fora secretamente editado para conter falhas óbvias. Os estagiários tiveram que revisar ambos. Depois, viram como os especialistas os revisaram. Isso os ajudou a ver a diferença entre um artigo "falho, mas bom" e um artigo "quebrado", refinando seu julgamento.

3. O Ciclo de Feedback (Revisão de Revisões):
   Como havia pessoas demais para um único professor avaliar a todos, os estagiários avaliaram as revisões uns dos outros. Isso se baseia na ideia de que "ensinar é a melhor maneira de aprender". Ao criticar a revisão de outra pessoa, eles tiveram que pensar profundamente sobre o que torna uma revisão boa, o que os ajudou a melhorar suas próprias revisões.

4. A "Hora da Verdade" (O Momento Real):
   Após todos os exercícios, eles foram designados para revisar três artigos reais por conta própria. Em seguida, tiveram que discutir esses artigos com um grupo e escrever uma "meta-revisão" (um resumo da opinião do grupo), exatamente como os juízes reais fazem.

5. O "Debriefing" (A Revelação):
   Finalmente, eles puderam ver o que os juízes reais pensaram sobre os mesmos artigos. Eles puderam comparar suas revisões com as oficiais e ver onde coincidiam e onde perderam o alvo.

Os Resultados: Funcionou?

O experimento foi um sucesso, mas com dificuldades de crescimento.

• Escala: Eles conseguiram fazer com que 183 pessoas se inscrevessem. 102 delas completaram todo o programa. Isso é muita gente aprendendo ao mesmo tempo!
• As Revisões: Esses estagiários revisaram 117 artigos.
• O Veredito: 97% dos participantes disseram que recomendariam esta experiência a outros. Eles sentiram que aprenderam muito e ganharam uma nova perspectiva.
• Feedback dos Autores: As pessoas que escreveram os artigos revisados foram questionadas se as revisões dos estagiários foram úteis. 67% disseram que sim. Mais interessante ainda, 63% dos autores notaram que as revisões dos estagiários coincidiam com as opiniões dos juízes oficiais, o que significa que o treinamento realmente funcionou para alinhar seu pensamento com o dos especialistas.
• O Viés "Conservador": Os estagiários foram um pouco mais cautelosos do que os juízes reais. Eles rejeitaram artigos com mais frequência e pediram "revisões maiores" com mais frequência. Os autores sugerem que isso ocorreu porque os estagiários não tinham que lidar com o incômodo de reler um artigo mais tarde caso ele fosse corrigido, por isso foram mais rigorosos.

Os Problemas e Planos Futuros

Não foi perfeito. O maior desafio foi manter as pessoas engajadas. O programa durou cerca de três meses e, ao final, algumas pessoas pararam de participar, especialmente durante a fase de discussão. Os organizadores tiveram que intervir e escrever alguns dos resumos finais porque os grupos ficaram travados.

Os autores sugerem algumas correções para a próxima vez:

• Mais "Capitães de Equipe": Eles propõem a criação de um novo papel chamado "Shadow PC Area Chairs". Estes seriam estagiários experientes que gerenciam um pequeno grupo de revisores, mantendo a discussão em movimento e ajudando no processo. Isso também criaria uma escada de carreira: Estagiário $\rightarrow$ Capitão de Equipe $\rightarrow$ Juiz Real.
• Melhor Sincronia: As reuniões ao vivo foram ótimas, mas muito curtas. Eles sugerem torná-las mais longas e gravá-las para diferentes fusos horários.
• Comunidade: Eles querem transformar isso em um clube permanente, onde ex-participantes voltem para ajudar a treinar o próximo grupo, criando uma comunidade autossustentável.

A Conclusão

O ICSE 2026 Shadow PC prova que você pode ensinar pessoas a serem bons juízes científicos, mesmo que comecem como iniciantes. Ao usar uma abordagem estruturada e focada na prática — onde você tenta, falha, recebe feedback e tenta novamente — você pode treinar um grande grupo de pessoas a um alto padrão. Não se trata apenas de criar mais revisores; trata-se de construir um canal de liderança que saiba julgar a qualidade, garantindo que o futuro da pesquisa de software permaneça forte e justo. O artigo sugere que, se continuarmos refinando este modelo de "acampamento de treinamento", podemos resolver a escassez de bons revisores sem sacrificar a qualidade.