← Últimos artigos
📊 estatística

Why Is Reviewer 2 Always the Villain? Myth, Bias, or Statistical Reality?

Este estudo analisa metadados de quase 160.000 avaliações em conferências de aprendizado de máquina e não encontra evidência estatística que sustente o estereótipo do "Revisor 2" de severidade ou polarização inerentes, sugerindo, em vez disso, que o fenômeno é provavelmente um artefato de medição ou um viés dependente da instituição, em vez de uma realidade universal.

Autor original: Muh. Akbar Idris

Publicado 2026-11-17✓ Author reviewed ⓘ
📖 6 min de leitura🧠 Leitura aprofundada

Autor original: Muh. Akbar Idris

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita pelo autor. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da ciência acadêmica, o caminho de uma nova ideia até um artigo publicado é pavimentado por um processo chamado revisão por pares. Antes que um estudo veja a luz do dia, ele é enviado a outros especialistas na área que o leem cuidadosamente e oferecem seu julgamento. Esses especialistas, conhecidos como revisores, atuam como guardiões, decidindo se o trabalho é sólido o suficiente para ser compartilhado com o mundo. Eles atribuem pontuações, escrevem comentários detalhados e frequentemente recomendam se o artigo deve ser aceito, rejeitado ou devolvido para mudanças significativas. Esse sistema é projetado para garantir a qualidade, mas também é uma fonte de grande ansiedade para os autores. Um único comentário duro pode arruinar uma carreira, e o processo é frequentemente envolto em segredo, com as identidades dos revisores ocultas do autor que estão julgando.

Com o tempo, uma história cultural específica emergiu dentro deste sistema. Autores e cientistas desenvolveram uma suspeita compartilhada de que o segundo revisor listado em um relatório é unicamente difícil. O "Revisor 2" tornou-se um vilão folclórico na comunidade científica, uma figura imaginada como desproporcionalmente dura, desdenhosa ou obstrutiva em comparação ao seu colega. Esse estereótipo sugere que, se um artigo tem um segundo revisor, essa pessoa é a que provavelmente matará o projeto. Mas será que isso é um padrão real de como as pessoas se comportam ou é apenas um sentimento nascido da frustração? Para responder a isso, um pesquisador precisou ir além das anedotas e olhar para os números reais por trás de milhares de revisões para ver se a segunda pessoa na lista realmente se comporta de forma diferente da primeira ou da terceira.

Um pesquisador propôs-se a investigar este mito examinando uma coleção massiva de dados do mundo real de conferências de ciência aberta. Eles reuniram informações de quase 63.000 manuscritos e mais de 157.000 revisões individuais. O objetivo era remover as emoções e histórias em torno do processo e olhar estritamente para as pontuações e decisões. Eles focaram em uma questão específica: as pessoas rotuladas como "Revisor 2" dão pontuações mais baixas, usam classificações extremas com mais frequência ou discordam mais de seus pares na avaliação do mesmo artigo? O pesquisador foi cuidadoso ao distinguir entre o número atribuído a um revisor e a ordem real em que eles escreveram seu relatório, sabendo que essas duas coisas nem sempre são as mesmas. É importante notar, no entanto, que os dados usados neste estudo concentraram-se predominantemente em conferências de aprendizado de máquina, especificamente extraídos de 7.966 manuscritos do ICLR entre 2018 e 2021. Isso significa que os achados são mais aplicáveis a esses ambientes de revisão aberta e podem não se generalizar totalmente para periódicos tradicionais e transdisciplinares.

Após analisar os dados com métodos estatísticos rigorosos, o estudo não encontrou evidências para apoiar a ideia de que o Revisor 2 é um tipo especial de vilão. Quando o pesquisador comparou as pontuações dadas pelo segundo revisor contra as pontuações médias de seus pares, a diferença era tão pequena que era efetivamente zero. Na verdade, os dados mostraram que o segundo revisor não era sistematicamente mais duro, nem era mais propenso a usar as classificações mais extremas de "rejeição" ou "aceitação". O medo de que a segunda pessoa na lista seja unicamente difícil parece ser um mito. O pesquisador também observou se a opinião do segundo revisor tinha mais peso com os editores ao tomar a decisão final. Embora uma revisão dura de qualquer pessoa possa levar a uma rejeição, não houve um "efeito multiplicador" especial para o segundo revisor que tornasse sua opinião mais poderosa do que a dos outros.

O estudo descobriu alguns detalhes interessantes sobre como o processo funciona, mesmo tendo desmistificado o ponto principal. O pesquisador descobriu que o número que um revisor vê em sua tela muitas vezes não corresponde à ordem em que eles realmente enviaram seu trabalho. No conjunto de dados que examinaram, o rótulo público de "Revisor 2" coincidia com a segunda pessoa real a enviar um relatório em apenas cerca de 30 por cento dos casos. Isso significa que o "vilão" de quem os autores reclamam pode nem ser a segunda pessoa a escrever uma revisão; a numeração é frequentemente uma atribuição aleatória ou uma ordem de armazenamento que não tem nada a ver com a sequência de eventos. Além disso, quando o pesquisador observou se as divergências entre revisores foram resolvidas após o autor escrever uma réplica, viu que o grupo como um todo tendia a se aproximar em suas opiniões, mas não havia sinal de que o segundo revisor fosse o que estava mudando de ideia ou causando a fricção.

Uma das partes mais reveladoras da investigação envolveu testar se saber qual revisor deu qual pontuação poderia ajudar a prever o resultado final de um artigo. O pesquisador construiu modelos computacionais para ver se tratar a pontuação do segundo revisor como um fator separado e especial melhorava sua capacidade de adivinhar se um artigo seria aceito ou rejeitado. Os resultados mostraram que uma média simples de todas as pontuações funcionava tão bem quanto, e em alguns casos, ligeiramente melhor do que um modelo que tentava dar um peso especial ao segundo revisor. Isso sugere que os editores provavelmente estão olhando para a sabedoria coletiva do grupo, em vez de fixarem-se em uma posição numerada específica. Os dados indicam que a percepção de um segundo revisor difícil é provavelmente um resultado de como os seres humanos lembram de experiências negativas, em vez de uma realidade estatística do próprio sistema de revisão.

O estudo também analisou a dinâmica do processo de revisão ao longo do tempo. Em um subconjunto de artigos onde um autor teve permissão para responder aos revisores, o pesquisador rastreou como as pontuações mudaram. Eles descobriram que a lacuna entre as opiniões de diferentes revisores tendia a diminuir após a fase de réplica, o que significa que os revisores frequentemente encontravam um terreno comum. No entanto, essa convergência ocorreu de forma generalizada e não foi impulsionada por uma mudança específica no comportamento do segundo revisor. O pesquisador concluiu que, embora a experiência de lidar com um revisor difícil seja real e dolorosa para muitos autores, a ideia de que a segunda pessoa na lista é unicamente culpada não é sustentada pelas evidências. O sistema é complexo e as divergências acontecem, mas elas não são o resultado de um viés oculto contra uma posição numerada específica.

Em última análise, esta investigação em larga escala serve como um lembrete de que nossas intuições sobre como os sistemas funcionam podem, às vezes, ser enganosas. O fenômeno do "Revisor 2" é uma história poderosa que ressoa porque dá um rosto à frustração da rejeição, mas os dados mostram que o rosto não está preso a um número específico. A dureza, a divergência e os altos riscos da revisão por pares estão distribuídos por todo o grupo de especialistas, não concentrados na segunda posição. Ao substituir o mito pela medição, o pesquisador mostrou que a comunidade científica pode entender melhor seus próprios processos, focando nas fontes reais de variação de julgamento, em vez de perseguir um fantasma que não existe nos números.

Afogado em artigos na sua área?

Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.

Experimentar Digest →