← Últimos artículos
📊 estadística

Why Is Reviewer 2 Always the Villain? Myth, Bias, or Statistical Reality?

Este estudio analiza metadatos de casi 160.000 reseñas en conferencias de aprendizaje automático y no encuentra evidencia estadística que respalde el estereotipo del "Revisor 2" de una dureza o polarización inherentes, sugiriendo en cambio que el fenómeno es probablemente un artefacto de medición o un sesgo dependiente de la institución en lugar de una realidad universal.

Autor original: Muh. Akbar Idris

Publicado 2026-11-17✓ Author reviewed ⓘ
📖 7 min de lectura🧠 Análisis profundo

Autor original: Muh. Akbar Idris

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita por el autor. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la ciencia académica, el camino desde una nueva idea hasta un artículo publicado está pavimentado con un proceso llamado revisión por pares. Antes de que un estudio vea la luz del día, se envía a otros expertos en el campo que lo leen cuidadosamente y ofrecen su juicio. Estos expertos, conocidos como revisores, actúan como guardianes, decidiendo si el trabajo es lo suficientemente sólido como para ser compartido con el mundo. Asignan puntuaciones, escriben comentarios detallados y, a menudo, recomiendan si el artículo debe ser aceptado, rechazado o devuelto para realizar cambios importantes. Este sistema está diseñado para garantizar la calidad, pero también es una fuente de gran ansiedad para los autores. Un solo comentario severo puede descarrilar una carrera, y el proceso suele estar envuelto en el secreto, con las identidades de los revisores ocultas para el autor al que están juzgando.

Con el tiempo, ha surgido una historia cultural específica dentro de este sistema. Los autores y científicos han desarrollado una sospecha compartida de que el segundo revisor listado en un informe es excepcionalmente difícil. El "Revisor 2" se ha convertido en un villano folclórico dentro de la comunidad científica, una figura imaginada como desproporcionadamente dura, despectiva u obstructiva en comparación con su colega. Este estereotipo sugiere que si un artículo tiene un segundo revisor, esa persona es la que probablemente matará el proyecto. Pero, ¿es este un patrón real en cómo se comportan las personas, o es solo un sentimiento nacido de la frustración? Para responder a esto, un investigador necesitaba ir más allá de las anécdotas y observar los números reales detrás de miles de revisiones para ver si la segunda persona en la lista realmente se comporta de manera diferente que la primera o la tercera.

Un investigador se propuso investigar este mito examinando una colección masiva de datos del mundo real de conferencias de ciencia abierta. Reunió información de casi 63,000 manuscritos y más de 157,000 revisiones individuales. Su objetivo era despojar al proceso de las emociones e historias y mirar estrictamente las puntuaciones y decisiones. Se centró en una pregunta específica: ¿los que son etiquetados como "Revisor 2" dan puntuaciones más bajas, utilizan calificaciones extremas con más frecuencia o discrepan más con sus pares que los otros revisores que evalúan el mismo artículo? El investigador fue cuidadoso al distinguir entre el número asignado a un revisor y el orden real en el que escribieron su informe, sabiendo que estas dos cosas no siempre son lo mismo. Es importante señalar, sin embargo, que los datos utilizados en este estudio se concentraron predominantemente en conferencias de aprendizaje automático, específicamente extrayendo 7,966 manuscritos de ICLR entre 2018 y 2021. Esto significa que los hallazgos son más aplicables a estos entornos de revisión abierta y pueden no generalizarse plenamente a las revistas tradicionales y transdisciplinarias.

Tras analizar los datos con métodos estadísticos rigurosos, el estudio no encontró evidencia que respalde la idea de que el Revisor 2 sea un tipo especial de villano. Cuando el investigador comparó las puntuaciones dadas por el segundo revisor contra las puntuaciones promedio de sus pares, la diferencia fue tan pequeña que era efectivamente cero. De hecho, los datos mostraron que el segundo revisor no era sistemáticamente más duro, ni era más propenso a utilizar las calificaciones más extremas de "rechazo" o "aceptación". El temor de que la segunda persona en la lista sea un villano único parece ser un mito. El investigador también analizó si la opinión del segundo revisor tenía más peso con los editores al tomar la decisión final. Si bien una revisión dura de cualquiera podría conducir a un rechazo, no hubo un efecto "multiplicador" especial para el segundo revisor que hiciera que su opinión fuera más poderosa que la de los demás.

El estudio sí descubrió algunos detalles interesantes sobre cómo funciona el proceso, incluso si desmintió el mito principal. El investigador encontró que el número que un revisor ve en su pantalla a menudo no coincide con el orden en el que realmente enviaron su trabajo. En el conjunto de datos que examinaron, la etiqueta pública de "Revisor 2" coincidía con la segunda persona real en enviar un informe en solo un 30 por ciento de los casos. Esto significa que el "villano" del que se quejan los autores podría ni siquiera ser la segunda persona en escribir una revisión; la numeración es a menudo una asignación aleatoria o un orden de almacenamiento que no tiene nada que ver con la secuencia de eventos. Además, cuando el investigador observó si los desacuerdos entre revisores se resolvían después de que un autor escribiera una réplica, vio que el grupo en su totalidad tendía a acercarse más en sus opiniones, pero no hubo indicios de que el segundo revisor fuera quien estaba cambiando de opinión o causando la fricción.

Una de las partes más reveladoras de la investigación consistió en probar si saber qué revisor dio qué puntuación podía ayudar a predecir el resultado final de un artículo. El investigador construyó modelos computacionales para ver si tratar la puntuación del segundo revisor como un factor separado y especial mejoraba su capacidad para adivinar si un artículo sería aceptado o rechazado. Los resultados mostraron que un promedio simple de todas las puntuaciones funcionaba igual de bien, y en algunos casos, ligeramente mejor, que un modelo que intentaba dar un peso especial al segundo revisor. Esto sugiere que los editores probablemente están mirando la sabiduría colectiva del grupo en lugar de fijarse en una posición numerada específica. Los datos indican que la percepción de un segundo revisor difícil es probablemente el resultado de cómo los humanos recuerdan las experiencias negativas, más que una realidad estadística del propio sistema de revisión.

El estudio también analizó la dinámica del proceso de revisión a lo largo del tiempo. En un subconjunto de artículos donde se permitió al autor responder a los revisores, el investigador rastreó cómo cambiaban las puntuaciones. Encontró que la brecha entre las opiniones de los diferentes revisores tendía a reducirse después de la etapa de réplica, lo que significa que los revisores a menudo encontraban puntos comunes. Sin embargo, esta convergencia ocurrió de manera generalizada y no fue impulsada por un cambio específico en el comportamiento del segundo revisor. El investigador concluyó que, si bien la experiencia de lidiar con un revisor difícil es real y dolorosa para muchos autores, la idea de que la segunda persona en la lista es la única culpable no está respaldada por la evidencia. El sistema es complejo y los desacuerdos ocurren, pero no son el resultado de un sesgo oculto contra una posición numerada específica.

En última instancia, esta investigación a gran escala sirve como un recordatorio de que nuestras intuiciones sobre cómo funcionan los sistemas a veces pueden ser engañosas. El fenómeno del "Revisor 2" es una historia poderosa que resuena porque le da un rostro a la frustración del rechazo, pero los datos muestran que el rostro no está unido a un número específico. La dureza, el desacuerdo y los altos intereses de la revisión por pares están distribuidos en todo el grupo de expertos, no concentrados en el segundo lugar. Al reemplazar el mito con la medición, el investigador ha demostrado que la comunidad científica puede comprender mejor sus propios procesos, enfocándose en las fuentes reales de variación en el juicio en lugar de perseguir un fantasma que no existe en los números.

¿Ahogado en artículos de tu campo?

Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.

Probar Digest →