Inflationary bibliometric values revisited: Indicator validity under falling production costs
Este artículo revisita la validez de los indicadores bibliométricos ante la disminución de los costos de producción al demostrar que, si bien los indicadores relativos se mantienen robustos bajo cambios de costos uniformes, el acceso heterogéneo requiere un reporte condicionado al régimen utilizando estimadores característicos para evitar la clasificación errónea cuando la forma de la distribución subyacente cambia.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo de la investigación académica, existe un hábito de larga data de contar cosas para medir la calidad. Durante décadas, científicos y administradores universitarios han observado cuántos artículos escribe un investigador, cuántas veces son citados esos artículos por otros y cuántos autores trabajaron en un solo proyecto. Estos números actúan como una tarjeta de puntuación, ayudando a decidir quién obtiene un trabajo, una subvención o un ascenso. Sin embargo, este sistema se ha enfrentado a un desafío importante anteriormente. Hace veinte años, los investigadores notaron que el volumen bruto de artículos y citas estaba creciendo mucho más rápido que el número de científicos que realmente realizaban el trabajo. Esta "inflación" significaba que simplemente contar artículos ya no era una forma justa de juzgar la calidad, porque los números estaban siendo impulsados por más personas trabajando juntas en lugar de por una mejor ciencia. La solución en aquel momento fue dejar de contar números brutos y empezar a comparar a los investigadores con sus pares, preguntando cómo se desempeñaba un científico en relación con el promedio en su campo específico.
Hoy en día, una nueva fuerza está cambiando el panorama de la escritura científica. El auge de las potentes herramientas de inteligencia artificial ha hecho que redactar y revisar textos científicos sea significativamente más barato y rápido. Este cambio plantea una pregunta crítica: si se vuelve más fácil producir un artículo, ¿cambia eso la naturaleza fundamental de los artículos mismos, o simplemente significa que hay más de ellos? Si el costo de producir un artículo disminuye, ¿cambia la distribución de la calidad, o simplemente se expande? Este es el rompecabezas central abordado por Ahmed Hamid Mahmoud en un estudio reciente. Él investiga si los viejos métodos para comparar investigadores siguen siendo válidos cuando el costo de crear un artículo científico ya no es constante.
El trabajo de Mahmoud comienza separando los efectos de este nuevo entorno de producción más barato en dos posibilidades distintas. La primera posibilidad es lo que él llama un cambio de "escala". Imagine una fábrica que de repente obtiene una nueva máquina que le permite producir el doble de piezas. Si la calidad de cada pieza permanece exactamente igual, pero hay simplemente más de ellas, la forma general de la distribución de la calidad se mantiene igual. En el mundo de la ciencia, esto significaría que la inteligencia artificial permite a los investigadores publicar más artículos, pero la proporción de artículos excelentes respecto a los promedio permanece sin cambios. La segunda posibilidad es un cambio de "forma". Esto ocurriría si las nuevas herramientas cambiaran la naturaleza misma del trabajo, quizás facilitando la producción de artículos de baja calidad o alterando la mezcla de trabajo de alta y baja calidad de una manera que distorsione la distribución. Si la forma cambia, las viejas reglas para juzgar la calidad podrían ya no aplicarse.
El estudio utiliza un modelo matemático de cómo se distribuyen las citas científicas para probar estos escenarios. Los investigadores encontraron que si el cambio es puramente un efecto de "escala" —es decir, que se producen más artículos pero el patrón subyacente de calidad permanece igual— entonces los indicadores relativos utilizados hoy en día siguen siendo seguros. Comparar a un investigador con sus pares, o mirar la relación de sus citas con el promedio del campo, continúa proporcionando una medida válida del desempeño. Estos métodos son robustos frente a un simple aumento en el volumen. Sin embargo, la situación cambia drásticamente si diferentes investigadores tienen un acceso desigual a estas herramientas de producción baratas. Si algunos científicos pueden usar la inteligencia artificial para publicar muchos más artículos mientras que otros no pueden, contar simplemente el número total de artículos o el número total de citas resulta engañoso. En este escenario, los recuentos ya no reflejan la calidad del trabajo; simplemente reflejan quién tuvo acceso a las herramientas más baratas. El ranking mostraría quién tuvo la ventaja, no quién hizo la mejor ciencia.
El artículo también examina qué sucede si la "forma" de la distribución de la calidad realmente cambia. Si la mezcla de trabajo de alta y baja calidad se desplaza, los estándares de referencia utilizados para juzgar a los investigadores se rompen. Por ejemplo, un umbral que antes separaba los artículos "buenos" de los "promedio" podría de repente clasificar erróneamente un gran número de artículos si la distribución subyacente se ha deformado. El estudio muestra que, si ocurre esta deformación de la forma, los viejos estándares fijos fallarán al identificar la verdadera calidad de los investigadores. Sin embargo, el artículo ofrece una solución. Sugiere que el campo puede detectar estos cambios observando los patrones específicos de cómo se distribuyen los artículos dentro de un grupo. Al estimar la "forma" actual de la distribución junto con los rankings estándar, los evaluadores pueden ajustar sus juicios. La recomendación es reportar la posición de un investigador dentro de su grupo actual, declarando explícitamente al mismo tiempo el estado del entorno en el que está siendo juzgado. Este reporte dual asegura que un investigador no sea penalizado o injustamente beneficiado por un cambio en el sistema mismo.
El autor señala cuidadosamente que, si bien la evidencia de un aumento masivo en el volumen de artículos y el uso de la inteligencia artificial es fuerte, aún no se ha demostrado que la forma fundamental de la distribución de la calidad haya cambiado. El estudio no pretende que los viejos métodos sean inútiles, ni dice que la inteligencia artificial haya arruinado la ciencia. En cambio, proporciona un marco claro para entender lo que está sucediendo. Confirma que las comparaciones relativas desarrolladas para solucionar la inflación del pasado siguen siendo válidas siempre que el entorno de producción cambie de manera uniforme. Advierte que si el acceso a estas nuevas herramientas es desigual, los recuentos brutos mentirán. Y proporciona un método para detectar si la naturaleza misma del trabajo está cambiando, permitiendo a la comunidad científica adaptar sus reglas de evaluación antes de que queden obsoletas. La conclusión última es que las herramientas para medir la ciencia siguen siendo sólidas, pero deben usarse con una comprensión clara del entorno en el que se aplican. La pregunta para el futuro no es si abandonar estas herramientas, sino si se monitorea el sistema lo suficientemente de cerca como para saber si el suelo bajo ellas se está desplazando.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.