One University Three Positions: A Reproducible Simulation Study of Database Dependent Institutional Rankings across OpenAlex Scopus and Web of Science
Este estudio emplea una simulación de Monte Carlo reproducible de 700 universidades sintéticas para demostrar que las clasificaciones institucionales varían significativamente entre OpenAlex, Scopus y Web of Science debido a mecanismos específicos de las bases de datos como la cobertura y el escalamiento de citas, revelando que una alta concordancia a nivel de sistema enmascara una inestabilidad de rango institucional y sesgos regionales consecuentes.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Cada año, las universidades de todo el mundo se alinean en una sola columna, clasificadas de la primera a la última, como si su posición fuera un hecho fijo como la altura de una montaña. Esta práctica depende de enormes bibliotecas digitales que almacenan millones de artículos de investigación, citas y nombres de autores. Estas bibliotecas, a menudo llamadas bases de datos, son las herramientas que los investigadores utilizan para contar cuánto produce una universidad y con qué frecuencia ese trabajo es leído por otros. El supuesto detrás de estas clasificaciones es que, si se cuenta la misma universidad en dos bibliotecas diferentes, se obtendrá aproximadamente el mismo resultado. Sin embargo, la realidad es que no hay dos bibliotecas que contengan exactamente la misma colección de trabajos. Una podría incluir más artículos escritos en idiomas distintos al inglés, mientras que otra podría centrarse fuertemente en campos científicos específicos o excluir ciertos tipos de documentos, como las actas de congresos. Debido a que la lista inicial de artículos es diferente, el recuento final y la clasificación resultante pueden cambiar drásticamente, aun cuando la propia universidad no haya cambiado su producción de investigación en absoluto.
Un investigador llamado Mustafa Kayyali se propuso comprender hasta qué punto importan estas diferencias. En lugar de intentar arreglar las clasificaciones actuales o comparar universidades reales, construyó una simulación computacional para probar la mecánica del sistema. Creó un mundo ficticio que contenía setecientas universidades sintéticas. A cada una de estas instituciones imaginarias se le asignó un perfil único, que incluía su tamaño, su calidad de investigación, los idiomas en los que publicaba y la mezcla de materias que estudiaba, como medicina, ingeniería o artes. Luego, programó tres bibliotecas digitales diferentes para "observar" este mismo grupo de universidades. Estas bibliotecas fueron diseñadas para imitar los comportamientos conocidos de los sistemas del mundo real: una era amplia e inclusiva, otra estaba en un punto intermedio y la tercera era más selectiva y estricta con lo que incluía. El objetivo no era ver cuál biblioteca era la mejor, sino ver cuánto saltaba la clasificación de una sola universidad dependiendo de qué biblioteca se utilizara para medirla.
Los resultados mostraron una contradicción sorprendente. Cuando el investigador observaba la lista general, las clasificaciones de las diferentes bibliotecas parecían estar muy de acuerdo. El orden de las universidades se movía de forma conjunta, sugiriendo una fuerte conexión. Sin embargo, cuando observaba las universidades de forma individual, el panorama cambiaba por completo. Una universidad que aparecía en los cien primeros puestos en una biblioteca podía caer decenas de puestos en otra. En promedio, una universidad se desplazaba unos cuarenta y un puestos entre la biblioteca más inclusiva y la más selectiva. Esto significaba que aproximadamente dieciocho universidades cruzaban la línea hacia adentro o hacia afuera de los cien primeros puestos simplemente porque el observador cambió. El alto acuerdo general ocultaba una gran cantidad de inestabilidad para instituciones específicas.
El estudio también reveló que estos movimientos no eran aleatorios. Seguían un patrón claro basado en la ubicación de la universidad y los idiomas que utilizaba. Las universidades del Sur Global, o aquellas que publicaban una parte significativa de su trabajo en idiomas distintos al inglés, tendían a clasificarse mucho más alto en la biblioteca amplia e inclusiva. En la biblioteca más selectiva, estas mismas instituciones caían significativamente. Por el contrario, las universidades de otras regiones a menudo veían caer sus clasificaciones cuando la biblioteca se volvía más inclusiva. Esto sucedía porque el sistema de clasificación es un juego de suma cero; si un grupo sube porque se contabiliza más de su trabajo, otro grupo debe bajar. La simulación mostró que la dirección del cambio dependía enteramente de las reglas integradas en la biblioteca, no de la calidad real de la investigación.
Para entender por qué existían estas brechas, el investigador desglosó las diferencias en cuatro causas principales: cuántos artículos se encontraron, qué tan bien se vinculaba el nombre de la universidad con sus artículos, cómo se contaban las citas y los errores aleatorios en los datos. El factor más importante fue la cobertura, o simplemente cuántos artículos logró encontrar la biblioteca. Este único factor explicaba casi dos tercios de la diferencia en las clasificaciones. La forma en que se vinculaban las universidades con sus artículos era un factor menor y, en algunos casos, arreglar el vínculo hacía que el desacuerdo empeorara ligeramente antes de mejorar. El estudio concluyó que la variación no era un error que pudiera corregirse con un mejor conteo, sino una característica fundamental de usar diferentes fuentes.
El artículo sostiene que informar un solo número para la clasificación de una universidad es engañoso porque oculta la incertidumbre detrás de ese número. Una universidad puede estar clasificada en el cuadragésimo séptimo puesto en un sistema y en el quincuagésimo segundo en otro, lo cual es una diferencia pequeña, pero también podría estar clasificada en el sexagésimo segundo puesto en uno y en el ciento ochenta y uno en otro. El investigador sugiere que, en lugar de una clasificación única, se debería mostrar un rango de posiciones posibles, junto con la probabilidad de estar en los cien primeros puestos. Este enfoque haría evidente que la posición de una universidad no es un punto fijo en un mapa, sino una ubicación que cambia dependiendo del lente a través del cual se la observe. El estudio no pretende haber resuelto el problema de la clasificación, sino que proporciona un método claro para medir cuánto cambia la respuesta la elección de la fuente de datos, instando a que esta incertidumbre sea visible para cualquiera que utilice estas listas.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.