One University Three Positions: A Reproducible Simulation Study of Database Dependent Institutional Rankings across OpenAlex Scopus and Web of Science
Este estudo emprega uma simulação de Monte Carlo reproduzível de 700 universidades sintéticas para demonstrar que os rankings institucionais variam significamente entre o OpenAlex, Scopus e Web of Science devido a mecanismos específicos de cada base de dados, como cobertura e escala de citações, revelando que a alta concordância ao nível do sistema mascara uma instabilidade consequente nos rankings ao nível das instituições e vieses regionais.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Todos os anos, universidades ao redor do mundo são alinhadas em uma única coluna, classificadas da primeira à última, como se sua posição fosse um fato fixo como a altura de uma montanha. Essa prática depende de enormes bibliotecas digitais que armazenam milhões de artigos de pesquisa, citações e nomes de autores. Essas bibliotecas, frequentemente chamadas de bases de dados, são as ferramentas que os pesquisadores usam para contar quanto uma universidade produz e com que frequência esse trabalho é lido por outros. A suposição por trás dessas classificações é que, se você contar a mesma universidade em duas bibliotecas diferentes, obterá aproximadamente o mesmo resultado. No entanto, a realidade é que nenhuma dupla de bibliotecas contém exatamente a mesma coleção de trabalhos. Uma pode incluir mais artigos escritos em idiomas que não o inglês, enquanto outra pode focar intensamente em campos científicos específicos ou excluir certos tipos de documentos, como anais de conferências. Como a lista inicial de artigos é diferente, a contagem final e a classificação resultante podem mudar dramaticamente, mesmo que a própria universidade não tenha alterado sua produção de pesquisa.
Um pesquisador chamado Mustafa Kayyali propôs-se a entender o quanto essas diferenças importam. Em vez de tentar consertar as classificações atuais ou comparar universidades reais, ele construiu uma simulação computacional para testar a mecânica do sistema. Ele criou um mundo fictício contendo setecentas universidades sintéticas. Cada uma dessas instituições inventadas recebeu um perfil único, incluindo seu tamanho, sua qualidade de pesquisa, os idiomas em que publicava e a mistura de assuntos que estudava, como medicina, engenharia ou artes. Ele então programou três bibliotecas digitais diferentes para "observar" este mesmo grupo de universidades. Essas bibliotecas foram projetadas para imitar os comportamentos conhecidos de sistemas do mundo real: uma era ampla e inclusiva, outra estava em um meio-termo e a terceira era mais seletiva e rigorosa quanto ao que incluía. O objetivo não era ver qual biblioteca era a melhor, mas sim ver o quanto a classificação de uma única universidade oscilava dependendo de qual biblioteca era usada para medi-la.
Os resultados mostraram uma contradição surpreendente. Quando o pesquisador olhou para a lista geral, as classificações das diferentes bibliotecas pareciam concordar muito bem. A ordem das universidades movia-se em conjunto, de uma forma que sugeria uma forte conexão. No entanto, quando ele observou universidades individuais, o cenário mudou completamente. Uma universidade que aparecia entre as cem primeiras em uma biblioteca poderia cair dezenas de posições em outra. Em média, uma universidade mudava cerca de quarenta e uma posições entre a biblioteca mais inclusiva e a mais seletiva. Isso significava que aproximadamente dezoito universidades cruzavam a linha para dentro ou para fora do grupo das cem melhores simplesmente porque o observador mudou. A alta concordância geral escondia uma grande instabilidade para instituições específicas.
O estudo também revelou que esses movimentos não eram aleatórios. Eles seguiam um padrão claro baseado em onde uma universidade estava localizada e quais idiomas utilizava. Universidades no Sul Global, ou aquelas que publicavam uma parte significativa de seus trabalhos em idiomas que não o inglês, tendiam a classificar-se muito mais alto na biblioteca ampla e inclusiva. Na biblioteca mais seletiva, essas mesmas instituições caíam significamente. Por outro lado, universidades em outras regiões frequentemente viam suas classificações caírem quando a biblioteca se tornava mais inclusiva. Isso acontecia porque o sistema de classificação é um jogo de soma zero; se um grupo sobe porque mais de seu trabalho é contado, outro grupo deve descer. A simulação mostrou que a direção do deslocamento dependia inteiramente das regras construídas na biblioteca, e não na qualidade real da pesquisa.
Para entender por que essas lacunas existiam, o pesquisador decompôs as diferenças em quatro causas principais: quantos artigos foram encontrados, quão bem o nome da universidade estava vinculado aos seus artigos, como as citações eram contadas e erros aleatórios nos dados. O fator principal foi a cobertura, ou simplesmente quantos artigos a biblioteca conseguiu encontrar. Este único fator explicou quase dois terços da diferença nas classificações. A forma como as universidades eram vinculadas aos seus artigos era um fator menor e, em alguns casos, corrigir o vínculo na verdade tornou o desacordo ligeiramente pior antes de melhorar. O estudo concluiu que a variação não era um erro a ser corrigido com uma contagem melhor, mas uma característica fundamental do uso de diferentes fontes.
O artigo argumenta que relatar um único número para a classificação de uma universidade é enganoso porque esconde a incerteza por trás desse número. Uma universidade pode ser classificada em quadragésima sétima posição em um sistema e em quinquagésima segunda em outro, o que é uma diferença pequena, mas também pode ser classificada em sexagésima segunda em um e cento e oitenta e uma em outro. O pesquisador sugere que, em vez de uma classificação única, as universidades deveriam ser apresentadas com uma faixa de posições possíveis, juntamente com a probabilidade de estarem entre as cem melhores. Essa abordagem tornaria claro que a posição de uma universidade não é um ponto fixo em um mapa, mas uma localização que se desloca dependendo da lente através da qual é vista. O estudo não afirma ter resolvido o problema da classificação, mas fornece um método claro para medir o quanto a escolha da fonte de dados altera a resposta, instando que essa incerteza seja tornada visível para qualquer pessoa que utilize essas listas.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.