Science-wide mapping and ranking of institutions based on affiliated authors' impact and research integrity proxies

Este estudo apresenta um mapeamento e ranking abrangentes de instituições de pesquisa que equilibram o impacto de seus autores de alto nível com penalidades por práticas questionáveis, como autocitações excessivas, publicações em revistas descontinuadas e retratações, revelando disparidades significativas entre países.

O essencial

Imagine que o mundo da ciência é uma gigantesca feira de talentos, onde milhares de universidades, institutos de pesquisa e empresas competem para mostrar quem produz as ideias mais brilhantes.

Até agora, para decidir quem é o "campeão", os organizadores dessa feira olhavam apenas para uma coisa: quantos aplausos (citações) cada instituição recebeu. Se você tinha muitos artigos citados, você era o rei. O problema? Essa contagem ignorava duas coisas importantes:

1. O tamanho da equipe: Uma universidade gigante com 50.000 pesquisadores vai ter mais "aplausos" do que um pequeno laboratório de gênios com 50 pessoas, mesmo que o laboratório pequeno seja mais eficiente.
2. A trapaça: Alguns participantes conseguiam muitos aplausos fazendo truques sujos, como citar a si mesmos repetidamente, publicar em revistas de baixa qualidade ou até mesmo ter artigos que precisaram ser retirados (retraídos) porque estavam errados ou fraudulentos.

O que os autores deste estudo fizeram?

Eles criaram um novo sistema de pontuação, como se fosse um juiz mais esperto e justo na feira. Em vez de olhar apenas para o número total de aplausos, eles criaram uma "fórmula mágica" que faz três coisas:

1. Ajusta pelo tamanho: Eles olham para a porcentagem de gênios (autores muito citados) dentro de cada instituição. É como perguntar: "Dentre todos os cozinheiros desta cozinha, quantos são chefs estrela?" Isso permite comparar uma pequena padaria de elite com uma grande fábrica de comida.
2. Aplica "multas" por comportamento ruim: Eles adicionaram um sistema de penalidades. Se uma instituição tem muitos autores que:
   • Se citam demais (como se estivessem gritando "olhem para mim!" o tempo todo);
   • Publicam em revistas que foram banidas por serem de má qualidade;
   • Têm artigos que foram retirados por erros graves ou má conduta;
   • ...então essa instituição perde pontos na pontuação final.
3. Cria um "Ranking de Integridade": O resultado final não é apenas quem tem mais citações, mas quem tem o melhor equilíbrio entre excelência e honestidade.

O que eles descobriram? (As Surpresas)

• Os Gigantes nem sempre são os melhores: As maiores universidades do mundo (como Harvard e Stanford) ainda aparecem no topo pelo número total de gênios. Mas, quando olhamos para a porcentagem de gênios, instituições menores, como institutos de pesquisa e até algumas empresas de tecnologia (como a Meta e a Microsoft), aparecem como campeãs absolutas. É como descobrir que uma pequena equipe de cirurgiões tem uma taxa de sucesso maior do que um hospital gigante e lotado.
• O "Efeito Multa" muda tudo: Quando aplicaram as penalidades por má conduta, o ranking mudou drasticamente.
  • Países como Arábia Saudita, China, Malásia, Irã, Índia e Indonésia tiveram suas posições no ranking muito mais baixas do que o esperado. Muitas instituições desses países tinham muitos "gênios" no papel, mas também tinham muitas "multas" por retratações e citações excessivas.
  • Países como EUA, Reino Unido, Suíça e Canadá mantiveram ou subiram no ranking, pois suas instituições tinham menos dessas "manchas" na reputação.
• Cuidado com as pequenas: O estudo avisa que instituições muito pequenas podem parecer "super-estrelas" apenas porque têm poucos pesquisadores. Se um deles for um gênio, a porcentagem fica 100%. Mas se esse gênio tiver problemas de integridade, a instituição inteira cai no ranking.

A Analogia Final

Pense nisso como uma competição de carros de corrida:

• O método antigo contava apenas quem cruzou a linha de chegada mais vezes, não importava se o carro era um caminhão gigante ou um carro de Fórmula 1, e não importava se o piloto usava cola no pneu para ganhar vantagem.
• Este novo estudo é como um juiz que diz: "Ok, vamos contar quantos carros de cada equipe cruzaram a linha, mas vamos descontar pontos se o carro tiver um motor adulterado, se o piloto estiver colando no pneu ou se o carro tiver sido desclassificado por quebrar as regras."

Conclusão Simples

O objetivo dos autores não é apenas criar uma lista de "quem é o melhor", mas sim acender um sinal de alerta. Eles querem que as instituições parem de focar apenas em números e comecem a se preocupar com a qualidade e a honestidade da ciência que produzem. É um convite para que a ciência seja não apenas brilhante, mas também limpa e confiável.

Os dados estão disponíveis publicamente, como um "mapa do tesouro" que qualquer um pode usar para ver quem realmente está jogando limpo e quem está tentando trapacear no jogo da ciência.

Resumo técnico

Título do Estudo: Mapeamento Científico Global de Instituições Baseado no Impacto de Autores Afiliados e Proxies de Integridade na Pesquisa

1. O Problema

As avaliações e classificações institucionais (rankings universitários) são amplamente utilizadas, mas frequentemente criticadas por sua falta de confiabilidade e validade. Os principais problemas identificados pelos autores são:

• Foco Excessivo no Impacto: A maioria dos rankings mede apenas impacto (citações, volume de publicações), ignorando completamente questões de integridade na pesquisa, como má conduta, retratações e práticas de "gaming" (manipulação de métricas).
• Falta de Padronização de Tamanho: É difícil coletar dados padronizados sobre o número real de pesquisadores empregados por instituições globais (diferenças entre professores titulares, adjuncts, staff, etc.). Isso gera viés ao normalizar métricas de impacto pelo número de pesquisadores.
• Ignorância de Práticas Espúrias: Rankings tradicionais não penalizam instituições cujos autores atingem altas citações através de práticas questionáveis (ex: altas taxas de auto-citação, publicações em revistas de baixa qualidade ou revistas descontinuadas).
• Desnível entre Volume e Qualidade: Instituições grandes podem ter muitos autores de alto impacto em números absolutos, mas uma proporção muito baixa de pesquisadores de elite em relação ao total, enquanto instituições menores podem ter concentrações muito altas de pesquisadores de topo.

2. Metodologia

Os autores utilizaram o banco de dados Scopus (com congelamento de dados em 1º de agosto de 2025) para gerar métricas institucionais padronizadas.

• Base de Dados e Filtros:

  • Inicialmente, foram considerados 10.933.183 autores com pelo menos 5 artigos completos.
  • Análise Primária: Focou-se em um subconjunto de autores que: (a) começaram a publicar em 1980 ou depois (janela de carreira de ~45 anos); (b) têm 40+ publicações no total; e (c) têm pelo menos 5 publicações como autores únicos, primeiros ou últimos. Isso visa aproximar-se de "professores seniores ativos" e reduzir o ruído de pesquisadores em início de carreira ou inativos.
  • Agregação Institucional: As afiliações foram agregadas em "instituições" (ex: Harvard University inclui todas as suas escolas e departamentos, mas hospitais separados são mantidos distintos).

• Indicadores de Impacto:

  • Contagem de autores de alto impacto (top-cited): Autores que estão no top 2% de seu subcampo científico (baseado em um indicador composto de citações que inclui h-index, citações para artigos de único autor, etc.).
  • Cálculo da proporção de autores de alto impacto em relação ao total de autores elegíveis da instituição.

• Proxies de Integridade na Pesquisa (Penalizações):
  Três indicadores foram usados como proxies (não prova definitiva, mas sinais de alerta) para problemas de integridade:

  1. Retratações: Número total de afiliações em artigos retratados por erros dos autores (excluindo erros da editora).
  2. Auto-citações Excessivas: Proporção de autores de alto impacto com taxas de auto-citação acima do percentil 95% do seu subcampo.
  3. Publicações em Revistas Descontinuadas: Proporção de autores de alto impacto com alta taxa de publicações em títulos que foram descontinuados pelo Scopus devido a preocupações de qualidade.

• Cálculo da Pontuação Resumida (Summary Score):
  Foi desenvolvida uma fórmula que combina o impacto (número de autores de topo) com penalidades baseadas na integridade:

  • Cada afiliação de retratação penaliza a instituição (duas afiliações em uma retratação equivalem à perda de um autor de topo).
  • Se a proporção de autores de topo com auto-citações ou publicações em revistas descontinuadas exceder 5%, aplica-se uma penalidade; se for menor, pode haver um bônus.
  • A pontuação final gera um ranking percentil ajustado.

3. Principais Contribuições

• Novo Paradigma de Avaliação: Propõe uma avaliação que equilibra o impacto (citações) com a integridade da pesquisa, oferecendo uma visão mais holística da qualidade institucional.
• Padronização de Comparação: Cria uma métrica baseada em critérios objetivos de publicação (idade e volume) que permite comparar instituições de tipos e tamanhos muito diferentes (universidades, institutos de pesquisa, empresas de tecnologia) sem depender de classificações acadêmicas internas heterogêneas.
• Dados Públicos e Transparentes: Disponibilização de conjuntos de dados públicos cobrindo quase 7.000 instituições, permitindo exploração detalhada por pesquisadores e gestores.
• Identificação de "Hotspots" de Integridade: Mapeamento geográfico de onde ocorrem as maiores penalidades por retratações e práticas questionáveis.

4. Resultados Chave

• Sobreposição Limitada: Há uma sobreposição modesta entre as instituições com maior volume absoluto de autores de topo e aquelas com a maior proporção de autores de topo.
• Diversidade de Instituições de Alta Proporção: As instituições com as maiores proporções de autores de topo (ex: >40%) não são apenas grandes universidades, mas incluem muitos institutos de pesquisa, organizações tecnológicas (ex: Meta FAIR, Alphabet Inc.) e pequenas instituições especializadas.
• Impacto das Penalidades de Integridade:
  • Quando as penalidades de integridade (retratações, auto-citações, revistas descontinuadas) são aplicadas, o ranking de muitas instituições muda drasticamente.
  • Disparidades Geográficas: Países como Arábia Saudita, China, Malásia, Irã, Índia e Indonésia apresentaram as medianas de percentil mais baixas após o ajuste. A penalidade cumulativa nessas regiões frequentemente excede o número de seus autores de topo.
  • Padrões Específicos: Instituições chinesas foram fortemente penalizadas por retratações; instituições russas por altas taxas de auto-citação e publicações em revistas descontinuadas.
  • Países de Alta Performance: Reino Unido, Países Baixos, Suíça, Canadá, EUA, Austrália e Suécia mantiveram medianas de percentil muito altas (82º-85º percentil) mesmo após os ajustes.
• Instituições de Pequeno Porte: Muitas instituições pequenas com proporções extremamente altas de autores de topo (acima de 60-70%) foram identificadas, mas o estudo alerta que isso pode ser um sinal de "gaming" de métricas ou práticas de autoria questionáveis, especialmente quando combinado com altas penalidades de integridade.

5. Significância e Conclusão

O estudo demonstra que focar apenas no volume ou no impacto bruto das citações esconde problemas sérios de integridade e distorce a percepção da qualidade real das instituições.

• Sinais de Alerta: Os indicadores de integridade funcionam como sinais de alerta para que revisores e gestores investiguem mais a fundo práticas de má conduta ou "gaming" de métricas em certas regiões e instituições.
• Incentivos Corretos: Ao incorporar penalidades por retratações e práticas questionáveis nos rankings, o estudo visa enfraquecer os incentivos para má conduta e fortalecer a integridade científica.
• Limitações: Os autores reconhecem que os dados do Scopus não são perfeitos (erros de afiliação), que retratações podem ser apenas a ponta do iceberg de má conduta, e que a ponderação exata das penalidades é arbitrária. No entanto, a análise de sensibilidade mostrou que as classificações gerais são robustas a variações nos parâmetros.
• Conclusão Final: A disponibilidade desses dados permite uma avaliação mais transparente e equilibrada, onde a excelência científica deve ser ponderada contra a integridade da pesquisa, evitando que instituições com grandes volumes de publicações, mas com problemas sistêmicos de qualidade, sejam erroneamente elogiadas.