Regulatory effect of document samples on the fluctuation of journal impact factor

Resumo Técnico: Efeito Regulatório de Amostras de Documentos na Flutuação do Fator de Impacto de Periódicos

Definição do Problema
O Fator de Impacto do Periódico (JIF) é uma métrica amplamente utilizada para avaliar a qualidade de periódicos acadêmicos; no entanto, seu cálculo é inerentemente suscetível a flutuações numéricas extremas causadas por documentos individuais com contagens de citações excepcionalmente altas ou baixas. O cálculo padrão do JIF inclui todos os "documentos de origem" (artigos e revisões) no denominador e suas citações totais no numerador. Esta metodologia permite que um único artigo altamente citado influe desproporcionalmente o JIF de um periódico, desviando-se da intenção original do indicador de refletir a qualidade acadêmica abrangente e de longo prazo. Estudos anteriores destacaram casos em que artigos isolados causaram aumentos e quedas anormais nos JIFs (ex: Acta Crystallographica Section A), comprometendo o rigor científico e a imparcialidade dos sistemas de avaliação de periódicos. Estratégias atuais para manipular JIFs, como o aumento de tipos de documentos que não constam no denominador ou a formação de alianças de citação, complicam ainda mais o cenário, necessitando de uma abordagem estatística para mitigar essas distorções sem alterar a definição fundamental da métrica.

Metodologia
Este estudo propõe uma estratégia de "poda de duas extremidades" para modificar o modelo de cálculo do JIF. A metodologia envolve as seguintes etapas:

1. Seleção de Amostra: Nove periódicos representativos foram selecionados: três periódicos internacionais de alto nível (Nature, Science, Cell) e seis periódicos de física profissional da China (Chinese Physics Letters, Chinese Physics B, Chinese Physics C) e dos Estados Unidos (Physical Review Letters, Physical Review B, Physical Review C).
2. Aquisição de Dados: Dados de citação de todos os documentos de origem válidos (artigos e revisões) publicados entre 2010 e 2025 foram recuperados do banco de dados Web of Science (WoS).
3. Estratégia de Truncamento: Para cada periódico e ano, os documentos foram classificados por contagem de citações em ordem decrescente. O estudo removeu sistematicamente os $n\%$ superiores e os $n\%$ inferiores dos documentos desta classificação (onde $n$ varia de 0 a 25).
4. Recálculo: Um JIF modificado ($R_n$) foi calculado utilizando os documentos restantes ($P_n$) e suas citações totais ($C_n$), definido como $R_n = C_n / P_n$.
5. Análise Estatística: A estabilidade do JIF modificado foi avaliada usando o Desvio Padrão (SD) e o Desvio Padrão Relativo (RSD) através de diferentes proporções de retenção (de 100% até 50%). O estudo também analisou a "redução relativa do valor do JIF" para determinar o efeito marginal da remoção de documentos adicionais.

Principais Resultados

• Supressão de Flutuação: Os resultados demonstram que a exclusão de documentos em ambas as extremidades da distribuição de citações reduz efetivamente a amplitude de flutuação dos JIFs. A redução mais significativa nos valores de JIF e na flutuação ocorre quando os 2% iniciais de documentos (1% de cada cauda) são removidos.
• Efeito Marginal Decrescente: À medida que a proporção de documentos retidos diminui, o impacto marginal na redução do JIF diminui. Quando a taxa de retenção cai abaixo de 80%, a curva se estabiliza, indicando que o truncamento adicional produz mudanças negligenciáveis na métrica.
• Validação por Estudo de Caso:
  • Para periódicos de alto nível (Nature, Science, Cell), o modelo modificado mostrou que citações extremas impulsionam a maior parte da volatilidade do JIF. A remoção das caudas estabilizou o indicador, mantendo uma tendência descendente consistente nos valores absolutos.
  • Para periódicos profissionais, o estudo identificou instâncias específicas de flutuação anormal, como no caso do Chinese Physics C (CPC), onde duas revisões altamente citadas em 2014 e 2016 causaram um pico no JIF para 5,861. Após a aplicação da poda de duas extremidades (removendo apenas 2% dos documentos), esses picos desapareceram e o JIF retornou a uma base estável (ex: caindo de 5,861 para 1,201 em 2018), refletindo objetivamente o desempenho regular do periódico.
• Métricas de Estabilidade: O Desvio Padrão (SD) e o Desvio Padrão Relativo (RSD) dos JIFs diminuíram consistentemente à medida que o tamanho da amostra era reduzido, confirmando que o indicador modificado é mais estável. Periódicos com desempenho historicamente estável (ex: a série Physical Review) mostraram baixa sensibilidade ao truncamento, enquanto periódicos com históricos voláteis mostraram estabilização significativa.

Determinação do Limiar Ótimo
Ao ponderar o equilíbrio entre a estabilidade do JIF (capacidade anti-interferência) e a representatividade da amostra, o estudo determinou um limiar de retenção de amostra ideal.

• Remover 1% de cada extremidade (retendo 98%) elimina as oscilações anormais mais significativas.
• No entanto, para maximizar a representatividade da amostra enquanto se garante a robustez contra outliers extremos, o estudo identifica a retenção de 90% (removendo os 5% superiores e os 5% inferiores) como o limiar ideal. Neste nível, o efeito marginal de um truncamento adicional é negligenciável, e o indicador filtra efetivamente os desvios estatísticos causados por citações extremas sem descartar uma parte substancial da produção do periódico.

Significância e Alegações
O artigo alega que a estratégia de truncamento de duas extremidades proposta oferece uma nova perspectiva para o cálculo padronizado dos JIFs. Ao reduzir apropriadamente o tamanho da amostra para excluir outliers extremos, o método:

1. Restaura o Rigor Científico: Mitiga os desvios estatísticos acidentais causados por documentos individuais, permitindo que o JIF reflita melhor a qualidade acadêmica intrínseca e a estabilidade de longo prazo de um periódico.
2. Melhora os Sistemas de Avaliação: As descobertas fornecem uma referência para melhorar a racionalidade e a imparcialidade dos atuais sistemas de avaliação de periódicos, que são vulneráveis à manipulação e a eventos de citação extrema.
3. Aplicabilidade Prática: O estudo sugere que a adoção de um limiar de retenção de 90% pode evitar efetivamente flutuações anormais do JIF, mantendo dados suficientes para uma avaliação representativa, oferecendo uma solução prática para a melhoria das métricas de avaliação de periódicos.

Os autores concluem que esta abordagem não inventa novas métricas, mas refina o cálculo existente do JIF para aumentar sua confiabilidade como um indicador quantitativo para avaliação acadêmica.