Regulatory effect of document samples on the fluctuation of journal impact factor

Resumen Técnico: Efecto Regulatorio de las Muestras de Documentos en la Fluctuación del Factor de Impacto de las Revistas

Planteamiento del Problema
El Factor de Impacto de la Revista (JIF, por sus siglas en inglés) es una métrica ampliamente utilizada para evaluar la calidad de las revistas académicas; sin embargo, su cálculo es inherentemente susceptible a fluctuaciones numéricas extremas causadas por documentos individuales con recuentos de citas excepcionalmente altos o bajos. El cálculo estándar del JIF incluye todos los "documentos fuente" (artículos y revisiones) en el denominador y sus citas totales en el numerador. Esta metodología permite que un solo artículo altamente citado infle desproporcionadamente el JIF de una revista, desviándose de la intención original del indicador de reflejar una calidad académica integral y a largo plazo. Estudios previos han destacado casos donde artículos individuales causaron aumentos y caídas anormales en los JIF (por ejemplo, Acta Crystallographica Section A), socavando el rigor científico y la imparcialidad de los sistemas de evaluación de revistas. Las estrategias actuales para manipular los JIF, como el aumento de tipos de documentos que no figuran en el denominador o la formación de alianzas de citación, complican aún más el panorama, lo que requiere un enfoque estadístico para mitigar estas distorsiones sin alterar la definición fundamental de la métrica.

Metodología
Este estudio propone una estrategia de "recorte de doble extremo" para modificar el modelo de cálculo del JIF. La metodología implica los siguientes pasos:

1. Selección de la Muestra: Se seleccionaron nueve revistas representativas: tres revistas internacionales de primer nivel (Nature, Science, Cell) y seis revistas de física profesional de China (Chinese Physics Letters, Chinese Physics B, Chinese Physics C) y de Estados Unidos (Physical Review Letters, Physical Review B, Physical Review C).
2. Adquisición de Datos: Se recuperaron los datos de citación de todos los documentos fuente válidos (artículos y revisiones) publicados entre 2010 y 2025 de la base de datos Web of Science (WoS).
3. Estrategia de Truncamiento: Para cada revista y año, los documentos se clasificaron por recuento de citas en orden descendente. El estudio eliminó sistemáticamente el $n\%$ superior y el $n\%$ inferior de los documentos de este ranking (donde $n$ oscila entre 0 y 25).
4. Recálculo: Se calculó un JIF modificado ($R_n$) utilizando los documentos restantes ($P_n$) y sus citas totales ($C_n$), definido como $R_n = C_n / P_n$.
5. Análisis Estadístico: La estabilidad del JIF modificado se evaluó utilizando la Desviación Estándar (SD) y la Desviación Estándar Relativa (RSD) a través de diferentes proporciones de retención (desde el 100% hasta el 50%). El estudio también analizó el "valor de reducción relativa del JIF" para determinar el efecto marginal de eliminar documentos adicionales.

Resultos Clave

• Supresión de la Fluctuación: Los resultados demuestran que excluir documentos en ambos extremos de la distribución de citas reduce eficazmente la amplitud de fluctuación de los JIF. La reducción más significativa en los valores de JIF y en la fluctuación ocurre cuando se eliminan el 2% inicial de los documentos (1% de cada extremo).
• Efecto Marginal Decreciente: A medida que la proporción de documentos retenidos disminuye, el impacto marginal en la reducción del JIF decrece. Cuando la tasa de retención cae por debajo del 80%, la curva se aplana, lo que indica que un truncamiento adicional produce cambios insignificantes en la métrica.
• Validación mediante Casos de Estudio:
  • Para las revistas de primer nivel (Nature, Science, Cell), el modelo modificado demostró que las citas extremas impulsan la mayor parte de la volatilidad del JIF. Eliminar los extremos estabilizó el indicador manteniendo una tendencia descendente constante en los valores absolutos.
  • Para las revistas profesionales, el estudio identificó instancias específicas de fluctuación anormal, como en Chinese Physics C (CPC), donde dos revisiones altamente citadas en 2014 y 2016 causaron que el JIF se disparara a 5.861. Tras aplicar el recorte de doble extremo (eliminando solo el 2% de los documentos), estos picos desaparecieron y el JIF volvió a una base estable (por ejemplo, cayendo de 5.861 a 1.201 en 2018), reflejando objetivamente el desempeño regular de la revista.
• Métricas de Estabilidad: La Desviación Estándar (SD) y la Desviación Estándar Relativa (RSD) de los JIF disminuyeron consistentemente a medida que se reducía el tamaño de la muestra, confirmando que el indicador modificado es más estable. Las revistas con un desempeño históricamente estable (por ejemplo, la serie Physical Review) mostraron una baja sensibilidad al truncamiento, mientras que las revistas con historias volátiles mostraron una estabilización significativa.

Determinación del Umbral Óptimo
Al ponderar el equilibrio entre la estabilidad del JIF (capacidad de anti-interferencia) y la representatividad de la muestra, el estudio determinó un umbral de retención de muestra óptimo.

• Eliminar el 1% de cada extremo (retener el 98%) elimina las oscilaciones anormales más significativas.
• Sin embargo, para maximizar la representatividad de la muestra asegurando la robustez frente a valores atípicos extremos, el estudio identifica la retención del 90% (eliminando el 5% superior y el 5% inferior) como el umbral óptimo. En este nivel, el efecto marginal de un truncamiento adicional es insignificante, y el indicador filtra eficazmente las desviaciones estadísticas causadas por citas extremas sin descartar una parte sustancial de la producción de la revista.

Significancia y Reivindicaciones
El artículo sostiene que la estrategia de truncamiento de doble extremo propuesta ofrece una nueva perspectiva para el cálculo estandarizado de los JIF. Al reducir apropiadamente el tamaño de la muestra para excluir valores atípicos extremos, el método:

1. Restaura el Rigor Científico: Mitiga las desviaciones estadísticas accidentales causadas por documentos individuales, permitiendo que el JIF refleje mejor la calidad académica intrínseca y la estabilidad a largo plazo de una revista.
2. Mejora los Sistemas de Evaluación: Los hallazgos proporcionan una referencia para mejorar la racionalidad y la imparcialidad de los actuales sistemas de evaluación de revistas, que son vulnerables a la manipulación y a eventos de citación extrema.
3. Aplicabilidad Práctica: El estudio sugiere que adoptar un umbral de retención del 90% puede evitar eficazmente las fluctuaciones anormales del JIF manteniendo suficientes datos para una evaluación representativa, ofreciendo una solución práctica para la mejora de las métricas de evaluación de revistas.

Los autores concluyen que este enfoque no inventa nuevas métricas, sino que refina el cálculo del JIF existente para mejorar su fiabilidad como indicador cuantitativo de la evaluación académica.