📊 statistics

Assessing Methodological Distortions in the Clarivate Highly Cited Researchers List: International Comparisons and a Reform Framework

Este artículo critica las limitaciones metodológicas de la lista de Investigadores Altamente Citados de Clarivate al demostrar cómo factores como el conteo entero y las disparidades de citación distorsionan las comparaciones internacionales, y propone un marco de reforma para abordar estos sesgos mediante el conteo fraccional, la normalización por campo y una mejor desambiguación de autores.

Autores originales: F. PACHECO-TORGAL

Publicado 2026-07-06

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: F. PACHECO-TORGAL

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el mundo de la ciencia como una enorme liga deportiva global. Cada año, una famosa organización llamada Clarivate publica una lista del "Salón de la Fama" llamada Investigadores Altamente Citados (HCR). Se supone que esta lista identifica al 1% superior de los científicos cuyo trabajo es más leído y referenciado por sus pares. Las universidades y los gobiernos utilizan esta lista para decidir quién recibe financiación, ascensos y prestigio.

Sin embargo, este artículo sostiene que las reglas del juego están amañadas. El autor, F. Pacheco-Torgal, sugiere que la forma en que Clarivate cuenta los puntos es defectuosa, lo que conduce a una visión distorsionada de quién es realmente el "mejor" científico.

Aquí hay un desglose de los argumentos del artículo utilizando analogías sencillas:

1. El problema del "conteo total": El fallo de la foto grupal

El Problema: Actualmente, Clarivate utiliza un método llamado "conteo total" (whole counting). Imagina que un equipo de 200 científicos escribe un artículo innovador. Si ese artículo recibe 500 citas (menciones de otros científicos), Clarivate le otorga 500 puntos a cada uno de los 200 autores.
La Metáfora: Es como una foto grupal donde todos reciben una medalla de oro solo por estar en la foto, independientemente de quién tomó la foto realmente o quién hizo el trabajo pesado.
La Consecuencia: Esto infla masivamente las puntuaciones de los científicos que trabajan en equipos enormes (común en campos como la biología o la física). Premia el formar parte de un club grande en lugar de la brillantez individual. El artículo sugiere cambiar a un "conteo fraccionario", donde los 500 puntos se dividirían entre los 200 autores, otorgando a cada científico solo 2.5 puntos. Esto sería un reflejo más justo de la contribución individual.

2. El problema de "manzanas con naranjas": Diferentes deportes, mismo trofeo

El Problema: Diferentes campos científicos tienen diferentes "culturas de citación". Algunos campos, como la medicina, publican miles de artículos y se citan entre sí constantemente. Otros, como las matemáticas o la ingeniería, publican menos artículos y los citan con menos frecuencia.
La Metáfora: Imagina una carrera donde los velocistas (Medicina) corren 100 metros en 10 segundos, y los corredores de maratón (Matemáticas) corren 42 kilómetros en 3 horas. Si el trofeo se otorga a quien recorra la mayor distancia en un solo bloque de una hora, los velocistas siempre ganarán, aunque los corredores de maratón sean increíblemente hábiles.
La Consecuencia: La lista actual no ajusta bien estas diferencias. Favorece a los campos que naturalmente generan más citas, haciendo que los científicos en campos de ritmo más lento parezcan menos impresionantes de lo que realmente son.

3. El problema de la "autopromoción" y la "confusión de nombres"

El Problema: La lista actual no elimina estrictamente las citas donde un científico cita su propio trabajo (autocitación), ni distingue perfectamente entre dos científicos con el mismo nombre (por ejemplo, "J. Smith").
La Metáfora: Es como un concurso de popularidad donde puedes aumentar tu propia puntuación gritando tu propio nombre en la multitud, y donde dos personas distintas podrían recibir crédito accidentalmente por el mismo premio porque tienen la misma etiqueta de nombre.
La Consecuencia: Esto puede inflar artificialmente las puntuaciones y atribuir erróneamente el crédito a la persona equivocada.

El "Ratio de Distorsión": Comparando dos tablas de puntuación

Para demostrar estos fallos, el autor compara la lista de Clarivate con otra lista famosa: la lista de los Top 0.5% de Científicos de Stanford. La lista de Stanford utiliza reglas más justas (dividir los puntos, eliminar autocitaciones y una mejor verificación de nombres).

El autor creó un "Ratio de Distorsión" para ver cuánto discrepan las dos listas.

Si el ratio es 1.0: Ambas listas coinciden en cuántos científicos tiene un país.
Si el ratio es alto (como 2.0+): La lista de Clarivate está sobrecontando ese país en comparación con la lista más justa de Stanford.
Si el ratio es bajo (como 0.5): La lista de Clarivate está subrepresentando a ese país.

Los Hallazgos:

China: Tuvo la mayor distorsión. La lista de Clarivate muestra que tienen el doble de científicos destacados de lo que la lista de Stanford sugiere. El autor sugiere que esto se debe a que los investigadores chinos suelen estar en equipos de colaboración masivos que se benefician de la regla de "conteo total".
Noruega, Japón, Italia, Canadá: Estos países estuvieron "subrepresentados" en la lista de Clarivate. Sus científicos aparecieron con menos frecuencia allí de lo que aparecieron en la lista de Stanford, probablemente porque sus culturas de investigación involucran equipos más pequeños o hábitos de citación diferentes que las reglas actuales penalizan.
La Prueba del Premio Nobel: El artículo señala una estadística impactante: la lista de Clarivate incluye solo alrededor del 10% de los ganadores del Nobel. En contraste, la lista de Stanford incluye más del 90%. Esto sugiere que la lista de Clarivate está perdiendo a muchas de las mentes científicas más grandes del mundo.

La Solución Propuesta: Una Reforma de Tres Pilares

El autor no dice que la lista deba cancelarse, sino que necesita una reforma integral utilizando tres pilares:

Dividir los Puntos: Cambiar al "conteo fraccionario" para que el crédito se comparta justamente entre los miembros del equipo.
Nivelar el Campo de Juego: Utilizar mejores matemáticas para comparar científicos dentro de sus campos específicos y estrechos (por ejemplo, comparar a un cirujano cardíaco solo con otros cirujanos cardíacos, no con un físico).
Limpiar los Datos: Eliminar estrictamente las autocitaciones y utilizar números de identificación únicos (como ORCID) para asegurar que el "J. Smith" correcto reciba el crédito.

La Conclusión Final

El artículo concluye que, si bien la lista de Investigadores Altamente Citados de Clarivate es popular e influyente, sus reglas actuales actúan como un filtro que distorsiona la realidad. Favorece a los grandes equipos y a los campos de alta citación, mientras que potencialmente oculta el verdadero impacto de los investigadores individuales en otras áreas. Hasta que las reglas no se arreglen, debemos ser muy cuidadosos al usar esta lista para tomar decisiones importantes sobre financiación o clasificaciones universitarias.

Resumen Técnico: Evaluación de las Distorsiones Metodológicas en la Lista de Investigadores Altamente Citados de Clarivate

Planteamiento del Problema
El artículo aborda limitaciones metodológicas significativas en la lista de Investigadores Altamente Citados (HCR, por sus siglas en inglés) de Clarivate, un indicador de influencia científica ampliamente utilizado. El estudio sostiene que la metodología actual de la HCR se basa en el "conteo total" (asignar crédito de citación completo a cada coautor, independientemente del tamaño del equipo) y en una categorización disciplinaria amplia. Se postula que estas prácticas inflan el impacto aparente de los investigadores en redes de colaboración extensas y en campos con altas densidades de citación (p. ej., ciencias biomédicas), mientras que desfavorecen sistemáticamente a los investigadores en campos con tasas de citación más bajas o estructuras de equipos más pequeñas. Además, el artículo señala que la lista HCR captura aproximadamente solo el 10% de los premios Nobel, lo que plantea interrogantes sobre su capacidad para identificar contribuciones científicas verdaderamente destacadas en comparación con otras métricas.

Metodología
El estudio emplea un análisis cuantitativo comparativo utilizando dos conjuntos de datos primarios para el ciclo de publicación de 2024:

Lista HCR de Clarivate (2024): Contiene 6,886 investigadores, extraídos del corpus de Web of Science.
Conjunto de Datos de los Científicos del Top 0.5% de Stanford (2025): Contiene 57,508 investigadores, extraídos de Scopus, utilizando conteo fraccional, desambiguación de autores y exclusión de autocitas.

Para cuantificar la divergencia entre estos dos conjuntos de datos metodológicamente distintos, el autor introduce un Índice de Distorsión (DR) definido como:
$DR = \frac{\text{Participación de País en HCR (\%)}}{\text{Participación Anual de País en Stanford (\%)}}$

Interpretación: Un DR > 1.0 indica una sobrerrepresentación en la lista HCR con respecto al referente de Stanford; un DR < 1.0 indica una subrepresentación.
Rigor Estadístico: El análisis calcula intervalos de confianza del 95% para el DR utilizando el método delta aplicado a errores estándar de proporción binomial. Esto contabiliza la incertidumbre de muestreo, particularmente para países con recuentos absolutos de HCR pequeños.
Alcance: El análisis cubre los 20 principales países por recuento de HCR. Reconoce explícitamente que el DR mide la discordancia entre dos instrumentos imperfectos en lugar de un sesgo absoluto, y señala las limitaciones tales como las diferencias de bases de datos (Web of Science frente a Scopus) y la falta de descomposición por campos en los datos agregados.

Contribuciones Clave

Introducción del Índice de Distorsión (DR): Una métrica novedosa para cuantificar sistemáticamente la divergencia a nivel nacional entre la lista HCR y la clasificación de Stanford.
Evidencia Empírica de Sesgo Sistemático: El estudio proporciona evidencia estadística de que la metodología de la HCR produce distorsiones significativas para naciones específicas, atribuyéndolas a ventajas estructurales en grandes colaboraciones y prácticas de citación específicas de cada campo.
Validación Estadística: Al calcular intervalos de confianza, el artículo distingue entre hallazgos estadísticamente robustos y aquellos que pueden ser artefactos de la variación del muestreo, advirtiendo contra la sobreinterpretación de estimaciones puntuales para países con tamaños de muestra pequeños.
Marco de Reforma: El artículo sintetiza la literatura de la cienciometría existente en una propuesta de reforma concreta de tres pilares para la lista HCR.

Resultados
El análisis de los datos de 2024 revela una variación sustancial en los Índices de Distorsión entre países:

China Continental: Registra el DR más alto de la muestra (2.10 para el conjunto de datos anual; 8.05 para el conjunto de datos de toda la carrera). El intervalo de confianza del 95% [1.99, 2.21] confirma que esta sobrerrepresentación es estadísticamente robusta. El artículo sugiere que esto es probablemente impulsado por la inflación del conteo total en grandes redes colaborativas y la concentración en campos de alta citación.
Subrepresentación Estadísticamente Robusta: Varios países muestran valores de DR significativamente por debajo de 1.0 con intervalos de confianza que excluyen el 1.0, lo que indica que están subrepresentados en la lista HCR en relación con su desempeño en Stanford. Estos incluyen:
- Noruega: DR = 0.46 (IC [0.24, 0.68])
- Italia: DR = 0.65 (IC [0.52, 0.77])
- Japón: DR = 0.69 (IC [0.53, 0.85])
- Suecia: DR = 0.74 (IC [0.54, 0.94])
- Canadá: DR = 0.76 (IC [0.66, 0.87])
- Reino Unido: DR = 0.87 (IC [0.80, 0.95])
Casos Estadísticamente Indeterminados: Para 11 de los 20 países (incluyendo Alemania, Francia y Australia), los intervalos de confianza del 95% cruzan el valor nulo de 1.0. Para estas naciones, las estimaciones puntuales no pueden distinguirse estadísticamente de la paridad, y el artículo aconseja precaución al extraer conclusiones de política sin una replicación longitudinal.
Discrepancia de Premios Nobel: El artículo reitera que la lista HCR incluye solo ~10% de los premios Nobel, mientras que la clasificación de Stanford (que utiliza conteo fraccional y desambiguación) incluye >90%.

Significancia y Reivindicaciones
El artículo sostiene que la metodología actual de la HCR no logra reflejar con precisión el impacto científico individual debido a su dependencia del conteo total y una normalización de campo insuficiente. Argumenta que estos fallos metodológicos se propagan hacia las clasificaciones institucionales (como el Academic Ranking of World Universities) e influyen en las decisiones de financiación y contratación.

El estudio propone un Marco de Reforma de Tres Pilares para abordar estos problemas:

Conteo Fraccional Obligatorio: Reemplazar el conteo total para asegurar que el crédito de citación se divida entre los coautores, reduando así la ventaja de las grandes redes de colaboración.
Normalización de Campo Robusta: Adoptar una clasificación de campos más granular (p. ej., los 54 campos utilizados por ARWU) y aplicar la normalización por rango de percentil dentro de cada campo para eliminar los sesgos estructurales entre disciplinas.
Desambiguación de Autor y Exclusión de Autocitas: Implementar una identificación de autor riguroosa (p. ej., vía ORCID) y excluir las autocitas para evitar la inflación artificial del impacto.

El artículo concluye que, si bien la lista HCR sigue siendo un indicador prominente, debe interpretarse con "considerable cautela" hasta que se adopten estas reformas. Enfatiza que los hallazgos relativos a China, EE. UU., Reino Unido, Canadá, Italia, Bélgica, Japón, Suecia y Noruega son estadísticamente lo suficientemente robustos como para exigir atención inmediata, mientras que los hallazgos para otros países requieren estudios longitudinales adicionales. El análisis no afirma que el conjunto de datos de Stanford sea una "verdad absoluta", sino que lo utiliza como un referente metodológico de contraste para resaltar la discordancia sistemática en el enfoque de la HCR.