Science-wide mapping and ranking of institutions based on affiliated authors' impact and research integrity proxies

Este estudio presenta un mapa y ranking global de instituciones científicas que equilibra el impacto de sus autores con métricas de integridad, penalizando prácticas como la auto-citación excesiva, publicaciones en revistas discontinuadas y retracciones para ofrecer una evaluación más precisa y justa.

Lo esencial

Imagina que el mundo de la ciencia es un gigantesco torneo de fútbol donde miles de equipos (las universidades e institutos) compiten por ver quién tiene a los mejores jugadores.

Hasta ahora, los rankings (las listas de los "mejores") solo miraban una cosa: cuántos goles marcó el equipo (cuántas citas tienen sus artículos). Si un equipo tenía muchos jugadores y marcaba muchos goles, era el número uno. Pero había un problema: no miraban si esos goles eran limpios, si los jugadores hacían trampas, o si el equipo tenía demasiados jugadores de relleno que no jugaban casi nada.

Este nuevo estudio, hecho por un equipo de expertos (incluyendo al famoso John Ioannidis), quiere cambiar las reglas del juego. Quieren crear una lista de clasificación más justa y honesta que tenga en cuenta dos cosas:

1. El talento real: ¿Cuántos jugadores estrella tiene el equipo?
2. La limpieza del juego: ¿Hay jugadores que hacen trampas o usan tácticas sucias?

Aquí te explico cómo lo hacen, con analogías sencillas:

1. No cuentan a todos, solo a los "jugadores activos"

Muchas universidades son gigantes con miles de empleados. Si solo contamos el total de goles, los equipos gigantes siempre ganan, aunque tengan muchos jugadores que apenas tocan el balón.

• La solución: Los autores decidieron no contar a todo el mundo. Solo cuentan a los jugadores que han estado jugando activamente en los últimos 45 años (una carrera típica) y que han marcado muchos goles (publicado muchos artículos). Es como decir: "No nos importa si tienes 10,000 personas en la plantilla, nos importa cuántos de tus jugadores actuales son realmente estrellas".

2. El "Puntaje de Estrella" (Impacto)

Primero, miran cuántos jugadores de cada equipo están en el "Top 2%" mundial de su especialidad.

• El resultado: Sorprendentemente, los equipos más grandes (como Harvard o universidades chinas masivas) tienen muchos jugadores estrella en total, pero a veces tienen muy pocos en proporción a su tamaño. En cambio, hay equipos pequeños (como institutos de investigación o empresas de tecnología como Meta o Microsoft) donde casi todos sus jugadores son estrellas. ¡Es como si en un equipo pequeño, el 50% de la gente fuera el mejor del mundo!

3. La "Tarjeta Roja" (Integridad de la Investigación)

Aquí es donde el estudio se vuelve muy interesante. No basta con tener goles; hay que ver cómo se marcaron. Usan tres señales de alarma (como tarjetas rojas o amarillas) para penalizar a los equipos que juegan sucio:

• Las "Autocitas" excesivas (El grupo de amigos): Imagina un jugador que, en lugar de pasar el balón a otros, se lo pasa a sí mismo una y otra vez para que parezca que tiene muchos pases. En ciencia, esto es cuando un autor cita sus propios trabajos una y otra vez para inflar sus números. Si un equipo tiene muchos jugadores haciendo esto, pierde puntos.
• Las revistas "basura" (Los campos de juego ilegales): Hay revistas científicas que son tan malas o fraudulentas que la base de datos (Scopus) las expulsa. Si un equipo tiene muchos jugadores publicando en estas revistas "basura", es una señal de que están buscando atajos. Eso también resta puntos.
• Las "Retracciones" (Los goles anulados): A veces, un equipo marca un gol, pero luego el árbitro revisa y dice: "¡Fue fuera de juego! ¡Golo anulado!". En ciencia, esto son los artículos que se retiran porque tenían errores graves o fraude. Si un equipo tiene muchos "goles anulados", su reputación cae en picada.

4. El Gran Giro en las Clasificaciones

Cuando los autores aplicaron estas reglas de "juego limpio" a sus listas, ¡la tabla cambió drásticamente!

• Los ganadores: Las universidades de EE. UU., Reino Unido, Canadá y países nórdicos (como Suiza y Países Bajos) se mantienen muy arriba, pero ahora con un puntaje más limpio. Empresas de tecnología y pequeños institutos de investigación brillan mucho porque tienen muchos jugadores estrella y muy pocas "tarjetas rojas".
• Los que bajaron: Algunos países y sus grandes universidades, que antes parecían gigantes por el simple volumen de goles, bajaron mucho en la lista. ¿Por qué? Porque tenían una proporción muy alta de "jugadores sucios" (muchas retracciones, muchas autocitas o publicaciones en revistas expulsadas).
  • El estudio señala que países como Arabia Saudita, China, Malasia, Irán, India e Indonesia tienen, en promedio, penalizaciones tan altas que a veces sus "tarjetas rojas" superan a sus "goles". Esto no significa que todos sus científicos sean malos, pero sí que hay un problema sistémico de "trampa" en esos entornos que el estudio quiere hacer visible.

¿Por qué es importante esto?

Imagina que eres un patrocinador (un gobierno o una empresa) y quieres invertir dinero en un equipo.

• Antes, mirabas quién tenía más trofeos (citas) y le dabas el dinero.
• Ahora, con este estudio, puedes ver quién tiene más talento real y quién juega limpio.

El mensaje final es: La cantidad no lo es todo. Es mejor tener un equipo pequeño de jugadores honestos y brillantes, que un equipo gigante lleno de jugadores que hacen trampas para parecer importantes.

Este estudio es como un detector de mentiras para la ciencia mundial, ayudándonos a ver quiénes son realmente los mejores y quiénes están solo fingiendo.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "Science-wide mapping of institutions based on affiliated authors' impact and research integrity proxies" (Mapeo a nivel mundial de instituciones basado en el impacto de los autores afiliados y proxies de integridad científica), traducido y sintetizado al español.

---

Resumen Técnico

1. Planteamiento del Problema

Las evaluaciones y rankings institucionales actuales (universidades, centros de investigación, empresas) suelen centrarse casi exclusivamente en métricas de impacto (citas, volumen de publicaciones) y a menudo ignoran por completo los problemas de integridad científica. Además, existen deficiencias metodológicas críticas:

• Falta de ajuste por tamaño: Comparar instituciones de diferentes tamaños sin normalizar adecuadamente genera sesgos.
• Heterogeneidad en la definición de "afiliación": Es difícil estandarizar qué personal cuenta como "investigador" (profesores titulares, adjuntos, personal administrativo, etc.) a nivel global.
• Ceguera ante la mala conducta: Los rankings tradicionales no penalizan la retractación de artículos, el exceso de autocitas o la publicación en revistas de baja calidad o discontinuadas.
• Enfoque en volumen vs. calidad: Las instituciones más grandes dominan los rankings por volumen absoluto, ocultando instituciones más pequeñas pero con una alta densidad de investigadores de alto impacto.

El objetivo del estudio es generar métricas estandarizadas a nivel de institución que equilibren el impacto científico (número de autores de alto impacto) con indicadores proxy de integridad de la investigación, ajustados por el tamaño de la institución y el campo científico.

2. Metodología

Fuente de Datos:

• Se utilizó la base de datos Scopus (con congelación de datos al 1 de agosto de 2025).
• Se filtraron autores con al menos 5 publicaciones completas (artículos, revisiones, conferencias), resultando en 10,933,183 autores elegibles.
• Se utilizaron los conjuntos de datos de autores más citados (top 2% por subcampo o top 100,000 globales) basados en un indicador compuesto de citas que incluye el índice h, citas a autores únicos, primeros y últimos, y el índice hm ajustado por coautoría.

Definición de Instituciones y Filtros:

• Agregación: Se agruparon afiliaciones dispersas en "instituciones" agregadas (ej. todas las escuelas de Harvard se agrupan bajo "Harvard University", excluyendo hospitales separados).
• Análisis Principal (Primary Analysis): Para evitar sesgos por investigadores inactivos o de carrera temprana, se aplicaron filtros estrictos:
  • Inicio de publicación en 1980 o posterior (ventana de 45 años de carrera).
  • 40+ publicaciones totales indexadas en Scopus.
  • 5+ publicaciones como autor único, primero o último.
• Se analizaron 6,979 instituciones en total, pero los rankings percentiles finales se limitaron a las 2,380 instituciones que tenían al menos 100 autores que cumplían los criterios del análisis principal.

Indicadores de Integridad (Proxies):
Se incorporaron tres indicadores que actúan como señales de alerta (no prueba definitiva de fraude):

1. Retracciones: Número total de autorías en artículos retractados por razones distintas a errores del editor (ΣR).
2. Autocitas Excesivas: Proporción de autores de alto impacto con tasas de autocitas superiores al percentil 95% de su subcampo.
3. Revistas Discontinuadas: Proporción de autores de alto impacto con publicaciones en títulos que Scopus ha discontinuado por problemas de calidad (no por simple cese de publicación).

Cálculo del Puntuación Ajustada:
Se desarrolló una fórmula de puntuación que combina el impacto con las penalizaciones de integridad:
$$\text{Score} = \frac{N(t) - \frac{\Sigma R}{2} - \max(0, S(t) - 0.05 \cdot N(t)) - \max(0, D(t) - 0.05 \cdot N(t))}{N(a)}$$
Donde:

• $N(t)$: Número de autores de alto impacto.
• $N(a)$: Número total de autores elegibles.
• $\Sigma R$: Autorías en artículos retractados (penalización directa).
• $S(t)$ y $D(t)$: Autores con altas tasas de autocitas o revistas discontinuadas (penalización si superan el 5% del total de autores de alto impacto).
• Nota: Dos autorías retractadas equivalen a la pérdida de un autor de alto impacto en la puntuación.

3. Contribuciones Clave

• Base de Datos Pública: Se proporciona un conjunto de datos completo y accesible para 6,979 instituciones, permitiendo la exploración de métricas de impacto y riesgos de integridad.
• Nuevo Enfoque de Evaluación: Propone un modelo que no solo mide el éxito, sino que penaliza activamente las prácticas cuestionables (retracciones, gaming de citas), ofreciendo una visión más holística de la calidad institucional.
• Desagregación por Tamaño: Distingue entre instituciones con alto volumen absoluto de citas y aquellas con alta densidad de investigadores de élite, revelando que muchas instituciones pequeñas (institutos de investigación, empresas tecnológicas) tienen proporciones de autores de alto impacto superiores a las grandes universidades.
• Análisis Geográfico de Riesgos: Identifica patrones nacionales específicos en relación con indicadores de integridad.

4. Resultados Principales

Impacto y Volumen:

• Las instituciones con el mayor número absoluto de autores de alto impacto son universidades estadounidenses y chinas de gran tamaño (ej. Harvard, Stanford, Tsinghua).
• Sin embargo, las instituciones con la mayor proporción de autores de alto impacto (dentro de su población elegible) son a menudo institutos de investigación, centros de pensamiento y empresas tecnológicas (ej. Meta FAIR, Instituto de Estudios Avanzados, CISPA). Las grandes universidades a menudo tienen proporciones más bajas debido a su gran masa crítica de investigadores en etapas tempranas.

Indicadores de Integridad y Penalizaciones:

• Disparidad Geográfica:
  • China: Domina la lista de instituciones penalizadas por retracciones (75 de las 100 peores instituciones por retractación están en China).
  • Rusia: Domina la lista por autocitas excesivas (26 de las 100 peores).
  • India, Malasia, Arabia Saudita e Indonesia: Presentan altas tasas de publicaciones en revistas discontinuadas.
• Impacto en el Ranking:
  • Países como Arabia Saudita, China, Malasia, Irán, India e Indonesia sufren las mayores penalizaciones acumuladas. En el ranking ajustado, la mediana de sus instituciones cae drásticamente (percentiles 3.9 a 21), mientras que países como EE. UU., Reino Unido, Suiza y Australia mantienen percentiles muy altos (82-85).
  • La penalización acumulada en estos países a veces supera el número total de sus autores de alto impacto, reduciendo sus puntuaciones ajustadas a valores negativos o cercanos a cero.

Estabilidad del Modelo:

• Los análisis de sensibilidad (variando los percentiles de corte y los factores de penalización) mostraron una alta correlación (Spearman > 0.92) con el modelo base, indicando que el ranking es robusto frente a cambios moderados en los parámetros.

5. Significado e Implicaciones

• Transparencia y Alertas Tempranas: El estudio no busca estigmatizar, sino proporcionar "señales de advertencia" objetivas. Permite a las instituciones, financiadores y gobiernos identificar áreas donde la presión por publicar podría estar comprometiendo la integridad.
• Reevaluación de Rankings: Cuestiona la validez de los rankings tradicionales que ignoran la calidad ética. Sugiere que el "éxito" científico debe medirse en equilibrio con la conducta responsable.
• Política Científica: Destaca que diferentes países enfrentan desafíos distintos (ej. retracciones en China vs. autocitas en Rusia), lo que sugiere que las políticas de reforma de la evaluación científica deben ser específicas para el contexto nacional.
• Limitaciones: Los autores reconocen que estos indicadores son proxies y no pruebas definitivas de fraude. Factores como la mezcla de campos científicos, sesgos de cobertura de Scopus y estructuras de afiliación complejas pueden influir en los resultados. Además, la agregación de instituciones tiene incertidumbre inherente.

En conclusión, este trabajo ofrece una herramienta metodológica avanzada para mapear la ciencia global, integrando por primera vez de manera sistemática la integridad de la investigación en la evaluación comparativa de instituciones, revelando que el impacto cuantitativo puro a menudo oculta problemas significativos de calidad y ética en ciertas regiones y organizaciones.