Efficient Threshold-based Model for Scientific Productivity Evaluation: a Proposal

Resumen Técnico: Modelo Eficiente Basado en Umbrales para la Evaluación de la Productividad Científica

Planteamiento del Problema
Los sistemas actuales de evaluación de la investigación, particularmente en Italia, enfrentan desafíos significativos relacionados con la intensidad de recursos, el desfase temporal y la complejidad. Los mecanismos nacionales de evaluación primarios —la Valutazione della Qualità della Ricerca (VQR) y la Abilitazione Scientifica Nazionale (ASN)— son rigurosos pero requieren recursos financieros y temporales sustanciales. La VQR, por ejemplo, opera en ciclos multianuales (que típicamente cubren un periodo de tres años con un proceso de evaluación de un año), lo que resulta en datos que no están totalmente actualizados respecto a la productividad científica actual. Además, mientras que la VQR evalúa a las instituciones, la ASN evalúa a los individuos, creando un panorama fragmentado donde el monitoreo continuo y de bajo costo del desempeño institucional es difícil. Existe la necesidad de una herramienta simplificada y eficiente que aproveche los datos existentes para proporcionar información en tiempo real, transparente y conforme a la privacidad, sin requerir nueva recolección de datos o una carga algorítmica compleja.

Metodología
Los autores proponen un modelo simplificado basado en umbrales que utiliza el marco existente de la Calificación Científica Nacional (ASN) italiana. La metodología se basa en los "valores de umbral" ya calculados por el Ministerio de Universidad e Investigación (MUR) para diferentes rangos académicos (Profesor Ayudante, Profesor Asociado, Profesor Titular) y sectores científicos (bibliométricos y no bibliométricos).

Los componentes técnicos centrales del modelo son:

1. Fuentes de Datos:

   • Tríadas de Umbrales ($T$): Valores de umbral oficiales de la ASN para el siguiente rango académico (por ejemplo, un Profesor Asociado es evaluado frente a los umbrales de Profesor Titular; un Profesor Titular frente a los de Miembro de Comité); estas incluyen tres indicadores:
     • Sectores bibliométricos: Número de artículos, total de citas e índice h.
     • Sectores no bibliométricos: Número de artículos/contribuciones, número de artículos en revistas de Clase A y número de monografías.
   • Tríadas de Valores Reales ($t$): Datos en tiempo real para investigadores individuales recuperados del Sistema de Información de Investigación Institucional (IRIS).

2. Índice de Productividad Individual (PI):
   Para cada investigador $S_i$, se calcula un Índice de Productividad como la media aritmética de las razones entre sus valores reales y los umbrales del siguiente rango correspondiente:
   $$PI(S_i) = \frac{1}{3} \sum_{j=1}^{3} \frac{t^i_j}{T^i_j}$$

   • Un valor $< 1$ indica un desempeño por debajo del umbral promedio.
   • Un valor $\ge 1$ indica un desempeño que cumple o supera el umbral.
   • En casos donde un umbral sea cero, el indicador se excluye y el promedio se recalcula sobre los valores restantes.

3. Agregación Departamental e Institucional:

   • Índice de Productividad Departamental (DPI): La media aritmética de las puntuaciones $PI(S_i)$ para todos los académicos ($n$) de un departamento.
   • Métricas a Nivel Universitario: Se calcula una media ponderada ($\bar{X}$) a través de todos los departamentos, ponderada por el número de docentes ($n_j$) en cada departamento.
   • Métricas de Dispersión: Para evaluar la homogeneidad, el modelo calcula una desviación estándar ponderada ($WST$) y el Coeficiente de Variación ($CoV$).

4. Implementación:
   El modelo está diseñado para ser implementado mediante código simple (proporcionado como material suplementario) que interactúa con el repositorio IRIS. Permite análisis desagregados por sector científico, rango académico o grupos de facultades específicos (por ejemplo, personal recién contratado).

Contribuciones Clave

• Aplicabilidad Inmediata: El modelo no requiere nueva recolección de datos, ya que se basa enteramente en datos presentes en las tablas ministeriales y la base de datos IRIS.
• Monitoreo en Tiempo Real: A diferencia de la VQR, que proporciona una instantánea retrospectiva, este modelo ofrece una visión continuamente actualizable de la productividad que cambia diariamente a medida que los investigadores actualizan sus perfiles en IRIS.
• Granularidad y Flexibilidad: El marco permite análisis de "descenso de nivel" (drill-down), permitiendo comparaciones entre sectores científicos específicos, rangos académicos o subgrupos dentro de una institución.
• Cumplimiento de Privacidad: El modelo genera indicadores institucionales agregados (DPI) sin requerir la divulgación pública de los índices de productividad de los investigadores individuales, cumpliendo así con las restricciones de privacidad.
• Adaptabilidad Disciplinaria: Al utilizar umbrales específicos por sector, el modelo contempla intrínsecamente la heterogeneidad entre los campos bibliométricos (STEM) y no bibliométricos (Humanidades/Ciencias Sociales).

Resultados
El artículo presenta una simulación del modelo aplicada a un departamento virtual y un análisis de estudio de caso de nueve universidades italianas (categorizadas como grandes, medianas y pequeñas), utilizando una mezcla de datos reales y simulados para asegurar el anonimato.

• Simulación: Un departamento virtual de diez académicos arrojó un DPI de 1.24, indicando una productividad general por encima de los umbrales nacionales, aunque los académicos individuales mostraron variaciones (algunos por debajo de 1.0).
• Análisis Universitario:
  • El análisis demostró que un promedio ponderado alto no implica necesariamente una excelencia uniforme; las desviaciones estándar altas y los Coeficientes de Variación revelaron disparidades significativas entre departamentos dentro de una misma universidad.
  • Por ejemplo, la "Universidad Grande 1" tuvo un promedio alto pero una alta dispersión, impulsada por algunos departamentos de alto desempeño, mientras que la "Universidad Mediana 3" mostró una alta variabilidad con menos de la mitad de sus departamentos superando el umbral.
  • El desglose por rango académico reveló que los Profesores Ayudantes y Asociados a menudo exhibieron índices de productividad más altos en relación con los umbrales, probablemente impulsados por incentivos de progresión de carrera, mientras que los Profesores Titulares mostraron índices ligeramente menores, potencialmente debido a diferentes roles institucionales o métricas de evaluación interna.
  • El modelo identificó con éxito "bolsas de excelencia" y áreas de bajo desempeño dentro de las mismas instituciones.

Significancia y Reivindicaciones
Los autores posicionan este trabajo no como un reemplazo para las evaluaciones nacionales integrales revisadas por pares como la VQR, sino como una herramienta complementaria y de bajo costo para el monitoreo dinámico y continuo.

• Valor Estratégico: El modelo sirve como una "capa de monitoreo intermedia y dinámica" que puede informar la gobernanza interna, apoyar la planificación de la carrera individual y ayudar a las instituciones a detectar problemas críticos o bolsas de excelencia de manera oportuna.
• Eficiencia: Ofrece una solución pragmática para las instituciones que buscan rastrear el desempeño de la investigación sin los costos sustanciales de tiempo y personal asociados con las evaluaciones a gran escala.
• Generalizabilidad: Aunque se desarrolló en el contexto italiano, los autores afirman que la metodología es exportable a otros contextos nacionales que utilicen sistemas de evaluación basados en umbrales o datos de publicaciones, siempre que existan datos comparables disponibles.
• Transparencia: Al aprovechar los umbrales existentes y transparentes, el modelo busca reducir la opacidad que a menudo acompaña a los algoritmos de evaluación complejos, fomentando una cultura de rendición de cuentas y mejora continua.

El artículo concluye que este enfoque basado en umbrales proporciona una medida compacta, interpretable y sensible del desempeño de la investigación que respeta la diversidad disciplinaria y las etapas de la carrera, ofreciendo un marco viable para refinar las estrategias de evaluación a nivel global.