Modeling within-department homogeneity in research quality rankings: an application to the Italian ISPD

A continuación se presenta un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Modelado de la homogeneidad intra-departamental en los rankings de calidad de investigación: una aplicación al ISPD italiano.

Autores: Giorgio E. Montanari y Marco Doretti.

1. El Problema

El artículo aborda las deficiencias metodológicas del sistema de evaluación y financiación de departamentos universitarios en Italia, específicamente el Índice Estándar de Rendimiento Departamental (ISPD) (Indice Standardizzato di Performance Dipartimentale), utilizado por la Agencia Nacional para la Evaluación del Sistema Universitario y la Investigación (ANVUR).

• Polarización del Índice: Se ha observado que el ISPD tiende a generar una distribución en forma de "U" (polarizada), donde un gran número de departamentos recibe puntuaciones extremas (mínimas o máximas), reduciendo su poder discriminatorio.
• Supuesto Incorrecto de Independencia: La metodología actual del ISPD asume implícitamente que las puntuaciones estandarizadas de los productos de investigación (SP) dentro de un mismo departamento son independientes entre sí.
• Realidad de la Correlación: En la práctica, existe una homogeneidad intra-departamental significativa. Los investigadores de un mismo departamento comparten entornos, estrategias institucionales y especializaciones disciplinarias, lo que genera una correlación positiva entre sus productos.
• Consecuencias: Ignorar esta correlación provoca una subestimación de la varianza de las distribuciones de referencia. Esto distorsiona la comparación entre departamentos de diferentes tamaños: los departamentos grandes tienden a ser empujados artificialmente hacia los extremos del ranking, mientras que las comparaciones justas en la parte media de la distribución se ven comprometidas.

2. Metodología

Los autores proponen un marco estadístico riguroso para modelar y corregir esta correlación intra-departamental.

• Modelo de Correlación Funcional: Se propone modelar el coeficiente de correlación intra-departamental ($\rho_d$) como una función del tamaño del departamento ($N_d$). La hipótesis central es que la correlación disminuye a medida que aumenta el tamaño del departamento (debido a una mayor heterogeneidad de sectores científicos y grupos informales).

  • Se utiliza una transformación modificada de Fisher para garantizar que las correlaciones estén acotadas: $\text{logit}(\rho_d) = \alpha + \beta(N_d - 1)$.
  • Se definen tres modelos anidados:
    1. NCM (Null Correlation Model): $\rho = 0$ (el modelo actual de ANVUR).
    2. CCM (Constant Correlation Model): $\rho$ es constante para todos los departamentos.
    3. FCM (Full Correlation Model): $\rho$ varía según el tamaño del departamento (modelo propuesto).

• Estimación de Máxima Verosimilitud (ML):

  • Con Microdatos: Si se dispone de las puntuaciones individuales de los productos, se puede estimar $\rho$ directamente.
  • Con Macrodatos (Datos Públicos): Dado que los datos públicos (ISPD) están redondeados y, en el caso de 2022, truncados (solo se publican los top 350), los autores desarrollan un método de ML basado únicamente en los índices finales.

• Introducción de la Distribución "Betoidal":

  • Para manejar los datos redondeados y truncados, los autores introducen una nueva distribución de probabilidad llamada Betoidal.
  • Esta distribución describe la transformación de una variable normal estándar a través de la función de distribución acumulada normal ($\Phi$). Se asemeja a una distribución Beta simétrica pero con propiedades matemáticas específicas derivadas de la transformación normal.
  • Se adapta esta distribución para versiones truncadas a la izquierda (LT-Betoidal) para el caso de los datos de 2022.

• Ajuste del ISPD:

  • Se propone un índice ajustado ($ISPD^{fcm}$) que corrige la media escalada ($\tilde{z}_d$) dividiéndola por la desviación estándar teórica corregida ($\hat{\sigma}_d = \sqrt{1 + \hat{\rho}_d(N_d - 1)}$). Esto restaura la comparabilidad estadística entre departamentos de distintos tamaños.

3. Contribuciones Clave

1. Identificación de la Causa Raíz: Formalizan que la polarización del ISPD no es solo un artefacto de la fórmula, sino una consecuencia estadística de ignorar la correlación intra-departamental y su relación con el tamaño del departamento.
2. Nueva Distribución Estadística: La introducción de la distribución Betoidal y su versión truncada permite realizar inferencias estadísticas precisas utilizando únicamente los datos públicos agregados y redondeados, sin necesidad de acceder a los microdatos confidenciales.
3. Marco de Ajuste Justo: Proponen un procedimiento de ajuste que elimina el sesgo de tamaño, permitiendo comparaciones justas (pareadas) entre departamentos grandes y pequeños.
4. Validación Empírica y Simulada: Demuestran la validez del modelo tanto con datos reales (ediciones 2017 y 2022) como mediante estudios de simulación exhaustivos.

4. Resultados

• Estimación con Datos Reales (2017 y 2022):

  • Las pruebas de razón de verosimilitud (LRT) rechazan fuertemente el modelo de correlación nula (NCM) y el modelo de correlación constante (CCM) en favor del Modelo de Correlación Completa (FCM).
  • Se confirma estadísticamente que $\beta < 0$, validando la hipótesis de que la correlación intra-departamental disminuye a medida que aumenta el tamaño del departamento.
  • Los valores estimados de $\sigma_d$ (desviación estándar) son significativamente mayores que 1, lo que confirma la sobredispersión observada en los rankings reales.

• Estudio de Simulación:

  • Se comparó el ISPD original con tres versiones ajustadas: una no paramétrica ($ISPD^{np}$), una basada en modelos de efectos aleatorios ($ISPD^{rim}$) y la propuesta basada en el FCM ($ISPD^{fcm}$).
  • Métricas de Desempeño: Se utilizaron la Desviación Absoluta Media (MAD) y el Porcentaje de Comparaciones Discordantes (PDC) frente a un "verdad terreno" simulado.
  • Hallazgos: El índice ajustado mediante el FCM ($ISPD^{fcm}$) superó consistentemente a todos los demás, incluyendo al ISPD original y a propuestas que requieren microdatos. El ISPD original mostró un alto nivel de error y distorsión en el ordenamiento, mientras que $ISPD^{fcm}$ mantuvo una distribución casi uniforme y un ordenamiento preciso.

5. Significado e Implicaciones

• Justicia y Equidad: El estudio demuestra que los métodos estadísticos actuales en la evaluación académica pueden generar sesgos sistémicos que favorecen o penalizan a instituciones basándose en su tamaño y estructura interna, en lugar de en su calidad real.
• Transparencia y Responsabilidad: Al vincular los rankings con asignaciones masivas de fondos públicos, la precisión estadística se convierte en un imperativo ético. Ignorar la estructura de correlación subyacente socava la legitimidad de los resultados y la confianza de las instituciones evaluadas.
• Política Pública: Se recomienda que las agencias de evaluación (como ANVUR) revisen sus fórmulas para incorporar correcciones por correlación intra-grupo, asegurando que los incentivos económicos no distorsionen el comportamiento de las universidades hacia la mera optimización de indicadores en lugar de la mejora real de la investigación.
• Generalización: El enfoque metodológico (especialmente el uso de la distribución Betoidal para datos truncados/redondeados) es aplicable a otros sistemas de evaluación nacionales que enfrentan problemas similares de agregación de datos y correlación interna.

En conclusión, el artículo sostiene que el modelado adecuado de la correlación intra-departamental no es un refinamiento técnico menor, sino una condición necesaria para garantizar la equidad, la transparencia y la rendición de cuentas en los sistemas de financiación de la investigación.