Modeling within-department homogeneity in research quality rankings: an application to the Italian ISPD

1. O Problema

O artigo aborda as limitações metodológicas do sistema de classificação de departamentos acadêmicos na Itália, baseado no Índice Padronizado de Desempenho Departamental (ISPD - Indice Standardizzato di Performance Dipartimentale). O ISPD é utilizado pela Agência Nacional de Avaliação do Sistema Universitário e de Pesquisa (ANVUR) para distribuir fundos públicos e identificar "Departamentos de Excelência".

O problema central identificado é a polarização extrema dos resultados do ISPD. As classificações tendem a concentrar-se nos valores extremos (0 e 100), perdendo poder discriminatório para diferenciar departamentos com desempenho médio-alto ou médio-baixo.

• Causa Raiz: O modelo atual assume que as pontuações padronizadas dos produtos de pesquisa (SPs) dentro de um mesmo departamento são independentes. No entanto, os autores argumentam que existe uma homogeneidade intra-departamental (correlação positiva entre as pontuações), decorrente de fatores como a colaboração entre pesquisadores do mesmo departamento, estratégias institucionais comuns e especialização disciplinar.
• Consequência Estatística: A ignorância dessa correlação leva a uma subestimação da variância das médias escalonadas. Como a variância aumenta com o tamanho do departamento (devido à correlação), departamentos maiores são injustamente penalizados ou favorecidos, resultando em uma distribuição em "U" (muitos departamentos nos extremos) e em comparações desleais entre instituições de tamanhos diferentes.

2. Metodologia

Os autores propõem um novo quadro estatístico para corrigir o ISPD, modelando explicitamente a correlação intra-departamental como uma função do tamanho do departamento.

• Modelo de Correlação (FCM - Full Correlation Model):

  • A correlação média intra-departamental ($\rho_d$) é modelada como decrescente em relação ao tamanho do departamento ($N_d$). A premissa é que departamentos maiores possuem mais setores disciplinares heterogêneos, reduzindo a correlação média entre pares de produtos de pesquisa.
  • A relação é especificada através de uma transformação modificada de Fisher: $\text{logit}(\rho_d) = \alpha + \beta(N_d - 1)$, onde se espera que $\beta < 0$.
  • A variância da média escalonada é recalculada como $\sigma_d^2 = 1 + \rho_d(N_d - 1)$.

• Ajuste do ISPD:

  • O índice ajustado ($ISPD^{fcm}$) é obtido dividindo a média escalonada observada ($\tilde{z}_d$) pela nova estimativa de desvio padrão $\hat{\sigma}_d$, antes de aplicar a função de distribuição normal acumulada ($\Phi$). Isso restaura a comparabilidade entre departamentos de tamanhos diferentes.

• Estimação com Dados Públicos (Desafio Técnico):

  • Os dados brutos (pontuações individuais dos produtos) não são públicos; apenas o ISPD final (arredondado e truncado) é divulgado.
  • Para lidar com o arredondamento e o truncamento (especialmente nos dados de 2022, onde apenas os top 350 são públicos), os autores introduzem uma nova distribuição de probabilidade chamada Betoidal.
  • A distribuição Betoidal é a distribuição de uma variável aleatória $X = \Phi(Z)$, onde $Z \sim N(0, \sigma^2)$. Ela se assemelha a uma distribuição Beta simétrica, mas é derivada da normal.
  • Para os dados de 2022, utiliza-se uma versão truncada à esquerda da distribuição Betoidal.
  • Os parâmetros do modelo ($\alpha, \beta$) são estimados via Máxima Verossimilhança (ML), utilizando a função de verossimilhança baseada nas frequências observadas dos ISPDs discretizados.

• Estudo de Simulação:

  • Foi realizado um estudo de simulação (1000 repetições) replicando o cenário de 2017 para comparar o ISPD original com o ISPD ajustado pelo modelo FCM e outras propostas concorrentes (estimadores não paramétricos e modelos de intercepto aleatório).

3. Principais Contribuições

1. Identificação do Viés Estrutural: Formalização estatística de que a homogeneidade intra-departamental é o determinante chave da polarização do ISPD, um fator ignorado tanto pela ANVUR quanto por análises anteriores.
2. Novo Modelo de Correlação: Desenvolvimento de um modelo parcimonioso que relaciona a correlação intra-departamental ao tamanho da instituição, permitindo correções justas sem exigir dados microscópicos (nível de produto).
3. Distribuição Betoidal: Introdução de uma nova distribuição de probabilidade para lidar com dados de classificação que foram arredondados e truncados, permitindo a estimação robusta dos parâmetros de correlação a partir de dados públicos agregados.
4. Método de Ajuste Justo: Proposta de um índice corrigido que elimina o viés de tamanho, garantindo que departamentos grandes e pequenos sejam comparados sob a mesma distribuição de referência.

4. Resultados

• Estimação Empírica (2017 e 2022):
  • Os testes de razão de verossimilhança rejeitam fortemente a hipótese nula de correlação zero (NCM) e favorecem o modelo de correlação variável (FCM) em relação ao modelo de correlação constante (CCM).
  • O parâmetro $\beta$ foi estimado como negativo e significativo em ambos os anos, confirmando que a correlação intra-departamental diminui à medida que o tamanho do departamento aumenta.
  • As estimativas de desvio padrão ($\hat{\sigma}_d$) foram significativamente maiores que 1, validando a presença de sobre-dispersão.
• Desempenho na Simulação:
  • O ISPD ajustado pelo FCM ($ISPD^{fcm}$) demonstrou desempenho superior a todos os outros índices (original, não paramétrico e de intercepto aleatório).
  • MAD (Desvio Absoluto Médio): O ISPD original apresentou alto erro (MAD ~13-14), enquanto o ISPD ajustado pelo FCM teve erro mínimo (MAD < 1 em cenários sem perturbação).
  • PDC (Porcentagem de Comparações Discordantes): O ISPD original inverteu a ordem correta de pares de departamentos em cerca de 6% dos casos, enquanto o ISPD ajustado pelo FCM manteve a ordem correta em mais de 99% dos casos.
  • O índice original e o não paramétrico mostraram-se instáveis e propensos a polarização, enquanto o modelo FCM produziu uma distribuição de classificações muito mais uniforme e justa.

5. Significância

O artigo tem implicações profundas para a governança da pesquisa e a alocação de recursos públicos:

• Justiça e Transparência: Demonstra que o sistema atual de financiamento baseado em desempenho na Itália é estatisticamente defeituoso, favorecendo ou penalizando instituições com base em seu tamanho e estrutura interna, e não apenas na qualidade real.
• Accountability (Prestação de Contas): Argumenta que agências de avaliação devem declarar explicitamente as suposições estatísticas (como a independência das observações) usadas nos indicadores. Ignorar a correlação estrutural gera viés sistemático.
• Viabilidade Prática: A metodologia proposta permite corrigir o sistema de classificação sem a necessidade de divulgar dados sensíveis de nível individual (produtos de pesquisa), utilizando apenas os dados agregados já disponíveis publicamente.
• Impacto Global: Embora focado na Itália, o estudo oferece um modelo para outros sistemas de avaliação de pesquisa que utilizam médias de pontuações padronizadas, alertando para os riscos de ignorar a dependência intra-grupo em avaliações de desempenho.

Em suma, o paper conclui que a modelagem adequada da correlação intra-departamental não é apenas um refinamento estatístico, mas uma condição necessária para garantir a legitimidade, a equidade e a eficácia dos sistemas de avaliação de pesquisa baseados em desempenho.