Efficient Threshold-based Model for Scientific Productivity Evaluation: a Proposal

Resumo Técnico: Modelo de Limiar Eficiente para Avaliação da Produtividade Científica

Problema
Os atuais sistemas de avaliação de pesquisa, particularmente na Itália, enfrentam desafios significativos em relação à intensidade de recursos, atraso temporal e complexidade. Os principais mecanismos nacionais de avaliação — a Valutazione della Qualità della Ricerca (VQR) e a Abilitazione Scientifica Nazionale (ASN) — são rigorosos, mas exigem recursos financeiros e temporais substanciais. A VQR, por exemplo, opera em ciclos plurianuais (tipicamente cobrindo um período de três anos com um processo de avaliação de um ano), resultando em dados que não estão totalmente atualizados em relação à produtividade científica atual. Além disso, enquanto a VQR avalia instituições, a ASN avalia indivíduos, criando um cenário fragmentado onde o monitoramento contínuo e de baixo custo do desempenho institucional é difícil. Há necessidade de uma ferramenta simplificada e eficiente que utilize dados existentes para fornecer insights em tempo real, transparentes e em conformidade com a privacidade, sem exigir nova coleta de dados ou sobrecarga algorítmica complexa.

Metodologia
Os autores propõem um modelo simplificado baseado em limiares que utiliza a estrutura existente da Qualificação Científica Nacional Italiana (ASN). A metodologia baseia-se nos "valores de limiar" já calculados pelo Ministério da Universidade e da Pesquisa (MUR) para diferentes cargos acadêmicos (Professor Assistente, Professor Associado, Professor Catedrático) e setores científicos (bibliométricos e não bibliométricos).

Os componentes técnicos centrais do modelo são:

1. Fontes de Dados:

   • Tríades de Limiar ($T$): Valores de limiar oficiais da ASN para o próximo cargo acadêmico (ex: um Professor Associado é avaliado em relação aos limiares de Professor Catedrático; um Professor Catedrático em relação aos membros de comitê); estes incluem três indicadores:
     • Setores bibliométricos: Número de artigos, total de citações e h-index.
     • Setores não bibliométricos: Número de artigos/contribuições, número de artigos em revistas de Classe A e número de monografias.
   • Tríades de Valor Real ($t$): Dados em tempo real para pesquisadores individuais recuperados do Sistema de Informação de Pesquisa Institucional (IRIS).

2. Índice de Produtividade Individual (PI):
   Para cada pesquisador $S_i$, um Índice de Produtividade é calculado como a média aritmética das razões entre seus valores reais e os correspondentes limiares do próximo cargo:
   $$PI(S_i) = \frac{1}{3} \sum_{j=1}^{3} \frac{t^i_j}{T^i_j}$$

   • Um valor $< 1$ indica desempenho abaixo do limiar médio.
   • Um valor $\ge 1$ indica desempenho que atende ou excede o limiar.
   • Em casos onde um limiar é zero, o indicador é excluído e a média é recalculada sobre os valores restantes.

3. Agregação Departamental e Institucional:

   • Índice de Produtividade Departamental (DPI): A média aritmética dos escores $PI(S_i)$ para todos os $n$ estudiosos de um departamento.
   • Métricas de Nível Universitário: Uma média ponderada ($\bar{X}$) é calculada entre todos os departamentos, ponderada pelo número de docentes ($n_j$) em cada departamento.
   • Métricas de Dispersão: Para avaliar a homogeneidade, o modelo calcula o desvio padrão ponderado ($WST$) e o Coeficiente de Variação ($CoV$).

4. Implementação:
   O modelo foi projetado para ser implementado via código simples (fornecido como material suplementar) que faz interface com o repositório IRIS. Ele permite análise desagregada por setor científico, cargo acadêmico ou grupos de docentes específicos (ex: pessoal recém-contratado).

Principais Contribuições

• Aplicabilidade Imediata: O modelo não requer nova coleta de dados, pois baseia-se inteiramente em dados já presentes nas tabelas ministeriais e na base de dados IRIS.
• Monitoramento em Tempo Real: Diferente da VQR, que fornece um panorama retrospectivo, este modelo oferece uma visão continuamente atualizável da produtividade que muda diariamente conforme os pesquisadores atualizam seus perfis no IRIS.
• Granularidade e Flexibilidade: O framework permite análises de "detalhamento" (drill-down), possibilitando comparações entre setores científicos específicos, cargos acadêmicos ou subgrupos dentro de uma instituição.
• Conformidade com a Privacidade: O modelo gera indicadores institucionais agregados (DPI) sem exigir a divulgação pública dos índices de produtividade individuais dos pesquisadores, aderindo assim às restrições de privacidade.
• Adaptabilidade Disciplinar: Ao utilizar limiares específicos por setor, o modelo contabiliza inerentemente a heterogeneidade entre campos bibliométricos (STEM) e não bibliométricos (Humanidades/Ciências Sociais).

Resultados
O artigo apresenta uma simulação do modelo aplicada a um departamento virtual e uma análise de estudo de caso de nove universidades italianas (categorizadas como grandes, médias e pequenas), utilizando uma mistura de dados reais e simulados para garantir o anonimato.

• Simulação: Um departamento virtual de dez estudiosos resultou em um DPI de 1,24, indicando produtividade geral acima dos limiares nacionais, embora os estudiosos individuais tenham mostrado variação (alguns abaixo de 1,0).
• Análise Universitária:
  • A análise demonstrou que uma média ponderada alta não implica necessariamente excelência uniforme; altos desvios padrão e Coeficientes de Variação revelaram disparidades significativas entre departamentos dentro da mesma universidade.
  • Por exemplo, a "Universidade Grande 1" teve uma média alta, mas alta dispersão, impulsionada por alguns departamentos de alto desempenho, enquanto a "Universidade Média 3" mostrou alta variabilidade com menos da metade de seus departamentos excedendo o limiar.
  • O detalhamento por cargo acadêmico revelou que Professores Assistentes e Associados frequentemente exibiram índices de produtividade mais altos em relação aos limiares, provavelmente impulsionados por incentivos de progressão de carreira, enquanto Professores Catedráticos mostraram índices ligeiramente menores, possivelmente devido a diferentes papéis institucionais ou métricas de avaliação interna.
  • O modelo identificou com sucesso "bolsões de excelência" e áreas de baixo desempenho dentro das mesmas instituições.

Significância e Alegações
Os autores posicionam este trabalho não como um substituto para avaliações nacionais abrangentes e revisadas por pares como a VQR, mas como uma ferramenta complementar e de baixo custo para monitoramento dinâmico e contínuo.

• Valor Estratégico: O modelo serve como uma "camada de monitoramento intermediária e dinâmica" que pode informar a governança interna, apoiar o planejamento de carreira individual e ajudar as instituições a detectar problemas críticos ou bolsões de excelência em tempo hábil.
• Eficiência: Oferece uma solução pragmática para instituições que buscam rastrear o desempenho da pesquisa sem os custos substanciais de tempo e pessoal associados a avaliações de grande escala.
• Generalização: Embora desenvolvido no contexto italiano, os autores alegam que a metodologia é exportável para outros contextos nacionais que utilizam sistemas de avaliação baseados em limiares ou dados de publicação, desde que haja dados comparáveis disponíveis.
• Transparência: Ao aproveitar limiares existentes e transparentes, o modelo visa reduzir a opacidade frequentemente associada a algoritmos de avaliação complexos, promovendo uma cultura de responsabilidade e melhoria contínua.

O artigo conclui que esta abordagem baseada em limiares fornece uma medida compacta, interpretável e sensível do desempenho da pesquisa que respeita a diversidade disciplinar e as etapas de carreira, oferecendo um framework viável para refinar estratégias de avaliação globalmente.