Measuring coverage of cited fields by author publication histories

Resumo Técnico: Medindo a Cobertura de Campos Citados pelos Históricos de Publicação de Autores

Definição do Problema
Estudos bibliométricos frequentemente utilizam listas de referências para caracterizar a diversidade disciplinar, combinações de conhecimento e a idade da literatura. No entanto, uma distinção crítica permanece não abordada: a relação entre a literatura citada e os históricos de publicação específicos do autor que produz o trabalho. Uma lista de referências diversa pode estar bem representada nos registros prévios de uma equipe de pesquisa, enquanto pode estar amplamente ausente no de outra. As medidas existentes de diversidade de expertise focam frequentemente em distâncias entre perfis de autores ou na composição do portfólio de citações de forma isolada, sem quantificar a interseção entre os dois. O artigo postula que a compreensão da pesquisa em equipe requer uma medição específica de quanto da distribuição de referências de um artigo está representada nos históricos individuais dos autores versus o histórico combinado da equipe, e quanto permanece descoberto.

Metodologia
O estudo introduz um framework de decomposição ponderado por referências para particionar os campos citados de um artigo focal em três componentes:

1. Cobertura Individual Máxima ($M$): A parcela de categorias citadas cobertas pelo único autor com o histórico relevante mais extenso.
2. Cobertura Adicional de Coautores ($D$): A parcela incremental de categorias citadas cobertas pela combinação dos históricos de todos os coautores, além do que $M$ cobre.
3. Restante Não Coberto ($E$): A parcela de categorias citadas ausentes do histórico de publicação observado de cada autor.

O framework distingue dois períodos de observação: um período pré-projeto (cinco anos antes do início do projeto) e um período pré-publicação (cinco anos antes do artigo focal). Isso permite o cálculo da mudança líquida de cobertura ($A = E_{pre} - E_{pub}$), separando as parcelas não cobertas de base das subsequentes ganhos ou perdas.

Dados e Sequência Inferencial
O estudo utiliza um conjunto de dados vinculado combinando registros de subsídios (grants) do Serviço de Informação de Ciência e Tecnologia Nacional da Coreia (NTIS), agradecimentos da Fundação Nacional de Pesquisa (NRF) e publicações do OpenAlex. A análise segue uma sequência inferencial de três estágios:

• Estágio de Descoberta: 115 artigos vinculados a subsídios.
• Primeiro Estágio de Confirmação: 240 artigos (totalizando $N=355$ para diagnósticos exploratórios).
• Segundo Estágio de Confirmação: Um protocolo prospectivamente fixo analisando 194 subsídios (112 de uso de IA, 82 não-IA) selecionados de um grupo maior de 832.

A aplicação primária investiga se projetos classificados como utilizando Inteligência Artificial (IA) exibem parcelas não cobertas de base ($E_{pre}$) mais altas em comparação com projetos não-IA, testando hipóteses sobre o papel da IA na introdução de conhecimento desconhecido.

Contribuições Principais e Métricas

• Decomposição de Cobertura: O artigo fornece um método reproduzível para separar as parcelas de cobertura individual, coletiva e não coberta em um denominador comum, ponderado pela frequência de citação.
• Análise de Ênfase de Citação: Através de experimentos de realocação dentro do próprio artigo, o estudo mantém constantes os históricos dos autores, a diversidade e os totais de campos enquanto permuta as contagens de citações. Isso isola o efeito de onde as citações são colocadas (campos cobertos vs. não cobertos) independentemente da composição do portfólio.
• Distinção de Familiaridade: O autor afirma explicitamente que $E$ mede a ausência de evidência indexada, não a ausência de expertise ou aprendizado real. É um registro descritivo da interseção entre citações e registros, não um proxy para familiaridade cognitiva.

Resultados

• Diagnósticos Exploratórios:

  • A diversidade de referências (entropia de Shannon) permanece positivamente associada à parcela não coberta ($E_{pre}$) mesmo após o ajuste para número de autores, número de referências e volume de histórico. No estágio de descoberta, a adição de diversidade ao modelo aumentou o $R^2$ de 0,328 para 0,502.
  • Ênfase de Citação: Os portfólios reais colocam significativamente menos peso em subcampos não cobertos do que os benchmarks estruturais. No estágio de descoberta, a parcela não coberta observada foi 8,66 pontos percentuais inferior ao benchmark de realocação condicionado ao campo (IC 95%: 6,22–11,36). Esse contraste persistiu mesmo após excluir referências no próprio subcampo primário do artigo.
  • Efeitos de Agregação: Em artigos de uso de IA, a "cobertura adicional de coautores" ($D$) média é de 10,89% por artigo, mas apenas 3,45% por ocorrência de referência no primeiro estágio de confirmação, destacando como métricas de agregação podem obscurecer a contribuição marginal dos coautores para citações específicas.

• Aplicação de IA (Teste de Hipótese):

  • Descoberta: Sugeriu uma associação positiva entre o uso de IA e a parcela não coberta.
  • Primeira Confirmação: Falhou no teste primário de mudança de cobertura líquida ($A$).
  • Segunda Confirmação: O desfecho primário foi deslocado para $E_{pre}$ (parcela não coberta pré-projeto) com base nos resultados anteriores. O coeficiente de uso de IA foi próximo de zero (+0,455 pontos, IC 95%: −6,831 a 7,742) sob ajuste de campo pai e (+0,517 pontos, IC 95%: −7,395 a 8,428) sob ajuste de campo detalhado.
  • Conclusão sobre IA: O estudo não confirma que projetos de uso de IA possuam uma parcela não coberta de base mais alta. Embora os projetos de IA citem mais literatura de IA, essa literatura é frequentemente já representada nos registros prévios dos autores.

Significância e Alegações
O artigo alega oferecer um relato reproduzível da ênfase de citação em relação aos históricos de publicação documentados. Sua principal contribuição é metodológica: estabelece um framework para quantificar quanto dos campos citados de um artigo são "cobertos" pelo trabalho passado da equipe versus "não cobertos".

O autor é modesto em suas alegações, enfatizando que:

1. Cobertura $\neq$ Familiaridade: Uma referência não coberta indica uma falta de histórico indexado, não necessariamente uma falta de expertise ou aprendizado.
2. Sem Mecanismo Causal: O estudo descreve associações e contrastes estruturais, mas não estabelece mecanismos causais para por que equipes citam campos não cobertos ou como o conhecimento é adquirido.
3. Dependência de Contexto: Os resultados são específicos para a população conservadoramente vinculada de subsídios coreanos e não se generalizam necessariamente para todos os contextos de pesquisa sem validação adicional.
4. Limites de Interpretação: O framework identifica a relação entre a ênfase de citação e os registros, mas não estabelece a falta de familiaridade. A falha em confirmar a associação de IA sugere que a pesquisa de IA nesta amostra não depende necessariamente de campos fora dos registros prévios do autor.

Em última análise, o artigo argumenta que medir a cobertura fornece uma camada necessária de granularidade à análise bibliométrica, distinguindo entre a diversidade das referências de um artigo e o alinhamento dessas referências com a expertise documentada do autor.