Exploring the relationship between team institutional composition and novelty in academic papers based on fine-grained knowledge entities

Resumo Técnico: Explorando a Relação entre a Composição Institucional de Equipes e a Novidade em Artigos Acadêmicos

Definição do Problema
Embora a composição das equipes de autores seja reconhecida como um fator significativo que influencia a novidade de artigos acadêmicos, as pesquisas existentes exibem duas limitações primárias. Primeiro, os estudos sobre a composição de equipes têm se concentrado predominantemente em atributos individuais, como tamanho da equipe, equilíbrio de gênero e colaboração internacional, negligenciando amplamente o impacto dos tipos institucionais (acadêmico vs. industrial) aos quais os autores pertencem. Segundo, as medidas atuais de novidade frequentemente permanecem em um nível geral ou macro, falhando em capturar nuances detalhadas. Os métodos tradicionais dependem de combinações amplas de entidades (por exemplo, referências de periódicos ou pares de tópicos) sem distinguir elementos de conhecimento específicos, como métodos, conjuntos de dados (datasets), ferramentas ou métricas. Essa falta de granularidade torna difícil analisar tipos específicos de novidade ou fornecer explicações detalhadas de como diferentes vieses institucionais se manifestam nos resultados da pesquisa.

Metodologia
O estudo emprega uma abordagem quantitativa utilizando dados do campo do Processamento de Linguagem Natural (PLN) como um estudo de caso. A metodologia procede através de quatro etapas distintas:

1. Coleta de Dados e Categorização de Equipes:

   • Fonte: 15.337 artigos publicados entre 1979 e 2021 foram coletados de três conferências de alto nível em PLN: ACL, EMNLP e NAACL.
   • Classificação Institucional: As afiliações dos autores foram extraídas e mapeadas usando o Global Research Identification Database (GRID). As instituições foram categorizadas em oito tipos (ex: educação, corporações, saúde) e, subsequentemente, agregadas em três tipos de composição de equipe:
     • A&A: Instituições puramente Acadêmicas.
     • I&I: Instituições puramente Industriais.
     • A&I: Colaborações mistas entre Academia e Indústria.
   • Filtragem: Artigos de autoria única foram excluídos, resultando em um conjunto de dados final de 14.812 artigos.

2. Extração de Entidades de Grão Fino:

   • O estudo identificou quatro tipos específicos de entidades de conhecimento relevantes para a pesquisa em PLN: Métodos (algoritmos/modelos), Datasets (corpora), Ferramentas (softwares/frameworks) e Métricas (padrões de avaliação).
   • Um modelo cascata SciBERT+BiLSTM foi treinado e utilizado para extrair essas entidades do texto completo dos artigos. Este modelo alcançou um F1 score de 86,27, superando modelos pré-treinados gerais como BERT e XLM-RoBERTa.

3. Medição de Novidade:

   • Inovação Combinatória: A novidade foi definida com base na teoria da inovação combinatória, onde a novidade surge de combinações atípicas de elementos de conhecimento.
   • Distância Semântica: A distância semântica entre pares de entidades extraídas foi calculada usando a distância de cosseno em embeddings de palavras.
   • Pontuação: Os pares de entidades que caíram nos 10% superiores de distâncias semânticas (indicando as combinações menos comuns/atípicas) foram identificados. A proporção dessas combinações atípicas em um artigo serviu como seu Score de Novidade. Artigos no top 10% desses scores foram classificados como "artigos de alta novidade".

4. Análise de Viés e Regressão:

   • Viés de Grão Fino: O estudo calculou a taxa de contribuição das dez possíveis combinações de pares dos quatro tipos de entidades (ex: Método-Método, Método-Métrica, Método-Ferramenta) para a novidade geral dos artigos.
   • Análise Estatística: Modelos de regressão foram empregados para analisar a relação entre a composição institucional da equipe e os scores de novidade, controlando variáveis como ano de publicação, tarefa de pesquisa, tamanho da equipe, colaboração internacional e prestígio institucional.

Principais Resultados

• Tendências de Publicação: As instituições acadêmicas (A&A) continuam sendo as principais produtoras de artigos de PLN. No entanto, as colaborações mistas entre academia e indústria (A&I) mostraram um aumento notável no volume de publicações desde 2010, ultrapassando a taxa de crescimento dos artigos puramente acadêmicos.
• Impacto Institucional na Novidade: A análise de regressão revela que, comparadas às equipes puramente industriais (I&I), tanto as equipes puramente acadêmicas (A&A) quanto as equipes mistas (A&I) produzem artigos com scores de novidade significativamente mais altos. Especificamente, as equipes mistas (A&I) demonstram o maior impacto positivo na novidade.
• Viés de Novidade de Grão Fino:
  • Geral: Combinações de entidades relacionadas a Métodos contribuem mais para a novidade em todos os tipos de instituições.
  • Equipes Mistas (A&I): Estas equipes mostram uma contribuição significativamente maior para a novidade através de combinações Método-Métrica. Isso sugere uma tendência de integrar abordagens metodológicas diversas com indicadores de avaliação.
  • Equipes Industriais (I&I): Estas equipes exibem uma contribuição significativamente maior para a novidade através de combinações Método-Ferramenta, refletindo um foco em alavancar ferramentas inovadoras para resolver problemas de aplicação prática.
  • Equipes Acadêmicas (A&A): Estas equipes mostram uma preferência equilibrada, mas distinta, por combinações Método-Dado e Método-Método.

Significância e Contribuições
O artigo reivindica duas contribuições primárias para o campo da cienciometria e da ciência de equipes:

1. Perspectiva Institucional sobre a Novidade: O estudo preenche uma lacuna na literatura ao deslocar o foco dos atributos individuais dos autores para a composição institucional. Ele fornece evidência empírica de que o tipo de instituição (acadêmica, industrial ou mista) influencia significativamente a novidade dos resultados da pesquisa, destacando o papel crítico da colaboração entre academia e indústria na geração de conhecimento novo.
2. Medição de Novidade de Grão Fino: A pesquisa avança a medição da novidade além das avaliações binárias ou escalares. Ao introduzir uma medição de viés de novidade de grão fino baseada em entidades de conhecimento específicas (métodos, dados, ferramentas, métricas), o estudo revela "assinaturas de inovação" distintas para diferentes tipos institucionais. Isso permite uma compreensão mais matizada de como diferentes equipes inovam (ex: equipes industriais focando na integração de ferramentas vs. equipes mistas focando na síntese método-indicador).

Limitações
Os autores reconhecem várias restrições:

• Escopo dos Dados: O estudo é limitado ao campo de PLN e a três conferências específicas, o que pode não representar plenamente o espectro mais amplo da pesquisa científica.
• Desequilíbrio de Dados: O conjunto de dados contém um número significativamente maior de artigos acadêmicos em comparação com artigos industriais, o que pode introduzir viés.
• Nuance de Contexto: A extração de entidades e a análise de combinação foram realizadas em todo o documento sem distinguir seções específicas (ex: metodologia vs. resultados), o que pode afetar a precisão da interpretação da novidade.
• Causalidade: O estudo identifica correlações entre a composição institucional e a novidade, mas não estabelece uma relação causal definitiva.

Conclusão
O estudo conclui que, embora as instituições industriais estejam cada vez mais ativas nas publicações, seu maior potencial de novidade é realizado através da colaboração com instituições acadêmicas. Os achados sugerem que a cooperação interdisciplinar entre academia e indústria é um motor fundamental para a pesquisa de alta novidade, com diferentes tipos institucionais contribuindo com vieses únicos para os tipos de combinações de conhecimento que produzem. Isso fornece orientação para fomentar a cooperação eficaz entre indústria, universidade e pesquisa para aumentar a qualidade e a inovação da produção científica.