Resumo Técnico: Evolução Orientada a Dados dos Métodos de Pesquisa em Ciência da Informação e da Biblioteca (1990–2022)

Problema

Desde a década de 1990, o campo da Ciência da Informação e da Biblioteca (LIS) passou por uma mudança de paradigma da pesquisa qualitativa impulsionada empiricamente para a pesquisa quantitativa orientada a dados, impulsionada pelos avanços no big data, na World Wide Web e na inteligência artificial. Embora a literatura existente tenha explorado a evolução dos métodos de pesquisa por meio de perspectivas bibliométricas, essas análises são frequentemente de "grão grosso", focando nas características textuais do uso de teorias e métodos, em vez dos métodos em si. Há uma carência de análise quantitativa de grão fino sobre como entidades de métodos orientados a dados específicos evoluem em resposta a mudanças nos recursos de dados e tecnologias. Este estudo aborda a necessidade de descobrir as tendências evolutivas dos métodos de pesquisa em LIS através da extração e análise de entidades de métodos nomeadas e específicas de artigos acadêmicos.

Metodologia

O estudo emprega um framework computacional de múltiplos estágios para analisar 25.351 artigos acadêmicos de texto completo publicados entre 1990 e 2022 em 14 periódicos de alta qualidade em LIS.

1. Coleta e Pré-processamento de Dados:

   • Um corpus foi construído a partir de 14 periódicos representativos (Q1–Q3 no JCR 2021), filtrando documentos não acadêmicos e aqueles com conteúdo de texto completo ausente.
   • O conjunto de dados compreende 25.351 artigos válidos contendo 153.230 capítulos.

2. Identificação da Estrutura de Capítulos:

   • Para isolar os métodos específicos utilizados nos estudos, o capítulo "Métodos" deve ser identificado com precisão.
   • O estudo estabeleceu um sistema de classificação estrutural de seis categorias (Introdução, Trabalho Relacionado, Método, Avaliação e Resultados, Discussão e Conclusão, Outros).
   • Onze modelos de aprendizado de máquina foram avaliados, incluindo ML tradicional (SVM, RF, LR), aprendizado profundo (variantes do SciBERT) e Grandes Modelos de Linguagem (variantes do T5).
   • Seleção: O modelo T5_base alcançou o desempenho mais alto com uma pontuação F1 média ponderada de 84,23% e foi utilizado para classificar as estruturas de capítulos em todo o corpus.

3. Extração de Entidades de Métodos de Grão Fino:

   • Quatro categorias de Entidades de Métodos de Pesquisa (RMEs) foram definidas: Algoritmos e Modelos, Recursos de Dados, Software e Ferramentas e Métricas.
   • Um corpus anotado de "padrão de prata" (silver standard) foi construído usando o ChatGPT para geração de termos, seguido de verificação manual.
   • Arquitetura do Modelo: Um modelo SciBERT+BiLSTM+CRF foi treinado para rotulagem de sequências.
   • Desempenho: O modelo alcançou uma pontuação F1 abrangente de 73,38%. Aumentação de dados (adicionando 10% de dados aumentados) otimizou ainda mais o desempenho.
   • O modelo foi aplicado a todo o corpus para extrair 6.145.694 sentenças contendo entidades de métodos.

4. Métricas de Análise Evolutiva:

   • Densidade de Distribuição: Calculada como a razão entre os tokens de entidades de método e o total de tokens dentro de um capítulo para confirmar que o capítulo de "Métodos" contém a maior densidade de RMEs.
   • Distância de Jaccard: Utilizada para medir a dissimilaridade (discrepância de distribuição) de grupos de RME entre janelas temporais adjacentes (intervalos de 3 anos).
   • Taxa de Crescimento da Distância de Jaccard: Calculada para determinar se as diferenças no uso de métodos estão se alargando (emergência) ou estreitando (estabilização).
   • Estratificação de Tópicos e Métodos: O modelo Top2Vec identificou 19 tópicos de pesquisa, e um classificador automatizado (Zhang & Tian, 2023) categorizou os artigos por método de pesquisa (ex: experimento, bibliometria) para analisar padrões evolutivos através dessas dimensões.

Principais Contribuições

• Extração de Entidades de Grão Fino: O estudo vai além da análise bibliométrica de grão grosso ao extrair automaticamente quatro tipos específicos de entidades de métodos orientados a dados (Algoritmos, Dados, Ferramentas, Métricas) de artigos acadêmicos de texto completo.
• Framework Metodológico: Propõe um pipeline robusto combinando identificação estrutural (T5) e extração de entidades (SciBERT+BiLSTM+CRF) para analisar a evolução dos métodos de pesquisa em um nível microscópico.
• Métricas Evolutivas Quantitativas: A aplicação da distância de Jaccard e sua taxa de crescimento fornece uma medida quantitativa da "estabilidade" versus "emergência" dos métodos de pesquisa ao longo do tempo.
• Análise Multidimensional: O estudo analisa a evolução através de três dimensões distintas: tendências temporais, diferentes tópicos de pesquisa e diferentes metodologias de pesquisa.

Resultados

• Distribuição de Capítulos: O capítulo de "Métodos" exibe a maior densidade de distribuição média de RMEs (~1,94%), validando a abordagem de focar nesta seção para identificar os métodos de pesquisa reais.
• Evolução Temporal (1990–2022):
  • Recursos de Dados: Mostraram as maiores diferenças de distribuição ao longo do tempo, indicando que são um motor primário de mudança metodológica.
  • Padrão Cíclico: O estudo identificou um padrão cíclico de "emergência" (aumento da distância de Jaccard, indicando novas ferramentas/dados) seguido por "estabilização/aplicação prática" (diminuição da distância de Jaccard, indicando normalização).
  • Tendências Específicas: Entidades de algoritmos e modelos mostraram um aumento gradual na proporção, particularmente após 2015, provavelmente devido aos grandes modelos de linguagem. Entidades de métricas mostraram proporções decrescentes, sugerindo uma estabilização nos padrões de avaliação.
• Evolução por Tópico:
  • Tópicos como Busca de Informação e Informetria/Scientometria mostraram uma tendência de diminuição e posterior aumento na variância de distribuição de recursos de dados, ligada ao movimento de acesso aberto e abundância de recursos.
  • Tópicos de Avaliação Científica mostraram estabilização em entidades de métricas, mas diminuição na variância de outras categorias.
• Evolução por Método:
  • Métodos Experimentais: Mostraram uma diminuição precoce seguida por um aumento recente na variância de distribuição, particularmente para entidades de algoritmos e modelos, refletindo a natureza evolutiva dos experimentos orientados a dados.
  • Análise de Conteúdo e Bibliometria: Exibiram diminuições sustentadas na variância de distribuição, indicando padrões de uso estáveis e estabelecidos.

Significância e Alegações

O artigo alega que os recursos de dados são o motor crucial da evolução metodológica em LIS. A abundância de dados e a ascensão da inteligência de dados alteraram fundamentalmente a forma como os problemas de pesquisa são resolvidos, deslocando a disciplina para modelos orientados a dados.

O estudo postula que os métodos de pesquisa em LIS não evoluem linearmente, mas seguem um padrão cíclico de "emergência" e "estabilização/aplicação prática". Ao focar em entidades de métodos de grão fino, os autores argumentam que esta abordagem oferece uma visão mais objetiva e interpretável do desenvolvimento disciplinar do que a bibliometria tradicional de grão grosso. A metodologia é apresentada como um framework universal que pode ser aplicado a outros campos para compreender os processos de desenvolvimento de métodos de pesquisa através da lente de entidades de conhecimento específicas.

Os autores reconhecem limitações, observando que a classificação atual de entidades pode não cobrir de forma abrangente todas as características de uso de métodos e que o corpus, embora grande, pode ainda ser insuficiente para uma análise temática completa da evolução. Sugere-se que trabalhos futuros envolvam dados de maior escala e sistemas de classificação mais universais para aumentar a objetividade e adaptabilidade dos achados.