Usage frequency and application variety of research methods in library and information science: Continuous investigation from 1991 to 2021

Resumo Técnico: Frequência de Uso e Variedade de Aplicação de Métodos de Pesquisa em Ciência da Informação e Biblioteconomia (1991–2021)

Problema de Pesquisa
Investigações anteriores sobre métodos de pesquisa na Ciência da Informação e Biblioteconomia (LIS) basearam-se fortemente na análise de conteúdo manual. Embora estudos fundamentais de estudiosos como Järvelin e Vakkari (1990) e Chu (2015) tenham estabelecido esquemas de classificação, a natureza manual dessas análises restringe o volume de dados que pode ser processado. Consequentemente, a maioria dos estudos anteriores limita-se a anos isolados ou pequenos subconjuntos da literatura, impedindo uma compreensão longitudinal abrangente da evolução metodológica. Além disso, as pesquisas existentes frequentemente tratam métodos de pesquisa e tópicos de pesquisa como entidades separadas, carecendo de uma análise dinâmica de seus inter-relacionamentos ao longo de períodos estendidos. Este estudo aborda a necessidade de uma abordagem automatizada de larga escala para classificar métodos de pesquisa e analisar sua frequência de uso e variedade de aplicação ao longo de um período de 31 anos (1991–2021).

Metodologia
O estudo emprega um pipeline de aprendizado de máquina (ML) para analisar 26.965 artigos de pesquisa de 21 periódicos centrais de LIS. A metodologia é estruturada em três componentes primários:

1. Construção e Expansão do Conjunto de Dados:

   • O conjunto de dados abrange 1991–2021. Um conjunto de treinamento preliminar de 1.977 artigos anotados manualmente (baseado em Chu e Ke, 2017) foi utilizado.
   • Para lidar com o desequilíbrio de classes (onde certos métodos como "Estudo Delphi" possuíam menos de 300 instâncias), os autores expandiram os dados de treinamento. Utilizando TextRank para extrair palavras-chave, eles pesquisaram no Web of Science por resumos relevantes, que foram então filtrados e anotados manualmente. Esse processo criou um conjunto de dados expandido para treinamento.
   • Aprendizado Confiável (Confident Learning): Para mitigar o ruído introduzido durante a expansão dos dados, o estudo utilizou o "aprendizado confiável" via ferramenta Cleanlab para identificar e podar dados rotulados incorretamente antes do treinamento final do modelo.

2. Classificação Automática de Métodos de Pesquisa:

   • Esquema de Codificação: O estudo adotou a taxonomia de Chu e Ke (2017) de 16 métodos de pesquisa (ex: Bibliometria, Análise de conteúdo, Entrevista, Abordagem teórica).
   • Arquitetura do Modelo: Diversos modelos foram avaliados, incluindo classificadores multi-rótulo tradicionais (BR-XGB, CC-XGB, etc.) e arquiteturas de aprendizado profundo. O modelo final selecionado combinou SciBERT (um modelo BERT pré-treinado em textos científicos) com TextCNN para extração de características e classificação.
   • Estratégia de Treinamento: Os modelos foram treinados usando otimizadores Adam e SGD com perda de Entropia Cruzada Binária (BCE). Validação cruzada de cinco dobras (five-fold cross-validation) foi usada para avaliação.
   • Validação: O desempenho do modelo foi validado contra um conjunto de teste rotulado manualmente (N=80), resultando em um valor Kappa de 0,74, indicando consistência aceitável entre a anotação de máquina e a humana.

3. Modelagem de Tópicos e Cálculo de Métricas:

   • Identificação de Tópicos: O Top2Vec foi utilizado para modelagem de tópicos. O número ideal de tópicos foi determinado como 18, baseado em escores de CV (coerência baseada em vetor de contexto).
   • Métricas: Duas métricas principais foram calculadas:
     • Frequência de Uso: A proporção de artigos que relatam um método específico em um determinado ano.
     • Variedade de Aplicação: Uma medida baseada em entropia que quantifica a diversidade de tópicos de pesquisa aos quais um método específico é aplicado em um determinado ano. Uma entropia mais alta indica uma aplicabilidade mais ampla em diferentes tópicos.

Principais Resultados

• Acurácia de Classificação: O modelo SciBERT-TextCNN alcançou o maior desempenho no conjunto de dados limpo, com um Micro-F1 de 0,850, Macro-F1 de 0,848 e Samples-F1 de 0,859. Isso demonstra que a abordagem automatizada atinge uma precisão comparável à codificação manual.
• Tendências de Frequência de Uso:
  • Análise de conteúdo (18,63%) e Bibliometria (17,70%) foram os métodos mais utilizados.
  • Uma mudança longitudinal foi observada: Abordagem teórica e Análise de conteúdo mostraram uma tendência de queda, enquanto Entrevista e Questionário mostraram uma tendência de ascensão. Isso indica uma mudança estratégica de pesquisas conceituais para estratégias de pesquisa empírica em LIS.
• Padrões de Variedade de Aplicação:
  • A Análise de conteúdo exibiu a maior variedade de aplicação (7,084), atuando como um "super-método" aplicável a uma ampla gama de tópicos.
  • O Estudo Delphi teve a menor variedade (0,134), indicando aplicabilidade estreita.
  • Quatro padrões distintos emergiram: métodos com aumento geral de variedade (ex: Bibliometria, Entrevista), aqueles que aumentaram e depois diminuíram (ex: Questionário, Análise de log de transação), aqueles com diminuição geral (ex: Abordagem teórica) e aqueles que diminuíram e depois aumentaram (ex: Método histórico).
• Relacionamentos Tópico-Método:
  • Os tópicos de pesquisa mudaram de questões centradas no sistema (ex: "Recuperação de informação/modelos e algoritmos") para tópicos centrados no usuário (ex: "Serviços de informação").
  • Pares específicos método-tópico foram identificados: Experimentos foram amplamente usados para "Processamento de texto/recuperação" e "Comportamento de busca de informação"; Abordagem teórica foi vinculada à "Ética da informação/filosofia da informação"; e Bibliometria foi central para "Avaliação científica" e "Webometria".
  • O estudo visualizou essas relações dinâmicas através de um mapa interativo, permitindo a observação longitudinal ano a ano.

Significância e Contribuições
O artigo reivindica três contribuições primárias para o campo da metodologia de pesquisa em LIS:

1. Escalabilidade via Aprendizado de Máquina: Ao utilizar aprendizado profundo e aprendizado confiável, o estudo supera as limitações de dados da análise de conteúdo manual. Ele processou com sucesso um conjunto de quase 27.000 artigos ao longo de 31 anos, fornecendo uma visão panorâmica das tendências metodológicas que era anteriormente inalcançável.
2. Análise de Dupla Perspectiva: Diferente de estudos anteriores que tratavam métodos e tópicos separadamente, esta pesquisa analisa simultaneamente a frequência de uso e a variedade de aplicação. Ela revela como a amplitude da aplicação de um método muda ao longo do tempo, oferecendo uma compreensão mais matizada da utilidade metodológica.
3. Validação da Classificação Automatizada: O estudo demonstra que o aprendizado de máquina pode alcançar uma precisão de classificação (Kappa = 0,74) comparável à codificação humana manual. Isso valida o uso de técnicas automatizadas para estudos bibliométricos de larga escala, sugerindo que, embora a codificação manual continue essencial para desenvolver esquemas de codificação, o ML é um complemento viável para executar análises de grande escala.

Os autores mantêm uma postura modesta, observando que sua metodologia é um complemento, e não um substituto completo para a análise manual, particularmente porque a expertise humana ainda é necessária para refinar os esquemas de codificação conforme os métodos de pesquisa evoluem. O estudo não propõe novos frameworks teóricos, mas sim fornece evidências empíricas da evolução do campo através de uma rigorosa análise baseada em dados.