Usage frequency and application variety of research methods in library and information science: Continuous investigation from 1991 to 2021

Sintesi Tecnica: Frequenza di Utilizzo e Varietà di Applicazione dei Metodi di Ricerca nella Biblioteconomia e Scienza dell'Informazione (1991–2021)

Problematica
Le indagini precedenti sui metodi di ricerca nella Biblioteconomia e Scienza dell'Informazione (LIS) si sono basate pesantemente sull'analisi manuale del contenuto. Sebbene studi fondamentali condotti da studiosi come Järvelin e Vakkari (1990) e Chu (2015) abbiano stabilito schemi di classificazione, la natura manuale di queste analisi limita il volume di dati che possono essere elaborati. Di conseguenza, la maggior parte degli studi precedenti è limitata a singoli anni o piccoli sottoinsiemi di letteratura, impedendo una comprensione longitudinale completa dell'evoluzione metodologica. Inoltre, la ricerca esistente tratta spesso i metodi di ricerca e gli argomenti di ricerca come entità separate, mancando di un'analisi dinamica delle loro interrelazioni su periodi prolungati. Questo studio affronta la necessità di un approccio automatizzato su larga scala per classificare i metodi di ricerca e analizzare la loro frequenza di utilizzo e la varietà di applicazione nell'arco di 31 anni (1991–2021).

Metodologia
Lo studio impiega una pipeline di machine learning (ML) per analizzare 26.965 articoli di ricerca provenienti da 21 riviste core della LIS. La metodologia è strutturata in tre componenti primarie:

1. Costruzione ed Espansione del Dataset:

   • Il dataset copre il periodo 1991–2021. Un set di addestramento preliminare di 1.977 articoli annotati manualmente (basato su Chu e Ke, 2017) è stato utilizzato.
   • Per affrontare lo sbilanciamento delle classi (dove certi metodi come lo "studio Delphi" avevano meno di 300 istanze), gli autori hanno ampliato i dati di addestramento. Utilizzando TextRank per estrarre le parole chiave, hanno cercato abstract pertinenti su Web of Science, che sono stati poi filtrati e annotati manualmente. Questo processo ha creato un dataset espanso per l'addestramento.
   • Confident Learning: Per mitigare il rumore introdotto durante l'espansione dei dati, lo studio ha utilizzato la "confident learning" tramite lo strumento Cleanlab per identificare e rimuovere i dati erroneamente etichettati prima dell'addestramento finale del modello.

2. Classificazione Automatica dei Metodi di Ricerca:

   • Schema di Codifica: Lo studio ha adottato la tassonomia di Chu e Ke (2017) di 16 metodi di ricerca (ad es., Bibliometria, Analisi del contenuto, Intervista, Approccio teorico).
   • Architettura del Modello: Diversi modelli sono stati valutati, inclusi i classificatori multi-label tradizionali (BR-XGB, CC-XGB, ecc.) e architetture di deep learning. Il modello finale selezionato combina SciBERT (un modello BERT pre-addestrato su testi scientifici) con TextCNN per l'estrazione delle caratteristiche e la classificazione.
   • Strategia di Addestramento: I modelli sono stati addestrati utilizzando gli ottimizzatori Adam e SGD con perdita di Binary Cross Entropy (BCE). È stata utilizzata la validazione incrociata a cinque pieghe (five-fold cross-validation) per la valutazione.
   • Validazione: Le prestazioni del modello sono state validate rispetto a un set di test etichettato manualmente (N=80), ottenendo un valore Kappa di 0,74, che indica una coerenza accettabile tra l'annotazione della macchina e quella umana.

3. Modellazione dei Topic e Calcolo delle Metriche:

   • Identificazione dei Topic: Top2Vec è stato utilizzato per la modellazione dei topic. Il numero ottimale di topic è stato determinato in 1,8 sulla base dei punteggi di CV (coerenza basata sul vettore di contesto).
   • Metriche: Sono state calcolate due metriche chiave:
     • Frequenza di Utilizzo: La proporzione di articoli che riportano un metodo specifico in un dato anno.
     • Varietà di Applicazione: Una misura basata sull'entropia che quantifica la diversità degli argomenti di ricerca ai quali un determinato metodo viene applicato in un dato anno. Un'entropia più elevata indica una maggiore applicabilità a diversi argomenti.

Risultati Chiave

• Accuratezza della Classificazione: Il modello SciBERT-TextCNN ha raggiunto le prestazioni più elevate sul dataset pulito, con un Micro-F1 di 0,850, un Macro-F1 di 0,848 e un Samples-F1 di 0,859. Ciò dimostra che l'approccio automatizzato raggiunge un'accuratezza paragonabile alla codifica manuale.
• Tendenze della Frequenza di Utilizzo:
  • L'Analisi del contenuto (18,63%) e la Bibliometria (17,70%) sono stati i metodi utilizzati più frequentemente.
  • È stata osservata una variazione longitudinale: l'Approccio teorico e l'Analisi del contenuto hanno mostrato una tendenza al ribasso, mentre l'Intervista e il Questionario hanno mostrato una tendenza al rialzo. Ciò indica un passaggio strategico dalla ricerca concettuale verso strategie di ricerca empirica nella LIS.
• Schemi di Varietà di Applicazione:
  • L'Analisi del contenuto ha esibito la varietà di applicazione più elevata (7,084), agendo come un "super-metodo" applicabile a una vasta gamma di argomenti.
  • Lo Studio Delphi ha avuto la varietà più bassa (0,134), indicando una scarsa applicabilità.
  • Sono emersi quattro schemi distinti: metodi con una varietà complessiva in aumento (ad es., Bibliometria, Intervista), quelli che sono aumentati e poi diminuiti (ad es., Questionario, Analisi dei log di transazione), quelli con una varietà complessiva in diminuzione (Approccio teorico) e quelli che sono diminuiti e poi aumentati (Metodo storico).
• Relazioni Topic-Metodo:
  • Gli argomenti di ricerca si sono spostati da questioni incentrate sui sistemi (ad es., "Recupero informazioni/modelli e algoritmi") a argomenti incentrati sull'utente (ad es., "Servizi informativi").
  • Sono state identificate coppie metodo-argomento specifiche: gli Esperimenti sono stati ampiamente utilizzati per "Elaborazione/recupero del testo" e "Comportamento di ricerca delle informazioni"; l'Approccio teorico è stato collegato all' "Etica dell'informazione/filosofia dell'informazione"; e la Bibliometria è stata centrale per la "Valutazione scientifica" e la "Webometria".
  • Lo studio ha visualizzato queste relazioni dinamiche tramite una mappa interattiva, permettendo l'osservazione longitudinale anno per anno.

Significatività e Contributi
Il documento rivendica tre contributi primari alla ricerca metodologica nel campo della LIS:

1. Scalabilità tramite Machine Learning: Utilizzando il deep learning e il confident learning, lo studio supera i limiti di dati dell'analisi manuale del contenuto. Ha gestito con successo un dataset di quasi 27.000 articoli in 31 anni, fornendo una visione panoramica delle tendenze metodologiche precedentemente irraggiungibile.
2. Analisi da Prospettiva Duplice: A differenza degli studi precedenti che trattavano separatamente metodi e argomenti, questa ricerca analizza simultaneamente la frequenza di utilizzo e la varietà di applicazione. Rivela come l'ampiezza dell'applicazione di un metodo cambi nel tempo, offrendo una comprensione più sfumata dell'utilità metodologica.
3. Validazione della Classificazione Automatica: Lo studio dimostra che il machine learning può raggiungere un'accuratezza di classificazione (Kappa = 0,74) paragonabile alla codifica manuale umana. Ciò valida l'uso di tecniche automatizzate per studi bibliometrici su larga scala, suggerendo che, sebbene la codifica manuale rimanga essenziale per sviluppare schemi di codifica, il ML è un complemento valido per eseguire analisi su larga scala.

Gli autori mantengono una posizione modesta, sottolineando che la loro metodologia è un complemento piuttosto che un sostituto completo dell'analisi manuale, poiché l'esperienza umana è ancora necessaria per affinare gli schemi di codifica man mano che i metodi di ricerca evolvono. Lo studio non propone nuovi framework teorici, ma fornisce piuttosto evidenza empirica dell'evoluzione del campo attraverso un rigoroso approccio basato sui dati.