How Do Algorithms Interact in Scientific Research? Large-Scale Semantic Relation Identification and Analysis Based on Full-Text Papers

Sintesi Tecnica: In che modo gli algoritmi interagiscono nella ricerca scientifica?

Problematica
Nell'era dell'intelligenza artificiale, gli algoritmi sono i motori centrali dell'innovazione scientifica. Sebbene la ricerca esistente abbia identificato con successo le entità algoritmiche e analizzato la frequenza delle loro menzioni e co-occorrenze, tali approcci offrono una visione limitata sulla natura delle interazioni tra algoritmi. L'analisi della co-occorrenza può indicare che due algoritmi compaiono insieme, ma non riesce a spiegare il perché compaiano insieme, come competano, collaborino o evolvano. Manca un'identificazione delle relazioni semantiche su larga scala e a grana fine che vada oltre i semplici elenchi di entità per passare a grafi di relazioni strutturati, ostacolando una comprensione sistematica delle traiettorie di innovazione algoritmica e dell'evoluzione delle comunità.

Metodologia
Questo studio si concentra sul dominio del Natural Language Processing (NLP) per identificare e analizzare le relazioni semantiche tra entità algoritmiche in articoli accademici a testo completo. La metodologia si articola in quattro fasi principali:

1. Raccolta dei dati e pre-elaborazione:

   • Corpus: Sono stati raccolti articoli a testo completo da tre importanti conferenze NLP (ACL, EMNL, NAACL) pubblicati tra il 1979 e il 2025.
   • Estrazione delle entità: È stato costruito un corpus di addestramento aggiornato, aumentando i dati esistenti (1979–2020) con frasi annotate manualmente dal 2021 al 2025. Il modello SciBERT + BiLSTM + CRF è stato perfezionato (fine-tuned) per estrarre le entità algoritmiche e filtrare le frasi rilevanti.
   • Standardizzazione: È stata applicata una rigorosa pipeline di normalizzazione, che include tokenizzazione, lemmatizzazione e clustering basato su vettori (utilizzando gli embedding di Gemma e ChromaDB) per fondere i nomi varianti dello stesso algoritmo, risultando in un set finale di 30.274 entità algoritmiche uniche.

2. Framework delle relazioni e annotazione:

   • È stato definito un framework di relazioni semantiche con sei categorie: Confronta con (Compare with), Usa (Use), Coopera con (Cooperate with), Uguale a (Same as), Superclasse di (Superclass of) e Altro (Other).
   • Un corpus "gold-standard" di 16.531 frasi contenenti molteplici entità algoritmiche è stato annotato manualmente da quattro annotatori, raggiungendo un accordo inter-annotatore (Cohen's Kappa) di 0,7630.

3. Valutazione del modello per l'estrazione delle relazioni:

   • Large Language Models (LLM): Diversi modelli (GPT-5, DeepSeek-Reasoner, Gemini-3.1-pro-preview, Claude-Sonnet-4-6) sono stati valutati utilizzando strategie di prompting zero-shot, few-shot e chain-of-thought (CoT).
   • Pre-trained Language Models (PLM): Modelli tra cui BERT, SciBERT e DeBERTa (con e senza strati BiLSTM) sono stati sottoposti a fine-tuning supervisionato. Inoltre, i modelli della serie Qwen sono stati perfezionati tramite Low-Rank Adaptation (LoRA).
   • Selezione: SciBERT ha ottenuto le prestazioni migliori ed è stato selezionato come modello finale per l'estrazione delle relazioni su larga scala.

4. Analisi della rete:

   • L'intensità dell'interazione è stata calcolata in base alla frequenza delle coppie di algoritmi che compaiono nei documenti nel tempo, normalizzata rispetto al volume totale delle pubblicazioni.
   • Per ogni tipo di relazione sono state costruite reti relazionali annuali per analizzare l'evoluzione in termini di dimensione della rete (nodi/archi), connettività interna (grado medio, coefficiente di clustering) e dinamiche di rinnovamento (similarità degli archi, nuovi archi/archi scomparsi).

Risultati Chiave

• Prestazioni del modello: SciBERT ha raggiunto il punteggio macro-F1 più elevato (77,79%) per l'identificazione delle relazioni, superando sia gli LLM con fine-tuning (ad es. Qwen-8B al 75,60%) sia il prompting diretto di LLM. Sebbene gli LLM con apprendimento few-shot e ragionamento CoT abbiano mostrato risultati competitivi (ad es. GPT che raggiunge il 74,63% di F1), non hanno superato il PLM specifico del dominio sottoposto a fine-tuning.
• Distribuzione delle relazioni: La relazione Confronta (Compare) è dominante, rappresentando il 54,37% di tutte le relazioni semantiche identificate. Sinonimo (Synonym) (12,54%) e Usa (Use) (10,67%) seguono, mentre Collabora (Collaborate) è la meno frequente (5,68%).
• Schemi di interazione:
  • Le coppie ad alta intensità riflettono spesso raggruppamenti tecnologici (ad es. BERT–RoBERTa, GPT-3.5–GPT-4).
  • Le relazioni di Confronto coinvolgono sia la competizione intra-categoria (ad es. BERT vs. RoBERTa) sia i confronti tra paradigmi diversi (ad es. BERT vs. ELMo).
  • Le relazioni di Superclasse rivelano strutture gerarchiche, in particolare nella linea di discendenza dei modelli pre-addestrati e delle loro varianti.
• Evoluzione della rete:
  • Tutte le reti relazionali sono passate da una fase di scarsità a una di espansione dal 2000 in poi.
  • La rete del Confronto mostra la crescita più rapida in termini di nodi e archi, il grado medio più elevato e il coefficiente di clustering più alto, indicando un ecosistema competitivo che si approfondisce e si densifica.
  • Le reti presentano un'alta dinamica di rinnovamento (alto tasso di ingresso e scomparsa di archi), suggerendo che le relazioni algoritmiche non siano accumuli statici ma sistemi dinamici. Tuttavia, la rete del Confronto mostra una maggiore stabilità nella ritenzione degli archi rispetto alle reti Usa o Collabora.

Significatività e Rivendicazioni
Gli autori sostengono che questo studio fornisca un passaggio critico dall'identificazione di entità isolate all'identificazione di relazioni strutturate, offrendo una nuova base per esplorare i modelli di organizzazione e l'evoluzione della conoscenza nella ricerca scientifica. Costruendo reti specifiche per relazione, lo studio rivela che il campo del NLP è caratterizzato da un ecosistema di competizione algoritmica sempre più intenso, guidato principalmente dal benchmarking delle prestazioni e dalla sostituzione dei metodi.

Il documento postula che la dominanza della relazione di Confronto rifletta non solo la competizione tecnologica, ma anche l'evoluzione delle pratiche di ricerca, delle convenzioni di scrittura e delle logiche di valutazione della comunità accademica (ad es. la necessità di confronti con i baseline). Lo studio fornisce risorse di dati e riferimenti metodologici per la costruzione di grafi di conoscenza tra entità algoritmiche, sebbene gli autori notino con modestia i limiti riguardanti l'ambito dei dati (solo conferenze NLP) e la necessità di ulteriori affinamenti nei metodi di disambiguazione delle entità e classificazione delle relazioni.