Generative AI and the future of scientometrics: current topics and future questions

Problematica
Il campo della scientometria, che studia quantitativamente la scienza e la tecnologia, sta adottando sempre più l'Intelligenza Artificiale Generativa (GenAI) per compiti che vanno dall'identificazione e classificazione dei temi alla valutazione della ricerca e alla predizione delle citazioni. Tuttavia, lo stato attuale del settore è caratterizzato da un approccio di tipo "tentativo ed errore". La letteratura esistente si basa ampiamente su confronti empirici tra gli output della GenAI e il giudizio umano o tecniche tradizionali, spesso mancando di una comprensione fondata del perché la GenAI abbia successo o fallisca in contesti specifici. Non esiste un consenso chiaro sull'affidabilità della GenAI nella scientometria, con dibattiti che spaziano dal suo potenziale nel democratizzare l'accesso ai dati alle preoccupazioni riguardanti la sua stabilità e qualità. Inoltre, il campo manca di un quadro teorico per anticipare le prestazioni in base alle caratteristiche del compito, e vi è una crescente preoccupazione che la generazione automatizzata del linguaggio scientifico da parte della GenAI possa alterare fondamentalmente i marcatori testuali (vocabolario, autorship, riferimenti) su cui si basano gli indicatori scientometrici.

Metodologia
Questo articolo è un saggio di opinione che propone un quadro concettuale per interpretare le prestazioni della GenAI e una discussione teorica sul suo impatto futuro. La metodologia prevede:

1. Costruzione di un quadro linguistico: Gli autori adattano la distinzione tripartita del linguaggio di Charles Morris — sintassi, semantica e pragmatica — per categorizzare i compiti scientometrici.
   • Sintassi: La correttezza formale del testo (grammatica, struttura).
   • Semantica: Il significato delle parole inferito da un corpus (classificazione, etichettatura).
   • Pragmatica: La relazione del testo con specifiche situazioni comunicative e contesti (valutazione, giudizio).
2. Sintesi della letteratura: Gli autori esaminano studi empirici recenti (2024–2025) che applicano la GenAI a compiti scientometrici, mappando tali applicazioni rispetto al quadro linguistico proposto per identificare modelli di prestazione.
3. Analisi teorica esplorativa: Il saggio specula sulle conseguenze dell'adozione diffusa della GenAI nella scrittura accademica, analizzando come essa possa distorcere le dimensioni centrali della scientometria: vocabolario, pratiche di authorship, misure di produttività e uso dei riferimenti.

Contributi Chiave

1. Un quadro concettuale per la classificazione dei compiti: Il saggio introduce una distinzione tra compiti che richiedono l'inferenza semantica (comprendere i significati all'interno di un testo) e quelli che richiedono il giudizio pragmatico (valutare i testi all'interno di specifici contesti istituzionali o sociali).
2. Criteri di predizione delle prestazioni: Si argomenta che la prestazione della GenAI non è uniforme ma dipende da tre parametri chiave:
   • La natura del compito (semantico vs. pragmatico).
   • Il livello di granularità (aggregato/ampio vs. individuale/fine scala).
   • L'obiettivo dell'analisi (descrittivo/inferenziale vs. valutativo).
3. Guida strategica: Gli autori propongono che la GenAI sia altamente efficace per i compiti semantici (es. etichettatura di temi, classificazione di documenti) a un livello aggregato, ma che presenti prestazioni inconsistenti nei compiti pragmatici (es. revisione paritaria, identificazione di studiosi eminenti) dove il contesto individuale e la sfumatura istituzionale sono critici.
4. Avvertenza sulla validità degli indicatori: Il saggio evidenzia un rischio critico, spesso trascurato: che la generazione di testi scientifici da parte della GenAI possa alterare le distribuzioni statistiche di parole, modelli di authorship e citazioni, invalidando così gli indicatori scientometrici stabiliti che assumono relazioni stabili tra testo e pratica scientifica.

Risultati e Conclusioni

• Compiti Semantici: La GenAI dimostra una forte prestazione nell'inferire significati, come l'etichettatura di temi o la classificazione di documenti, particolarmente quando applicata a categorie ampie (es. campi scientifici) piuttosto che a distinzioni fini. Tuttavia, "allucinazioni" e variazioni stocastiche richiedono calibrazione e validazione rispetto a dati di riferimento.
• Compiti Pragmatici: Le prestazioni sono miste e instabili per compiti che richiedono giudizi dipendenti dal contesto, come la valutazione della qualità della ricerca, la predizione dell'impatto delle citazioni o l'identificazione di studiosi eminenti. Sebbene la GenAI possa mostrare regolarità statistiche a un livello aggregato, non riesce a replicare l'affidabilità del giudizio umano nei casi individuali.
• Integrazione Uomo-Macchina: Il saggio conclude che le strategie di adozione robuste richiedono approcci "human-in-the-loop". Per i compiti semantici, gli umani dovrebbero concentrarsi su calibrazione e validazione. Per i compiti pragmatici/valutativi, la GenAI dovrebbe servire come strumento ausiliario o assistente piuttosto che come sostituto del giudizio umano.
• Impatto sulle misure scientometriche: Gli autori identificano quattro aree in cui la GenAI minaccia la validità delle misure attuali:
  • Vocabolario: La GenAI può aumentare l'omogeneità stilistica e alterare le frequenze delle parole, potenzialmente rinforzando le associazioni tematiche esistenti e oscurando le dinamiche cognitive.
  • Authorship: L'uso sistematico della GenAI per la stesura può disaccoppiare l'authorship elencata dal reale contributo intellettuale, complicando le metriche di collaborazione.
  • Produttività: La GenAI può abbassare il costo marginale della pubblicazione, potenzialmente gonfiando i conteggi di output pur riducendo la diversità tematica, rendendo i tradizionali indicatori di produttività meno comparabili nel tempo.
  • Riferimenti: Gli strumenti di GenAI possono fabbricare riferimenti o selezionarli sulla base di associazioni di parole piuttosto che di lignaggio intellettuale, distorcendo potenzialmente le reti di citazione e l'interpretazione dell'influenza scientifica.

Significatività e Rivendicazioni
Il saggio sostiene che la GenAI non sia semplicemente un nuovo strumento di produttività, ma una forza capace di alterare la "rappresentazione testuale della scienza". La sua significatività risiede nello spostamento del discorso dal semplice benchmarking delle prestazioni a una ri-valutazione teorica ed empirica più profonda delle fondamenta del campo.

• Per la Pratica: Esorta gli studiosi a passare dal "tentativo ed errore" verso una consolidazione metodologica, sottolineando che la scelta di utilizzare la GenAI deve essere dettata dalla natura linguistica del compito e dal livello di granularità richiesto.
• Per la Teoria: Richiede un nuovo programma di ricerca per comprendere come la GenAI influenzi gli indicatori stabiliti. Gli autori sostengono che, senza un attento lavoro empirico e una riflessione teorica, il campo rischia di perdere la capacità di interpretare l'evoluzione dei modelli di produzione della conoscenza.
• Modestia delle rivendicazioni: Gli autori riconoscono esplicitamente che la loro discussione sull'impatto futuro della GenAI sulle misure scientometriche è in gran parte speculativa a causa della scarsità di prove empiriche esistenti. Inquadrano i loro argomenti come ipotesi che richiedono una rigorosa validazione attraverso studi longitudinali eza esperimenti controllati (ad esempio, confrontando corpora pre e post-GenAI).