Measuring coverage of cited fields by author publication histories

Sintesi Tecnica: Misurare la Copertura dei Campi Citati rispetto alle Storia di Pubblicazione degli Autori

Problematica
Gli studi bibliometrici utilizzano frequentemente le liste di riferimenti per caratterizzare la diversità disciplinare, le combinazioni di conoscenza e l'età della letteratura. Tuttavia, una distinzione critica rimane non affrontata: la relazione tra la letteratura citata e le specifiche storie di pubblicazione dell'autore che produce il lavoro. Una lista di riferimenti diversificata può essere ben rappresentata nei record precedenti di un team di ricerca, mentre può essere largamente assente in quelli di un altro. Le misurazioni esistenti della diversità di competenza si concentrano spesso sulle distanze tra i profili degli autori o sulla composizione del portafoglio di citazioni in isolamento, senza quantificare l'intersezione tra i due. Il documento postula che la comprensione della ricerca di team richieda una misurazione specifica di quanta parte della distribuzione dei riferimenti citati in un articolo sia rappresentata nelle storie di pubblicazione dei singoli autori rispetto alla storia combinata del team, e quanta rimanga invece non coperta.

Metodologia
Lo studio introduce un framework di decomposizione pesato sui riferimenti per partizionare i campi citati di un articolo focale in tre componenti:

1. Copertura Individuale Massima ($M$): La quota di categorie citate coperte dal singolo autore con la storia più estesa e pertinente.
2. Copertura Aggiuntiva dei Coautori ($D$): La quota incrementale di categorie citate coperte combinando le storie di tutti i coautori, oltre a quanto coperto da $M$.
3. Rimanente Non Coperto ($E$): La quota di categorie citate assenti dalla storia di pubblicazione osservata di ogni autore.

Il framework distingue tra due finestre di osservazione: una finestra pre-progetto (cinque anni prima dell'inizio del progetto) e una finestra pre-pubblicazione (cinque anni prima dell'articolo focale). Ciò consente di calcolare la variazione netta della copertura ($A = E_{pre} - E_{pub}$), separando le quote di base non coperte dai successivi guadagni o perdite.

Dati e Sequenza Inferenziale
Lo studio utilizza un dataset collegato che combina i record dei sovvenzi del Korean National Science and Technology Information Service (NTIS), i ringraziamenti del National Research Foundation (NRF) e le pubblicazioni di OpenAlex. L'analisi segue una sequenza inferenziale a tre stadi:

• Stadio di Scoperta: 115 articoli collegati a sovvenzi.
• Primo Stadio di Conferma: 240 articoli (pool $N=355$ per diagnostica esplorativa).
• Secondo Stadio di Conferma: Un protocollo prospetticamente fissato che analizza 194 sovvenzi (112 con uso di AI, 82 non-AI) selezionati da un pool più ampio di 832.

L'applicazione primaria indaga se i progetti classificati come utilizzanti l'Intelligenza Artificiale (AI) esibiscano quote di base non coperte ($E_{pre}$) più elevate rispetto ai progetti non-AI, testando le ipotesi sul ruolo dell'AI nell'introdurre conoscenza non familiare.

Contributi Chiave e Metriche

• Decomposizione della Copertura: Il documento fornisce un metodo riproducibile per separare le quote di copertura dei singoli, collettivi e non coperti su un denominatore comune, pesato sulla frequenza di citazione.
• Analisi dell'Enfasi della Citazione: Attraverso esperimenti di riallocazione all'interno dell'articolo, lo studio mantiene costanti le storie degli autori, la diversità e i totali di campo mentre permuta il numero di citazioni. Ciò isola l'effetto di dove vengono posizionate le citazioni (campi coperti vs. non coperti) indipendentemente dalla composizione del portafoglio.
• Distinzione dalla Familiarità: L'autore afferma esplicitamente che $E$ misura l'assenza di evidenza indicizzata, non l'assenza di effettiva competenza o apprendimento. È un conteggio descrittivo dell'intersezione tra citazioni e record, non un proxy della familiarità cognitiva.

Risultati

• Diagnostica Esplorativa:

  • La diversità dei riferimenti (entropia di Shannon) rimane associata positivamente con la quota non coperta ($E_{pre}$) anche dopo l'aggiustamento per numero di autori, numero di riferimenti e volume della storia. Nello stadio di scoperta, l'aggiunta della diversità al modello ha aumentato l' $R^2$ da 0,328 a 0,502.
  • Enfasi della Citazione: I portafogli reali pongono significativamente meno peso sui sottocampi non coperti rispetto ai benchmark strutturali. Nello stadio di scoperta, la quota non coperta osservata era inferiore di 8,66 punti percentuali rispetto al benchmark di riallocazione condizionato al campo (95% CI: 6,22–11,36). Questo contrasto è persistito anche dopo l'esclusione dei riferimenti nel sottocampo primario dell'articolo.
  • Effetti di Aggregazione: Negli articoli con uso di AI, la "copertura aggiuntiva dei coautori" ($D$) media il 10,89% per articolo ma solo il 3,45% per occorrenza di riferimento nel primo stadio di conferma, evidenziando come le metriche di aggregazione possano oscurare il contributo marginale dei coautori a specifiche citazioni.

• Applicazione AI (Test delle Ipotesi):

  • Scoperta: Ha suggerito un'associazione positiva tra l'uso di AI e la quota non coperta.
  • Prima Conferma: Ha fallito il test primario di variazione netta della copertura ($A$).
  • Seconda Conferma: L'endpoint primario è stato spostato su $E_{pre}$ (quota non coperta pre-progetto) basandosi sui risultati precedenti. Il coefficiente dell'uso di AI era vicino allo zero (+0,455 punti, 95% CI: −6,831 a 7,742) sotto l'aggiustamento del campo genitore e (+0,517 punti, 95% CI: −7,395 a 8,428) sotto l'aggiustamento del dettaglio del campo.
  • Conclusione sull'AI: Lo studio non conferma che i progetti con uso di AI abbiano una quota di base non coperta più elevata. Sebbene gli articoli con AI citino più letteratura sull'AI, questa letteratura è spesso già rappresentata nei record precedenti degli autori.

Significatività e Rivendicazioni
Il documento sostiene di offrire un conto riproducibile dell'enfasi della citazione rispetto alle storie di pubblicazione documentate. Il suo contributo principale è metodologico: stabilisce un framework per quantificare quanto dei campi citati di un articolo siano "coperti" dal lavoro passato del team rispetto a quelli "non coperti".

L'autore è modesto nelle sue rivendicazioni, sottolineando che:

1. Copertura $\neq$ Familiarità: Un riferimento non coperto indica una mancanza di storia indicizzata, non necessariamente una mancanza di competenza o apprendimento.
2. Nessun Meccanismo Causale: Lo studio descrive associazioni e contrasti strutturali ma non stabilisce meccanismi causali per cui i team citano campi non coperti o come avviene l'acquisizione della conoscenza.
3. Dipendenza dal Contesto: I risultati sono specifici per la popolazione osservata e conservativamente collegata dei sovvenzi coreani e non si generalizzano necessariamente a tutti i contesti di ricerca senza ulteriore validazione.
4. Limiti di Interpretazione: Il framework identifica la relazione tra l'enfasi della citazione e i record, ma non stabilisce l'imfamiliarità. Il fallimento della conferma dell'associazione con l'AI suggerisce che la ricerca sull'AI in questo campione non si affida necessariamente a campi al di fuori dei record precedenti degli autori.

In definitiva, il documento sostiene che misurare la copertura fornisca uno strato di granularità necessario all'analisi bibliometrica, distinguendo tra la diversità dei riferimenti di un articolo e l'allineamento di tali riferimenti con l'esperienza documentata dell'autore.