Born Flawed? Publication-Time Citation Topology Improves Retraction Early-Warning

Sintesi Tecnica: Nato Difettoso? La Topologia delle Citazioni al Momento della Pubblicazione Migliora l'Allerta Precoce per i Ritiro

Problematica
Gli articoli scientifici ritirati continuano ad accumulare citazioni per anni dopo il loro ritiro, spesso senza che gli autori che li citano ne riconoscano il ritiro. Queste citazioni "zombie" propagano risultati errati in revisioni, meta-analisi e studi successivi, compromettendo l'affidabilità del record scientifico. Mentre il conteggio annuale dei ritiri è aumentato drasticamente, gran parte del lavoro difettoso non viene mai formalmente ritirato. Gli attuali sistemi di rilevamento si basano su metadati e analisi del testo completo, che spesso diventano informativi solo dopo che un articolo è stato circolato e citato. Esiste una necessità critica di segnali di allerta precoce che possano identificare il lavoro ad alto rischio al momento o poco dopo la pubblicazione, idealmente utilizzando informazioni disponibili al momento della sottomissione, prima che si accumulino le prove post-pubblicazione.

Metodologia
Lo studio affronta se le caratteristiche strutturali del vicinato di citazione di un articolo, misurabili al momento della pubblicazione, possano migliorare la previsione del ritiro oltre i metadati standard.

• Fonti dei Dati: L'analisi utilizza OpenAlex per le opere accademiche e le liste di riferimenti, e il database Retraction Watch per le etichette di ritiro.
• Costruzione del Campione: È stato estratto un campione caso-controllo con appaiamento per anno, composto da 219 articoli ritirati e 184 articoli di controllo non ritirati. I controlli sono stati accoppiati per frequenza ai lavori ritirati in base all'anno di pubblicazione per tenere conto dei drift temporali nei processi di etichettatura dei ritiri e nelle convenzioni dei riferimenti. Il campione è limitato alle opere in cui OpenAlex espone l'elenco completo dei riferimenti.
• Ingegneria delle Caratteristiche (Feature Engineering):
  • Baseline: Un insieme di caratteristiche dei metadati a basso costo (anno di pubblicazione, numero di riferimenti, conteggio autori/istituzioni/paesi, lunghezza del titolo, lingua).
  • Caratteristiche Topologiche Protette da Leakage (Leakage-Safe): Tre caratteristiche strutturali calcolate esclusivamente dalla lista di riferimenti del paper focale, disponibili al momento della sottomissione:
    1. Tasso di autocitazione: La frazione di riferimenti che condividono almeno un autore con il paper focale.
    2. Dispersione dell'anno dei riferimenti: La deviazione standard degli anni di pubblicazione dei riferimenti.
    3. Gap di recenza dei riferimenti: La differenza tra l'anno di pubblicazione del paper focale e l'anno medio di pubblicazione dei suoi riferimenti.
  • Controllo del Leakage: Una caratteristica di "prossimità al ritiro" (frazione di riferimenti che sono essi stessi ritirati) è stata calcolata ma esclusa dai risultati principali. Questa caratteristica è stata considerata "leaky" (con perdita di informazioni dal futuro) perché OpenAlex registra lo stato di ritiro attuale, il che significa che potrebbe codificare ritiri avvenuti dopo la pubblicazione del paper focale, rendendola inutilizzabile per un vero allerta precoce.
• Modellazione e Valutazione: Alberi decisionali potenziati dal gradiente (Gradient-boosted decision trees) sono stati addestrati per confrontare la baseline dei metadati rispetto ai metadati più le tre caratteristiche topologiche protette da leakage. La valutazione ha utilizzato due protocolli:
  1. Validazione Incrociata a 5 pieghe (5-fold Cross-Validation): Per misurare la separabilità sotto partizioni casuali.
  2. Split Out-of-Time: Addestramento sugli anni di pubblicazione precedenti e test su anni successivi per simulare l'implementazione nel mondo reale.
  • L'incertezza è stata quantificata utilizzando un bootstrap dei percentili accoppiato con 2.000 campionamenti per garantire che il guadagno tra i modelli fosse statisticamente significativo.

Risultati Chiave
L'aggiunta delle caratteristiche topologiche al momento della pubblicazione ha prodotto un miglioramento statisticamente significativo nelle prestazioni della previsione del ritiro:

• Prestazioni Out-of-Time: L'Area Sotto la Curva (AUC) è aumentata da 0,485 (solo metadati) a 0,661 (metadati + topologia), un guadagno di +0,176 (95% CI [0,099, 0,252]). Notevolmente, il modello basato solo sui metadati ha performato vicino ai livelli del caso nello split out-of-time, mentre le caratteristiche topologiche hanno mantenuto la capacità di discriminazione attraverso lo split temporale.
• Prestazioni in Cross-Validation: L'AUC è aumentata da 0,552 a 0,673, un guadagno di +0,121 (95% CI [0,073, 0,168]).
• Analisi Bootstrap: Attraverso 2.000 campionamenti bootstrap, il guadagno di prestazione non è mai sceso a zero, confermando la robustezza del segnale.
• Contrasto con il Leakage: Quando è stata inclusa la caratteristica "leaky" di prossimità al ritiro, il guadagno out-of-time è salito a +0,308. Gli autori riportano questo dato solo per delimitare il potenziale di modelli non vincolati, sottolineando che il +0,176 rappresenta il miglioramento ottenibile utilizzando solo dati ammissibili pre-pubblicazione.

Contributi Chiave

1. Definizione di Caratteristiche Protette da Leakage: Il paper definisce un piccolo set di caratteristiche strutturali lato riferimenti (tasso di autocitazione, dispersione dell'anno dei riferimenti e gap di recenza) che possono essere calcolate al momento della sottomissione senza dipendere da dati post-pubblicazione.
2. Validazione Empirica dei Segnali Strutturali: Lo studio dimostra che i paper inclini al ritiro occupano vicinati di riferimento misurabilmente diversi al momento della stesura. Queste firme strutturali esistono prima che qualsiasi prova post-pubblicazione (come il conteggio delle citazioni o la ricezione del testo completo) si accumuli.
3. Rigoroso Controllo del Leakage: Il lavoro isola e mette in quarantena esplicitamente le caratteristiche che codificano informazioni future (come lo stato di ritiro dei riferimenti), fornendo una chiara distinzione tra segnali di allerta precoce utilizzabili e artefatti predittivi non implementabili.

Significato e Rivendicazioni
Il paper rivendica un contributo direzionale modesto ma chiaro: il rischio di ritiro lascia una firma strutturale nella lista dei riferimenti di un paper che è rilevabile al momento della pubblicazione. Questa scoperta fornisce un segnale di screening applicabile al momento della sottomissione, completando gli esistenti rilevatori basati sul testo che mirano a diverse modalità di fallimento (ad esempio, il testo fabbricato).

Gli autori inquadrano l'utilità di questo segnale come triage piuttosto che come giudizio. Dato che la persistenza delle citazioni "zombie" è un problema, anche un segnale precoce modesto che aiuti editori e team di integrità a restringere il campo su dove indirizzare le limitate risorse di screening ha un valore pratico. Gli autori riconoscono i limiti, tra cui la dimensione ridotta del campione, la restrizione ai lavori con liste di riferimenti visibili e il fatto che il ritiro formale sia un proxy rumoroso per il lavoro inaffidabile (rendendo i risultati un limite inferiore del segnale reale). Il contributo è presentato come una direzione riproducibile per il lavoro futuro, con l'analisi rilasciata per consentire l'estensione su campioni più ampi e stratificati per campo.