Semantic Alignment, Chronological Distance, and Citation-Network Prominence in Citation Formation: Evidence from Ten Citation Corpora

Technische Samenvatting: Semantische Uitlijning, Chronologische Afstand en de Prominentie van het Citatie-netwerk in Citatievorming

Probleemstelling
Voorspelling van citatielinks is een centraal probleem binnen de informetrie en netwerkwetenschap, maar de methodologische validiteit ervan wordt frequent gecompromitteerd door temporele lekkage (temporal leakage). Veel bestaande studies construeren kenmerken op basis van volledig geaggregeerde, statische citatiegrafen, waardoor onbedoeld informatie uit de toekomst (bijv. het uiteindelijke aantal citaties van een paper of de definitieve topologie van het netwerk) de voorspellingen over het verleden beïnvloedt. Deze "toekomstige topologische lekkage" en gerelateerde vormen van lekkage blazen de voorspellende prestaties kunstmatig op en maskeren de historisch beschikbare informatie die de citatiegedragingen daadwerkelijk stuurde. Hoewel temporele lekkage een bekend probleem is in toegepaste machine learning, blijft citatievoorspelling uniek kwetsbaar vanwege de frequente verwaarlozing van chronologische afstandstructuren bij de constructie van benchmarks.

Methodologie
De studie introduceert een methodologisch kader met sterke mitigatie van lekkage, ontworpen om citatievorming te evalueren onder methodologisch rigoureuze condities. De kern van deze aanpak is de temporeel begrensde graaf ($G_{t_A-1}$), waarbij alle netwerk-afgeleide grootheden uitsluitend worden berekend op basis van informatie die beschikbaar was vóór het publicatiejaar ($t_A$) van de citerende paper.

1. Lekkage-taxonomie: De auteurs formaliseren vier verschillende vormen van temporele lekkage:
   • Toekomstige Citatie-lekkage: De doel-link (target link) bestaat in de graaf die voor de berekening van de kenmerken wordt gebruikt.
   • Toekomstige Topologische Lekkage: Centraliteits- of overlapmaten maken gebruik van knopen/randen die pas op of na $t_A$ in het netwerk verschijnen.
   • Metadata-lekkage: Gebruik van retrospectief bijgewerkte metadata (bijv. toekomstige Impact Factors).
   • Semantische Lekkage: Tekst-embeddings van pre-trained modellen die impliciet contextuele informatie uit de toekomst kunnen coderen.
2. Data-infrastructuur: Het kader wordt toegepast op tien grootschalige bibliografische corpora afkomstig van Dimensions.ai, verspreid over vijf domeinen: Wetenschap (Eiwitvouwing, CRISPR), Engineering (Additieve Productie, Corrosiebescherming), BioMed (Neuroblastoom, Osteosarcoom), Sociale Wetenschappen (Inkomensongelijkheid, Organisatiedynamiek) en Geesteswetenschappen (Filmanalyse, Geheugenstudies). Alle corpora bestrijken de periode 1975–2024.
3. Kandidatenruimte & Negatieven: Om triviale negatieven te vermijden, maakt de studie gebruik van temporeel en topisch beperkte negatieven. Voor een citerende paper $A$ en een werkelijk geciteerde paper $B$, worden negatieve kandidaten gesampled uit papers die binnen $\pm3$ jaar van $B$ zijn gepubliceerd en tot hetzelfde topische corpus behoren, wat garandeert dat het model onderscheid leert maken tussen gelijktijdige, topisch relevante papers.
4. Kenmerktechniek & Decompositie: Kenmerken worden gegroepeerd in drie verklarende blokken voor een S-T-N$_{prom}$ decompositie:
   • S (Semantisch): Directionele semantische uitlijning met behulp van SBERT-embeddings van titels en abstracts.
   • T (Temporeel): De citatie-tijdkloof ($t_A - t_B$).
   • N$_{prom}$ (Netwerkprominentie): Chronologische afstand in-degree en jaar-begrensde PageRank.
5. Modellering & Evaluatie: Gradient Boosting wordt gebruikt als de primaire classifier. De evaluatie omvat 5-voudige kruisvalidatie, strikte chronologische hold-out tests (training $\le$ 2015, testen 2016–2020), en top-k ranking experimenten (MRR, NDCG@k) om de brug te slaan tussen paarwijze discriminatie en realistische retrieval.

Belangrijkste Resultaten

• Voorspellende Prestaties: Onder strikte, lekkage-gemitigeerde condities behaalt Gradient Boosting ROC-AUC scores variërend van 0,530 (Corrosiebescherming) tot 0,734 (CRISPR). Deze scores weerspiegelen de intrinsieke moeilijkheid van de taak in plaats van modelfalen, aangezien de prestaties bij de chronologische hold-out consistent blijven met de kruisvalidatie.
• Dominantie van Chronologische Afstand (T): De decompositie laat zien dat chronologische recentheid (T) de dominante verklarende component is in bijna alle corpora.
  • $AUC(T)$ alleen varieert van 0,577 tot 0,824.
  • De marginale bijdrage van T bovenop S ($\Delta T$) is positief in alle tien de corpora.
• Redundantie van Semantische Uitlijning (S): Het toevoegen van directionele semantische uitlijning aan een model dat al chronologische afstand bevat, vermindert de voorspellende kracht ($\Delta S < 0$) in alle tien de corpora. In vier van de tien corpora vertoonden geciteerde papers een marginaal lagere directionele semantische uitlijning dan de niet-geciteerde kandidaten.
• Verwaarloosbare Bijdrage van Prominentie (N$_{prom}$): Zodra T bekend is, voegt de prominentie van het citatie-netwerk een verwaarloosbaar voorspellend signaal toe ($\Delta N|_{ST} \approx 0$ of negatief in 8/10 corpora). Dit komt niet door multicollineariteit, aangezien T en N$_{prom}$ in de meeste datasets grotendeels onafhankelijk zijn.
• Semantisch Verrassende Citaties: Wanneer citaties plaatsvinden ondanks een zwakke semantische uitlijning, zijn deze vaak temporeel nabij. Er is geen consistent prominentiepatroon zichtbaar voor deze gevallen, behalve in specifieke corpora zoals Inkomensongelijkheid, waar prominentie als de primaire separator fungeert.

Betekenis en Claims
Het artikel positioneert zijn primaire bijdrage als methodologisch, waarbij een rigoureus evaluatiekader wordt geboden dat prioriteit geeft aan historische validiteit boven het maximaliseren van nauwkeurigheid. De studie stelt dat:

1. Chronologische afstand de primaire drijfveer is bij de vorming van citaties binnen nauw gedefinieerde, op trefwoorden gebaseerde wetenschappelijke gemeenschappen, waarbij deze belangrijker is dan semantische uitlijning en netwerkprominentie onder lekkage-gecontroleerde condities.
2. Semantische uitlijning grotendeels redundant is met chronologische recentheid in deze gecontroleerde settings, en weinig discriminatief vermogen biedt buiten de ouderdom van de geciteerde paper.
3. Citatievoorspelling fundamenteel een retrieval-probleem is dat evaluatie vereist die verder gaat dan paarwijde discriminatie; de studie toont aan dat de prestaties afnemen naarmate de complexiteit van de kandidaatengroep toeneemt, wat de grenzen van huidige kenmerken (features) in bredere retrieval-scenario's benadrukt.
4. Domeinspecifieke heterogeniteit bestaat: Hoewel de dominantie van T een consistent patroon is, bestaan er uitzonderingen (bijv. Inkomensongelijkheid waar prominentie domineert, en Geheugenstudies waar semantische uitlijning meer bijdraagt), wat suggereert dat citatiedynamiek corpus-specifiek is in plaats van gestuurd door een universele wet.

De auteurs beperken hun reikwijdte expliciet en erkennen dat de bevindingen specifief zijn voor de op trefwoorden gebaseerde corpora en de geconstrueerde kandidaatengroepen. Zij beweren niet dat deze resultaten generaliseerbaar zijn naar volledige corpus-retrieval of dat semantische inhoud irrelevant is voor citatievorming in bredere contexten, maar wel dat binnen de specifieke beperkingen van hun lekka-gemitigeerde kader, tijd de meest krachtige voorspeller is.