Measuring coverage of cited fields by author publication histories

Technisches Resümee: Messung der Abdeckung zitierter Felder durch die Publikationshistorien von Autoren

Problemstellung
Bibliometrische Studien nutzen häufig Referenzlisten, um disziplinäre Diversität, Wissenskombinationen und das Alter der Literatur zu charakterisieren. Es bleibt jedoch eine entscheidende Unterscheidung ungeklärt: die Beziehung zwischen der zitierten Literatur und den spezifischen Publikationshistorien der Autoren, die das Werk produzieren. Eine diverse Referenzliste kann in den bisherigen Aufzeichnungen eines Forschungsteams gut repräsentiert sein, während sie in der eines anderen Teams weitgehend fehlt. Bestehende Maße für die Diversität der Expertise konzentrieren sich oft auf die Distanzen zwischen Autorenprofilen oder die Zusammensetzung des zitierten Portfolios isoliert betrachtet, ohne die Schnittmenge zwischen beiden zu quantifizieren. Die Arbeit postuliert, dass das Verständnis von Teamforschung eine spezifische Messung erfordert, wie viel der zitierten Referenzverteilung eines Papers in den individuellen Autorenhistorien im Vergleich zur kombinierten Teamhistorie repräsentiert ist und wie viel ungedeckt bleibt.

Methodik
Die Studie führt ein gewichtetes Dekompositionsmodell für Referenzen ein, um die zitierten Felder eines Fokus-Papers in drei Komponenten zu unterteilen:

1. Maximale individuelle Abdeckung ($M$): Der Anteil der zitierten Kategorien, der durch den einzelnen Autor mit der umfangreichsten relevanten Historie abgedeckt wird.
2. Zusätzliche Coautoren-Abdeckung ($D$): Der inkrementelle Anteil der zitierten Kategorien, der durch die Kombination der Historien aller Coautoren über das hinausgeht, was $M$ abdeckt.
3. Ungedeckter Rest ($E$): Der Anteil der zitierten Kategorien, die in der beobachteten Publikationshistorie keines der Autoren vorhanden ist.

Das Framework unterscheidet zwischen zwei Beobachtungsfenstern: einem Preproject-Fenster (fünf Jahre vor Projektbeginn) und einem Prepublication-Fenster (fünf Jahre vor dem Fokus-Paper). Dies ermöglicht die Berechnung der Netto-Änderung der Abdeckung ($A = E_{pre} - E_{pub}$), wodurch die Basis-Ungedecktheit von nachfolgenden Gewinnen oder Verlusten getrennt werden kann.

Daten und Inferenzsequenz
Die Studie nutzt einen verknüpften Datensatz, der Grant-Datensätze des Korean National Science and Technology Information Service (NTIS), NRF-Anerkennungen (National Research Foundation) und OpenAlex-Publikationen kombiniert. Die Analyse folgt einer dreistufigen Inferenzsequenz:

• Discovery-Phase: 115 Grant-verknüpfte Paper.
• Erste Bestätigungsphase: 240 Paper (gepooltes $N=355$ für explorative Diagnostik).
• Zweite Bestätigungsphase: Ein prospektiv festgelegtes Protokoll zur Analyse von 194 Grants (112 KI-Nutzung, 82 Nicht-KI), ausgewählt aus einem größeren Pool von 832.

Die primäre Anwendung untersucht, ob Projekte, die als KI-nutzend klassifiziert wurden, eine höhere Basis-Ungedecktheit ($E_{pre}$) aufweisen als Nicht-KI-Projekte, um Hypothesen über die Rolle der KI bei der Einführung unvertrauter Kenntnisse zu testen.

Wesentliche Beiträge und Metriken

• Dekomposition der Abdeckung: Die Arbeit bietet eine reproduzierbare Methode, um die zitierten Felder zu trennen und auf einen gemeinsamen Nenner zu bringen, gewichtet nach der Zitationshäufigkeit.
• Analyse der Zitationsbetonung (Citation Emphasis): Durch Experimente zur internen Reallokation innerhalb der Paper hält die Studie Autorenhistorien, Diversität und Feld-Gesamtzahlen konstant, während sie die Zitationszahlen permutiert. Dies isoliert den Effekt dessen, wo Zitationen platziert werden (gedeckte vs. ungedeckte Felder), unabhängig von der Zusammensetzung des Portfolios.
• Abgrenzung zur Vertrautheit: Der Autor stellt explizit klar, dass $E$ das Fehlen von indiziertem Beleg misst, nicht das Fehlen tatsächlicher Expertise oder Lernprozesse. Es handelt sich um eine deskriptive Buchführung der Schnittmenge zwischen Zitaten und Aufzeichnungen, nicht um einen Proxy für kognitive Vertrautheit.

Ergebnisse

• Explorative Diagnostik:

  • Die Referenzdiversität (Shannon-Entropie) bleibt auch nach Bereinigung um Autorenanzahl, Referenzanzahl und Historienvolumen positiv mit dem ungedeckten Anteil ($E_{pre}$) assoziiert. In der Discovery-Phase erhöhte die Hinzunahme von Diversität zur Modellierung das $R^2$ von 0,328 auf 0,502.
  • Zitationsbetonung: Tatsächliche Portfolios legen signifikant weniger Gewicht auf ungedeckte Teilbereiche als strukturelle Benchmarks. In der Discovery-Phase lag der beobachtete ungedeckte Anteil um 8,66 Prozentpunkte niedriger als der feldkonditionierte Reallokations-Benchmark (95 % KI: 6,22–11,36). Dieser Kontrast blieb auch bestehen, nachdem Referenzen im primären Teilbereich des Papers ausgeschlossen wurden.
  • Aggregations-Effekte: In KI-Nutzungs-Papern beträgt die „zusätzliche Coautoren-Abdeckung“ ($D$) im Durchschnitt 10,89 % pro Paper, aber nur 3,45 % pro Zitationsvorkommen in der ersten Bestätigungsphase, was verdeutlicht, wie Aggregationsmetriken den marginalen Beitrag von Coautoren zu spezifischen Zitaten verschleiern können.

• KI-Anwendung (Hypothesentests):

  • Discovery: Deutete auf eine positive Assoziation zwischen KI-Nutzung und ungedecktem Anteil hin.
  • Erste Bestätigungsphase: Scheiterte am Primärtest der positiven Netto-Abdeckungsänderung ($A$).
  • Zweite Bestätigungsphase: Der primäre Endpunkt wurde basierend auf früheren Ergebnissen auf $E_{pre}$ (Preproject-Ungedecktheit) verschoben. Der KI-Nutzungs-Koeffizient lag unter Anpassung an das Parent-Field bei +0,455 Punkten (95 % KI: −6,831 bis 7,742) und unter detaillierter Feldanpassung bei +0,517 Punkten (95 % KI: −7,395 bis 8,428).
  • Fazit zur KI: Die Studie bestätigt nicht, dass KI-Nutzungsprojekte eine höhere Basis-Ungedecktheit ($E_{pre}$) aufweisen. Während KI-Projekte mehr KI-Literatur zitieren, ist diese Literatur oft bereits in den Aufzeichnungen der Autoren repräsentiert.

Bedeutung und Ansprüche
Die Arbeit beansprucht, eine reproduzierbare Darstellung der Zitationsbetonung im Verhältnis zu dokumentierten Publikationshistorien zu liefern. Ihr primärer Beitrag ist methodischer Natur: Sie etabliert ein Framework, um zu quantifizieren, wie viel der zitierten Felder eines Papers durch die Vergangenheit des Teams „gedeckt“ oder „ungedeckt“ ist.

Der Autor formuliert seine Ansprüche bescheiden und betont:

1. Abdeckung $\neq$ Vertrautheit: Eine ungedeckte Referenz deutet auf das Fehlen einer indizierten Historie hin, nicht notwendigerweise auf ein Fehlen von Expertise oder Lernfähigkeit.
2. Kein kausaler Mechanismus: Die Studie beschreibt Assoziationen und strukturelle Kontraste, stellt aber keine kausalen Mechanismen dafür auf, warum Teams ungedeckte Felder zitieren oder wie Wissen erworpert wird.
3. Kontextabhängigkeit: Die Ergebnisse sind spezifisch für die konservativ verknüpfte Population koreanischer Grants und lassen sich ohne weitere Validierung nicht zwangsläufig auf alle Forschungsbereiche übertragen.
4. Interpretationsgrenzen: Das Framework identifiziert die Beziehung zwischen Zitationsbetonung und Aufzeichnungen, stellt aber keine Unvertrautheit fest. Das Scheitern der Bestätigung der KI-Assoziation legt nahe, dass die KI-Forschung in dieser Stichprobe nicht notwendigerweise auf Felder außerhalb der bisherigen Aufzeichnungen der Autoren angewiesen ist.

Letztlich argumentiert die Arbeit, dass die Messung der Abdeckung eine notwendige Ebene der Granularität in der Bibliometrie bietet, indem sie zwischen der Diversität der Referenzen eines Papers und der Übereinstimmung dieser Referenzen mit der dokumentierten Expertise der Autoren unterscheidet.