CRISP: Characterizing Relative Impact of Scholarly Publications

Das Paper CRISP stellt eine Methode vor, die mithilfe von Large Language Models und einer Mehrheitsabstimmung zur Vermeidung von Positionsverzerrungen alle in einer wissenschaftlichen Arbeit zitierten Referenzen gemeinsam bewertet, um deren relative Bedeutung präziser zu bestimmen als bisherige Ansätze.

Das Wesentliche

Stell dir vor, du bist ein Forscher und hast einen neuen Artikel geschrieben. In diesem Artikel zitierst du (also erwähnst du) viele andere Wissenschaftler, die vor dir gearbeitet haben. Vielleicht sind es 20, 30 oder sogar 50 andere Arbeiten.

Bisher haben Computer versucht zu verstehen, wie wichtig diese anderen Arbeiten für deinen Artikel waren, indem sie jeden einzelnen Verweis isoliert betrachtet haben. Das ist so, als würdest du einen Kellner fragen: „Warum hast du diesen einen Gast bedient?" und dann den nächsten Gast einzeln fragen: „Und warum diesen?" Du bekommst zwar eine Antwort für jeden Gast, aber du verpasst das große Bild: Welcher Gast war der wichtigste? Wer war nur kurz zum Kaffee da, und wer hat das ganze Restaurant finanziert?

Das neue Papier namens CRISP (was für eine clevere Methode steht, die relative Bedeutung von wissenschaftlichen Zitaten zu messen) ändert diesen Ansatz komplett. Hier ist die Erklärung in einfachen Worten:

1. Das Problem: Der „Einzel-Check" ist blind

Frühere Methoden haben sich nur auf den Satz konzentriert, in dem ein Zitat vorkommt.

• Die Analogie: Stell dir vor, du hast eine Liste mit 10 Leuten, die dir geholfen haben. Die alte Methode schaut sich jeden einzelnen an und sagt: „Aha, Person A hat dir geholfen. Person B hat dir auch geholfen."
• Das Problem: Sie vergleicht sie nicht miteinander. Vielleicht hat Person A dir das ganze Leben gerettet, während Person B dir nur ein Glas Wasser gebracht hat. Aber die alte Methode sieht beide als „Helfer" und kann den Unterschied nicht richtig gewichten.

2. Die Lösung: CRISP – Der große Vergleich

CRISP schaut sich alle Zitate in einem Artikel gleichzeitig an. Es zwingt die Künstliche Intelligenz (KI), eine Rangliste zu erstellen.

• Die Analogie: CRISP sagt zur KI: „Hier sind alle 50 Leute, die in diesem Artikel erwähnt werden. Ordne sie jetzt nach Wichtigkeit! Wer war der Held, wer war der Sidekick und wer war nur im Hintergrund?"
• Der Vorteil: Durch den direkten Vergleich erkennt die KI viel besser, welche Zitate wirklich das Fundament des neuen Artikels bilden und welche nur zur Höflichkeit da sind.

3. Das Trickrezept: Der „Verwirrungs-Test"

Künstliche Intelligenzen haben einen kleinen Schwachpunkt: Sie mögen oft Dinge, die am Anfang einer Liste stehen, einfach nur, weil sie dort stehen (ein sogenannter „Positions-Bias").

• Die Analogie: Stell dir vor, du fragst einen Richter, wer der beste Spieler ist. Wenn du die Spieler immer in der gleichen Reihenfolge nennst, könnte der Richter den Ersten bevorzugen, nur weil er zuerst dran war.
• Die Lösung von CRISP: Sie spielen ein Spiel mit der KI. Sie lassen die KI die Liste der Zitate dreimal durchgehen, aber jedes Mal in einer zufälligen Reihenfolge.
  • Runde 1: Die KI sortiert die Liste.
  • Runde 2: Die Liste wird durcheinandergeworfen, die KI sortiert neu.
  • Runde 3: Nochmal neu gemischt.
  • Der Sieg: Am Ende zählt die KI nur die Stimmen, die am häufigsten vorkommen (Mehrheitsentscheid). Wenn die KI dreimal sagt: „Paper X ist der Wichtigste", dann ist es das wirklich – egal wo es in der Liste stand.

4. Warum ist das besser und günstiger?

• Schneller: Früher musste die KI für jedes einzelne Zitat einen eigenen „Gedankenprozess" starten. Das ist wie 100 einzelne Briefe schreiben. CRISP schreibt nur einen langen Brief, in dem alle verglichen werden. Das ist viel effizienter und kostet weniger Rechenleistung (und weniger Geld).
• Genauer: Da die KI den Kontext des ganzen Artikels sieht, macht sie weniger Fehler. Sie erkennt besser, ob ein Zitat nur „Hintergrundrauschen" ist oder ob es die eigentliche Idee des neuen Artikels trägt.

Zusammenfassung

CRISP ist wie ein kluger Redakteur, der nicht nur jeden einzelnen Satz in einem Artikel liest, sondern den ganzen Artikel auf den Tisch legt, alle Autoren vergleicht und sagt: „Okay, dieser eine hier hat die größte Idee geliefert, dieser hier hat nur ein Beispiel gegeben, und dieser hier war nur eine nette Geste."

Durch dieses „Vergleichen im Ganzen" statt „Betrachten im Einzelnen" wird die Bewertung von wissenschaftlichen Arbeiten fairer, genauer und günstiger. Die Forscher haben ihre Methode und die Daten sogar kostenlos für alle anderen zugänglich gemacht, damit die Wissenschaft noch besser werden kann.

Technische Zusammenfassung

1. Problemstellung

Die Bewertung des wissenschaftlichen Impacts einer zitierten Arbeit erfolgt derzeit meist isoliert: Der Kontext einer einzelnen Zitation innerhalb eines zitierenden Papers wird analysiert, um zu bestimmen, ob sie „bedeutend" (impact-revealing) oder „nebensächlich" (incidental) ist.

• Herausforderung: Dieser isolierte Ansatz ignoriert das relative Gewicht einer Zitation im Vergleich zu anderen Referenzen desselben Papers. Nicht alle Zitationen sind gleich wichtig (z. B. liefert eine Hintergrundinformation weniger Impact als die Übernahme einer Methodik).
• Limitierung bestehender Methoden: State-of-the-Art-Methoden (wie UKP von Arnaout et al., 2025) bewerten jede Zitation unabhängig voneinander basierend auf dem umgebenden Text. Dies verpasst die Möglichkeit, relative Vergleiche innerhalb des gesamten Referenzrahmens eines Papers anzustellen. Zudem neigen Large Language Models (LLMs) zu Positionierungs-Bias (Position Bias), wenn sie Listen bewerten.

2. Methodik: CRISP

CRISP (Characterizing Relative Impact of Scholarly Publications) ist ein Ansatz, der alle zitierten Arbeiten innerhalb eines zitierenden Papers gemeinsam (jointly) bewertet, um ihren relativen Impact zu bestimmen.

Der Workflow umfasst folgende Schritte:

1. Korpus-Retrieval: Für ein Ziel-Paper $p^*$ werden alle zitierenden Papers ($N_{in}(p^*)$) über die Semantic Scholar API identifiziert.
2. Extraktion des Kontexts: Für jedes zitierende Paper $q$ werden die vollständige Referenzliste ($N_{out}(q)$) und alle zugehörigen Zitationskontexte ($Ctx_{all}(q)$) extrahiert.
3. Gemeinsames Ranking (Joint Ranking): Anstatt jede Zitation einzeln zu klassifizieren, fordert CRISP ein LLM auf, die gesamte Liste der Referenzen des Papers $q$ basierend auf ihrem Impact auf $q$ zu ranken.
   • Label-Schema: Die Impact-Kategorien sind Low, Medium und High.
   • Kontext: Das LLM nutzt den gesamten Kontext des Papers ($Ctx_{all}$), um kalibrierte Urteile zu fällen (z. B. ob das Paper $q$ generell oberflächlich zitiert oder sich stark auf wenige Kernreferenzen stützt).
4. Bekämpfung von Position Bias (Permutation Self-Consistency): Um das bekannte Problem zu lösen, dass LLMs Positionen in einer Liste bevorzugen (z. B. die ersten oder letzten Einträge), wird die Referenzliste dreimal in zufälliger Reihenfolge durch das LLM gerankt.
5. Aggregation:
   • Hauptansatz (Majority Voting): Die Impact-Labels der drei Läufe werden durch Mehrheitsentscheid aggregiert.
   • Alternativer Ansatz (Ordinal Regression): Die drei Rankings werden mittels Reciprocal Rank Fusion (RRF) aggregiert. Anschließend wird ein Ordinal-Regressions-Modell trainiert, um die Impact-Labels basierend auf den Rängen und deren Konsistenz vorherzusagen. Dies stellt sicher, dass die Labels monoton mit dem Rang abnehmen (High > Medium > Low).

3. Schlüsselbeiträge

• Neuer Ansatz: CRISP ist die erste Methode, die den gesamten Zitationskontext eines Papers nutzt, um relative Impact-Rankings zu erstellen, anstatt Zitationen isoliert zu betrachten.
• Effizienzsteigerung: Obwohl der Kontext länger ist, ist CRISP effizienter in Bezug auf die Anzahl der LLM-Aufrufe.
  • UKP (Isoliert): Benötigt $O(m)$ Aufrufe (wobei $m$ die Anzahl der Zitationskanten ist).
  • CRISP (Gemeinsam): Benötigt nur $O(n)$ Aufrufe (wobei $n$ die Anzahl der zitierenden Papers ist), da pro zitierendem Paper nur ein (bzw. drei für die Permutation) Aufruf nötig ist, um alle Referenzen zu bewerten. Da $m \gg n$, ist CRISP skalierbarer.
• Open-Source-Kompatibilität: Die Methode funktioniert auch mit Open-Source-Modellen (Qwen3-30B) konkurrenzfähig zu teuren geschlossenen Modellen (GPT-5.1).
• Ressourcen: Die Autoren veröffentlichen Rankings für 1.338 zitierte Papers (aus 442 zitierenden Papers), Impact-Labels und den gesamten Code.

4. Ergebnisse

Die Evaluation erfolgte auf einem menschlich annotierten Datensatz (Arnaout et al., 2025) mit 442 zitierenden Papers.

• Performance: CRISP übertrifft den vorherigen State-of-the-Art (UKP) signifikant:
  • +9,5 % Genauigkeit (Accuracy) im Durchschnitt über verschiedene Modelle.
  • +8,3 % F1-Score im Durchschnitt.
  • Besonders stark war der Gewinn bei GPT-5.1 (+11,9 % Accuracy, +12,0 % F1).
• Modellvergleich: Das Open-Source-Modell Qwen3-30B erreichte mit CRISP Ergebnisse, die mit GPT-5.1 vergleichbar waren, bei deutlich geringeren Kosten.
• Qualitative Analyse: CRISP reduziert falsch-positive Vorhersagen (False Positives) erheblich, indem es die Diskriminierungsgrenzen schärft. Es vermeidet die Tendenz einiger Modelle, einfach die Klasse „Impact" zu bevorzugen.
• Limitationen: Bei sehr langen Referenzlisten (über 40 Einträge) nehmen die Modelle Schwierigkeiten zu, alle Einträge korrekt zu ranken (Missing References), wobei GPT-5.1 hier am robustesten ist.

5. Bedeutung und Ausblick

CRISP demonstriert, dass die gemeinsame Analyse von Referenzen innerhalb eines Papers reichhaltigere Signale liefert als die isolierte Betrachtung. Dies ermöglicht:

• Skalierbare Impact-Analyse: Durch die Reduktion der LLM-Aufrufe wird eine kosteneffiziente Analyse großer wissenschaftlicher Korpora möglich.
• Präzisere Evaluierung: Die Unterscheidung zwischen substanziellem intellektuellem Einfluss und rein formellen Zitationen wird verbessert.
• Anwendungen: Die Methode kann für die Bewertung von Forschungsleistungen, die Identifizierung von Schlüsselbeiträgen in einem Feld oder für die Generierung von Impact-Berichten für Autoren genutzt werden.

Das Paper unterstreicht, dass der Kontext einer Zitation nicht nur durch den direkten Text, sondern maßgeblich durch ihre relative Position im Netzwerk der Referenzen eines Papers bestimmt wird.