💬 NLP

ScienceMeter: Tracking Scientific Knowledge Updates in Language Models

Dieses Paper stellt ScienceMeter vor, ein Framework zur Evaluierung wissenschaftlicher Wissensaktualisierungen in Large Language Models durch drei Metriken – Bewahrung, Akquisition und Projektion –, welches offenlegt, dass aktuelle Aktualisierungsmethoden Schwierigkeiten haben, bestehendes Wissen beizubehalten, während sie gleichzeitig neue Fakten effektiv erlernen und zukünftige wissenschaftliche Fortschritte antizipieren.

Ursprüngliche Autoren: Yike Wang, Shangbin Feng, Yulia Tsvetkov, Hannaneh Hajishirzi

Veröffentlicht 2026-07-22✓ Author reviewed ⓘ

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yike Wang, Shangbin Feng, Yulia Tsvetkov, Hannaneh Hajishirzi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Bibliothekar, der fast jedes Buch gelesen hat, das bis zu einem bestimmten Jahr jemals geschrieben wurde. Dieser Bibliothekar ist fantastisch darin, Fragen zur Geschichte, Wissenschaft und Popkultur aus dieser Ära zu beantworten. Aber der Haken an der Sache ist: Die Welt steht nicht still. Jeden Tag werden neue wissenschaftliche Arbeiten veröffentlicht, die frische Entdeckungen offenbaren, die der Bibliothekar noch nicht gesehen hat. Wenn Sie diesen Roboter nach einem Durchbruch fragen, der erst gestern stattgefunden hat, könnte er Ihnen voller Selbstvertrauen etwas Falsches erzählen, oder er sagt einfach: „Ich weiß es nicht“, weil sein Gehirn in der Vergangenheit eingefroren ist. Dies ist das Problem des „veralteten Wissens“ (stale knowledge) für Künstliche Intelligenz. Wissenschaftler versuchen herauszufinden, wie man diesen Robotern neue Informationen füttern kann, ohne dass sie vergessen, was sie bereits wussten, oder ohne dass sie dazu neigen, wilde, falsche Fakten zu halluzinieren. Es ist, als würde man versuchen, einem Schüler ein neues Kapitel in einem Lehrbuch beizubringen, ohne dass er die vorherigen Kapitel vergisst oder seine eigenen erfundenen Fakten nutzt, um die Lücken zu füllen.

Hier kommt ScienceMeter ins Spiel, ein neues Framework, das von Forschern der University of Washington entwickelt wurde, um genau zu testen, wie gut wir diese KI-Gehirne mit frischem wissenschaftlichem Wissen aktualisieren können. Betrachten Sie die Forscher als „Wissensmechaniker“, die versuchen, einen Hochleistungsmotor abzustimmen. Sie haben nicht nur gefragt: „Hat der Roboter das neue Zeug gelernt?“, sondern sie haben einen dreiteiligen Stresstest entwickelt, um zu sehen, ob der Roboter in der Lage ist:

Das alte Zeug zu behalten (Preservation/Bewahrung): Hat er die Grundlagen vergessen, die er vor Jahren gelernt hat?
Das neue Zeug zu lernen (Acquisition/Aneignung): Hat er die neuen Arbeiten, die ihm gerade gezeigt wurden, tatsächlich verstanden?
Das zukünftige Zeug zu erraten (Projection/Projektion): Konnte er das, was er gerade gelernt hat, nutzen, um eine kluge Vermutung über eine Entdeckung anzustellen, die noch nicht stattgefunden hat?

Um diesen Test durchzuführen, erstellten sie einen riesigen Datensatz, der zehn verschiedene wissenschaftliche Fachgebiete abdeckt, von der Informatik bis zur Medizin. Sie behandelten wissenschaftliches Wissen wie eine Zeitlinie: „Vergangene“ Arbeiten (was der Roboter bereits wusste), „Neue“ Arbeiten (die sie dem Roboter beizubringen versuchten) und „Zukünftige“ Arbeiten (die sie hofften, vorhersagen zu können). Dann versuchten sie fünf verschiedene Methoden, um das Gehirn des Roboters zu aktualisieren, die von einfachem Lesen der neuen Arbeiten während eines Chats (Inferenz) bis hin zum eigentlichen Nachtrainieren des Robotergehirns mit den neuen Daten (Training) reichten.

Die Ergebnisse waren ein wenig wie ein Realitätscheck. Selbst die besten Methoden hatten Schwierigkeiten, alle drei Dinge gleichzeitig zu bewältigen. Die am besten abschneidende Aktualisierungsmethode schaffte es, 85,9 % des alten Wissens sicher zu bewahren, lernte 71,7 % des neuen Wissens erfolgreich, konnte aber nur 37,7 % des zukünftigen Wissens projizieren. Mit anderen Worten: Der Roboter war ziemlich gut darin, die Vergangenheit zu erinnern, ganz ordentlich darin, die Gegenwart zu lernen, aber noch sehr unsicher bei der Vorhersage der Zukunft.

Die Studie fand auch heraus, dass die Größe des Roboters eine Rolle spielt. Größere, leistungsstärkere Modelle waren überraschend gut darin, neue Dinge allein durch das Lesen während eines Gesprächs zu lernen (Inferenz), fast wie ein genialer Schüler, der ein neues Fachgebiet lernen kann, indem er ein Lehrbuch nur einmal liest. Kleinere Modelle hingegen mussten von Grund auf neu trainiert werden („retrained“), um das Neue effektiv zu lernen; ihnen die neuen Informationen einfach nur zu zeigen, reichte nicht aus.

Vielleicht ist die interessanteste Erkenntnis, dass die Art der Wissenschaft entscheidend ist. In Bereichen, in denen sich das Wissen langsam ändert, wie der Politikwissenschaft, machten die Roboter einen guten Job bei der Erinnerung und Vorhersage. Aber in schnelllebigen Feldern wie der Materialwissenschaft, in denen ständig neue Entdeckungen gemacht werden, gerieten die Roboter viel schneller in Verwirrung. Die Forscher legen nahe, dass es für eine KI schwieriger ist, ihr Wissen auf dem Laufenden zu halten, ohne Dinge zu vermischen, je volatiler ein Fachgebiet ist.

Letztendlich kommt das Paper zu dem Schluss, dass wir zwar besser darin werden, KI zu aktualisieren, aber den Code noch nicht geknackt haben. Es gibt keinen magischen Knopf, der eine KI dazu befähigt, gleichzeitig neue Wissenschaft zu lernen, alle alten Fakten zu behalten und die Zukunft vorherzusagen. Die Forscher argumentieren, dass die Entwicklung einer Methode, die diese drei Ziele wirklich in Einklang bringen kann, eine der größten Herausforderungen bleibt, um KI zu einem zuverlässigen Partner für echte wissenschaftliche Entdeckungen zu machen. Sie warnen davor, dass unsere KI-Tools zu vertrauenswürdigen Experten der Wissenschaft von gestern werden könnten, während sie völlig ahnungslos gegenüber den Durchbrüchen von morgen sind, wenn wir das Problem nicht lösen.

Technisches Resümee: SCIENCEMETER

Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend zur Unterstützung der wissenschaftlichen Forschung eingesetzt, doch ihre statische Natur während des Pre-Trainings führt dazu, dass ihr wissenschaftliches Wissen aufgrund des schnellen wissenschaftlichen Fortschritts rasch veraltet. Während generische Aktualisierungsstrategien existieren (z. B. kontinuierliches Pre-Training, Instruction Tuning, RAG), bleibt unklar, ob diese Methoden die komplexen Anforderungen der Evolution wissenschaftlicher Erkenntnisse effektiv unterstützen können. Speziell müssen effektive Aktualisierungen mehr leisten als nur die Injektion neuer Informationen; sie müssen bestehendes Wissen bewahren, neue Erkenntnisse ohne Verzerrung integrieren und die Generalisierung ermöglichen, um über zukünftige oder unentdeckte wissenschaftliche Behauptungen zu urteilen. Aktuelle Evaluierungsframeworks konzentrieren sich oft auf generische Faktentreue oder einfache Wissensinjektion und versäumen es, die Nuancen des wissenschaftlichen Schließens, der Konfidenz und der Fähigkeit zur Projektion zukünftiger Fortschritte zu erfassen.

Methodik: Das SCIENCEMETER-Framework

Die Autoren führen SCIENCEMETER ein, ein umfassendes Framework, das darauf ausgelegt ist, wissenschaftliche Wissensaktualisierungen über drei temporale Dimensionen hinweg zu evaluieren: Vergangenheit (Bewahrung), Gegenwart (Erwerb) und Zukunft (Projektion).

1. Datensatz-Konstruktion

Das Framework nutzt einen kuratierten Datensatz, der zehn sich schnell entwickelnde wissenschaftliche Domänen abdeckt (Informatik, Medizin, Biologie, Materialwissenschaften, Psychologie, Wirtschaftswissenschaften, Politikwissenschaft, Umweltwissenschaften, Agrar- und Ernährungswissenschaften sowie Erziehungswissenschaften).

Papersammlung: Für jede Domäne werden 1.000 Paper via Semantic Scholar abgerufen. Die Paper werden chronologisch kategorisiert in:
- Prior ( $P_{prior}$ ): Veröffentlicht vor dem Trainings-Cutoff des Modells.
- New ( $P_{new}$ ): Veröffentlicht nach dem Cutoff, aber vor einem „jüngsten“ Cutoff.
- Future ( $P_{future}$ ): Veröffentlicht nach dem „jüngsten“ Cutoff, dient als Stellvertreter für Wissen, das das Modell noch nicht gesehen hat.
Synthetische Behauptungsgenerierung: Für jedes Paper generiert das Framework atomare wissenschaftliche Behauptungen (verifizierbare Aussagen über einen einzelnen Aspekt eines Entitäts- oder Prozessaspekts). Unter Verwendung von GPT-4O generiert das System:
- SUPPORT-Behauptungen: Werden durch das spezifische Paper eindeutig gestützt.
- REFUTE-Behauptungen: Beziehen sich auf das Thema, werden aber vom Paper nicht gestützt.
- Eine Expertenbewertung durch PhD-Studierende bestätigte, dass ~90,2 % der generierten Behauptungen strikt diesen Regeln folgen.

2. Evaluierungsaufgaben

Wissenschaftliches Wissen wird durch zwei Aufgaben evaluiert, die sowohl die faktische Genauigkeit als auch die Modellkonfidenz bewerten:

Behauptungsurteil (Claim Judgment): Das Modell verifiziert, ob eine Behauptung durch ein gegebenes Paper gestützt oder widerlegt wird (für Prior/New) oder sagt die Gültigkeit einer Behauptung basierend auf internem Wissen voraus (für Future).
Behauptungsgenerierung (Claim Generation): Das Modell generiert eine unterstützende Behauptung basierend auf einem Paper-Titel (Prior/New) oder einem Forschungsgegenstand (Future).
Wissenskategorisierung: Modellantworten werden als Korrekt (genau + konfident), Inkorrekt (ungenau + konfident) oder Unbekannt (geringe Konfidenz) klassifiziert.

3. Kernmetriken

SCIENCEMETER definiert drei primäre Metriken, um die Aktualisierungsleistung zu quantifizieren:

Wissensbewahrung (Knowledge Preservation): Der Prozentsatz der zuvor korrekten Behauptungen in $P_{prior}$ $P_{p r i or}$ , die nach der Aktualisierung korrekt bleiben.
- Distortion (Verzerrung): Zuvor korrekte Behauptungen werden inkorrekt (Fehler mit hoher Konfidenz).
- Loss (Verlust): Zuvor korrekte Behauptungen werden unbekannt.
Wissenserwerb (Knowledge Acquisition): Der Anteil der unbekannten Behauptungen in $P_{new}$ $P_{n e w}$ , die nach der Aktualisierung korrekt werden.
- Distortion (Verzerrung): Unbekannte Behauptungen werden inkorrekt.
- Loss (Verlust): Unbekannte Behauptungen bleiben unbekannt.
Wissensprojektion (Knowledge Projection): Der Prozentsatz der unbekannten Behauptungen in $P_{future}$ $P_{f u t u r e}$ , die das Modell nach der Aktualisierung korrekt vorhersagt, was die Fähigkeit zur Extrapolation demonstriert.
- Loss (Verlust): Zukünftige Behauptungen bleiben unbekannt.

4. Experimentelles Setup

Das Framework evaluierte fünf repräsentative Wissensaktualisierungsmethoden über Standardmodellen (LLaMA3.1-8B) und Frontier-Modellen (OLMo2-32B) im Bereich Informatik:

Kontinuierliches Pre-Training (CNT PRETRAIN): Autoregressives Training auf neuen Daten.
Standard Instruction-tuning (INST TUNE): Fine-Tuning auf QA-Paaren, die aus neuen Daten abgeleitet wurden.
Pre-instruction-tuning (PRE INST TUNE): Instruction Tuning vor dem kontinuierlichen Pre-Training.
Inferenz (INFER): Retrieval-Augmented Generation (RAG)-artige Kontextinjektion zur Inferenzzeit.
Kombiniert (INST TUNE + INFER): Ein hybrider Ansatz.

Die Konfidenz wurde mittels einer Mehrheitsentscheidung aus drei Methoden geschätzt: „More Information“-Prompting, Konsistenz der Antwort über Paraphrasen hinweg und linguistische Konfidenzanalyse via GPT-4O.

Kernergebnisse

Die Experimente zeigen, dass keine einzelne Methode gleichzeitig alle drei Ziele (Bewahrung, Erwerb und Projektion) erreicht.

Leistungsobergrenze: Die am besten abschneidende Methode (Standard Instruction-tuning) erreichte:
- 85,9 % Wissensbewahrung.
- 71,7 % Wissenserwerb.
- 37,7 % Wissensprojektion.
Modellgrößen-Disparität: Inferenzbasierte Methoden (INFER) übertrafen trainingsbasierte Methoden bei größeren Modellen (OLMo2-32B signifikant, mit einem um 10,9 % höheren Bewahrungsscore. Umgekehrt benötigten kleinere Modelle (LLaMA-8B) trainingsbasierte Ansätze, um vergleichbare Leistungen zu erzielen, da sie Schwierigkeiten hatten, Rauschen in reinen Kontext-Settings zu filtern.
Fehlerschwere: Bei den anspruchsvolleren Generierungsaufgaben war die Verzerrung (Fehler mit hoher Konfidenz) signifikant höher als der Verlust (Unsicherheit) und lag im Durchschnitt um das Dreifache höher. Dies deutet darauf hin, dass Aktualisierungsmethoden oft zu selbstbewussten Halluzinationen führen, anstatt lediglich das Lernen zu verweigern.
Domänen-Korrelation: Die Leistung variierte je nach Domäne. Domänen mit hoher Volatilität (gemessen an der durchschnittlichen Zitierhäufigkeit), wie Materialwissenschaften und Umweltwissenschaften, zeigten niedrigere Bewahrungs- und Projektionswerte. Im Gegensatz dazu zeigten stabile Domänen wie die Politikwissenschaft höhere Leistungen. Die Verfügbarkeit des Pre-Training-Korpus hatte einen begrenzten Einfluss auf die Erwerbsfähigkeiten.
Wissenschaftliche LLMs: Die Anwendung des Frameworks auf domänenspezifische Modelle (z. B. HoneyBee für Materialwissenschaften) brachte keine signifikanten Verbesserungen gegenüber allgemeinen Modellen ähnlicher Größe, was darauf hindeutet, dass spezialisiertes Pre-Training allein die Aktualisierungsherausforderung nicht löst.

Bedeutung und Thesen

Das Paper postuliert, dass die Entwicklung robuster Mechanismen zur Aktualisierung wissenschaftlicher Erkenntnisse sowohl entscheidend als auch herausfordernd ist. Die Autoren behaupten:

Neues Evaluierungsparadigma: SCIENCEMETER ist das erste Framework, das explizit die „Projektion“ zukünftiger wissenschaftlicher Erkenntnisse evaluiert und über die statische Faktenretention hinausgeht, um die Fähigkeit eines Modells zu bewerten, aufkommende Trends vorherzusehen und über unentdeckte Behauptungen zu urteilen.
Limitierungen aktueller Methoden: Bestehende Aktualisierungsstrategien sind für den wissenschaftlichen Bereich unzureichend. Sie haben Schwierigkeiten, das Trilemma aus der Bewahrung alten Wissens, dem Erwerb neuer Fakten und der Generalisierung auf zukünftige Konzepte zu lösen.
Bedeutung der Konfidenz: Die Evaluierung wissenschaftlichen Wissens ohne Berücksichtigung der Modellkonfidenz ist unzureichend. Fehler mit hoher Konfidenz (Verzerrung) sind in wissenschaftlichen Kontexten besonders gefährlich, da sie potenziell zur Verbreitung inkorrekter Hypothesen führen können.
Domänen-Volatilität: Die Schwierigkeit, LLMs zu aktualisieren, ist intrinsisch mit der Volatilität der wissenschaftlichen Domäne verknüpft, was darauf hindeutet, dass eine „Einheitsstrategie“ für die Aktualisierung wahrscheinlich nicht in allen wissenschaftlichen Feldern erfolgreich sein wird.

Die Autoren kommen zu dem Schluss, dass die Integration von LLMs in wissenschaftliche Arbeitsabläufe zwar Potenzial bietet, aber neue Aktualisierungsmechanismen erfordert, die in der Lage sind, die dynamische, widersprüchliche und sich schnell entwickelnde Natur der wissenschaftlichen Literatur zuverlässig zu handhaben.