Can Large Language Models Derive New Knowledge? A Dynamic Benchmark for Biological Knowledge Discovery

Die Studie stellt DBench-Bio vor, ein dynamisches und vollautomatisiertes Benchmark-System, das die Fähigkeit von KI-Modellen zur Entdeckung neuen biologischen Wissens durch einen monatlich aktualisierten, dreistufigen Pipeline-Ansatz bewertet und dabei die Grenzen bestehender statischer Datensätze überwindet.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen extrem intelligenten Bibliothekar, der Millionen von Büchern auswendig gelernt hat. Dieser Bibliothekar ist ein Künstlicher Intelligenz-Modell (LLM). Wenn Sie ihn fragen: „Wer hat die Relativitätstheorie entdeckt?", antwortet er blitzschnell und perfekt. Er hat das in seinen Büchern (den Trainingsdaten) gelesen.

Aber was passiert, wenn Sie ihn fragen: „Wie funktioniert das neue Medikament, das gestern in einem Labor entdeckt wurde?"

Genau hier setzt diese Forschung an. Die Wissenschaftler fragen sich: Kann dieser Bibliothekar wirklich neues Wissen erschaffen, oder kopiert er nur, was er schon kennt?

Hier ist die Erklärung der Studie „DBench-Bio" in einfachen Worten, mit ein paar anschaulichen Vergleichen:

1. Das Problem: Der „Spickzettel"-Effekt

Bisherige Tests für KI waren wie alte Schulprüfungen. Die Fragen und Antworten waren feststehend. Das Problem? Die KI hat diese Prüfungsfragen vielleicht schon beim Lernen gesehen. Es ist, als würde ein Schüler eine alte Mathearbeit auswendig lernen und dann denken, er sei ein Genie, weil er die Lösungen kennt. Er hat nichts neues gelernt, er hat nur gespeichert.

In der Wissenschaft ist das katastrophal. Wenn eine KI nur alte Fakten wiederholt, hilft sie uns nicht, neue Krankheiten zu heilen oder neue Materialien zu finden.

2. Die Lösung: Ein lebendiger, sich bewegender Test

Die Forscher haben einen neuen Test namens DBench-Bio entwickelt. Stellen Sie sich diesen Test nicht als statisches Heft vor, sondern als einen frischen, täglichen Zeitungsstapel, der jeden Monat neu geliefert wird.

• Der Trick: Der Test nutzt nur wissenschaftliche Artikel, die nach dem Zeitpunkt veröffentlicht wurden, an dem die KI trainiert wurde. Die KI kann diese Artikel also unmöglich auswendig gelernt haben. Sie muss sie wirklich verstehen und schließen, um die Antwort zu finden.
• Der Prozess:
  1. Sammeln: Ein Roboter sucht in den besten Biologie-Journalen nach den allerneuesten Artikeln (wie ein Detektiv, der die frischesten Beweise sucht).
  2. Erstellen: Eine andere KI liest diese Artikel und formuliert daraus Fragen und Antworten (wie ein Lehrer, der aus einem neuen Buch eine Quizfrage macht).
  3. Filtern: Ein strenger Prüfer (eine dritte KI) schaut, ob die Fragen wirklich wichtig sind und nicht nur belanglose Details enthalten. Nur die besten Fragen kommen in den Test.

3. Die Ergebnisse: Die KI ist gut im Auswendiglernen, aber schlecht im Entdecken

Die Forscher haben die besten aktuellen KIs (wie GPT-5, Gemini, DeepSeek) auf diesen Test angesetzt. Das Ergebnis war ernüchternd, aber aufschlussreich:

• Der Bibliothekar ist verwirrt: Die KIs waren fantastisch darin, alte Fakten abzurufen (wie bei einem normalen Quiz). Aber sobald es um neue Entdeckungen ging, versagten sie oft.
• Die „Mathematik"-Hürde: Besonders in Bereichen, die viel Mathematik und komplexe Berechnungen erfordern (wie mathematische Biologie), kamen die Kins an ihre Grenzen.
• Werkzeuge helfen nur bedingt: Man hat den KIs erlaubt, im Internet zu suchen (wie ihnen einen Computer zu geben). Das half nur wenig, weil die KIs oft trotzdem versuchten, aus ihrem alten Gedächtnis zu antworten, statt die neuen Suchergebnisse wirklich zu verarbeiten.

4. Warum scheitern die KIs? (Die vier Fehler)

Die Forscher haben genau hingeschaut, warum die KIs falsch lagen. Hier sind die vier Hauptfehler, verglichen mit menschlichem Verhalten:

1. Der „Erfinder"-Fehler (Mechanism Error): Die KI erfindet eine plausible Geschichte. Sie sagt: „Das Medikament wirkt so und so", obwohl sie gar nicht weiß, wie es wirklich funktioniert. Sie halluziniert eine Lösung, die logisch klingt, aber falsch ist.
2. Der „Allrounder"-Fehler (Generic Substitution): Die KI gibt eine Standardantwort. Statt das spezifische neue Ergebnis zu nennen, sagt sie: „Medikamente wirken oft, indem sie Entzündungen reduzieren." Das ist zwar wahr, aber es beantwortet nicht die spezifische Frage nach dem neuen Mechanismus.
3. Der „Angst"-Fehler (Refusal): Die KI sagt einfach: „Ich weiß das nicht." Sie traut sich nicht zu raten, weil die Information in ihrem Training nicht existiert.
4. Der „Übermütige"-Fehler (Overconfident Reasoning): Die KI ignoriert ihre Werkzeuge (die Suche nach neuen Fakten) und vertraut blind auf ihr altes Wissen. Sie ist so selbstbewusst, dass sie eine falsche Antwort gibt, die perfekt klingt, aber komplett daneben ist.

5. Was bedeutet das für die Zukunft?

Die Studie zeigt uns eine wichtige Wahrheit: Künstliche Intelligenz ist aktuell ein brillanter Archivar, aber noch kein echter Entdecker.

Sie kann Wissen speichern und verknüpfen, aber sie kann noch nicht wirklich neues Wissen aus dem Nichts erschaffen oder komplexe neue Zusammenhänge verstehen, die sie noch nie gesehen hat.

Die gute Nachricht: Die Methode, die diese Forscher entwickelt haben (DBench-Bio), ist wie ein Baukasten. Man kann sie nicht nur für Biologie nutzen, sondern auch für Physik, Chemie oder sogar Geschichte. Man muss nur die „Bücherquelle" austauschen. So können wir in Zukunft messen, ob KIs wirklich lernen, die Welt neu zu verstehen, oder ob sie nur alte Bücher nachplappern.

Fazit: Wir brauchen KIs, die nicht nur wissen, was gestern war, sondern die verstehen können, was morgen passiert. Dieser neue Test ist der erste Schritt, um genau das zu überprüfen.

Technische Zusammenfassung

1. Problemstellung

Die Entdeckung neuen Wissens im biologischen Bereich ist ein zentraler Treiber für Fortschritte in der Gesundheitsversorgung, aber ein extrem arbeitsintensiver und komplexer Prozess. Zwar zeigen Large Language Model (LLM) Agenten Potenzial, diesen Prozess zu automatisieren, doch die rigorose Bewertung ihrer Fähigkeit, neues Wissen zu entdecken, stellt eine große Herausforderung dar.

Das Hauptproblem liegt in den bestehenden Benchmarks:

• Datenkontamination: Herkömmliche Benchmarks basieren auf statischen Datensätzen. Da LLMs oft auf Daten trainiert werden, die diese statischen Testfragen bereits enthalten, ist unklar, ob das Modell neues Wissen tatsächlich entdeckt oder lediglich aus dem Training abruft.
• Veraltete Daten: Aufgrund der schnellen Release-Zyklen moderner LLMs werden statische Benchmarks schnell veraltet und können die Fähigkeit zur Entdeckung von Wissen, das nach dem Trainingszeitpunkt des Modells entstand, nicht mehr valide messen.
• Fehlende zeitliche Trennung: Ein gültiger Benchmark für Wissensentdeckung erfordert eine strikte zeitliche Trennung: Das Evaluationswissen muss zeitlich nach dem Release des Modells entstanden sein, um sicherzustellen, dass es dem Modell unbekannt war.

2. Methodik: DBench-Bio

Die Autoren stellen DBench-Bio vor, einen dynamischen, vollständig automatisierten Benchmark zur Bewertung der biologischen Wissensentdeckungsfähigkeit von KI-Systemen. Der Ansatz basiert auf einer dreistufigen Pipeline (siehe Abbildung 1 im Paper):

A. Datenerfassung (Data Acquisition)

Um wissenschaftliche Strenge und zeitliche Trennung zu gewährleisten, werden Abstracts aus wissenschaftlichen Publikationen extrahiert, die nach dem Release-Datum des zu testenden Modells veröffentlicht wurden.

• Quelle: Zeitschriften aus dem Bereich „Biology & Biochemistry" des Journal Citation Reports (JCR).
• Qualitätsfilter: Es werden ausschließlich Artikel aus Zeitschriften des Quartils Q1 (höchster Impact Factor) berücksichtigt.
• Fokus: Es werden nur Abstracts verwendet, da diese dichte Zusammenfassungen neuer Erkenntnisse bieten und Rauschen durch experimentelle Details minimieren.

B. QA-Extraktion (QA Extraction)

Ein leistungsfähiges LLM (z. B. DeepSeek-V3.2-thinking) wird eingesetzt, um aus den Abstracts strukturierte Frage-Antwort-Paare zu synthetisieren.

• Frage: Formuliert eine präzise wissenschaftliche Hypothese (z. B. kausale Zusammenhänge oder Mechanismen).
• Antwort: Fasst die Kernentdeckung des Abstracts zusammen.
• Design: Die Paare konzentrieren sich auf hochrangige Konzepte und Mechanismen, nicht auf spezifische Parameter oder numerische Werte.

C. QA-Filter (QA Filter)

Ein weiterer LLM-basierter „Judge" filtert die generierten Paare nach drei Qualitätskriterien, um Halluzinationen und schlechte Qualität zu entfernen:

1. Relevanz: Semantische Ausrichtung auf das spezifische biologische Subdomänen-Thema.
2. Klarheit: Sprachliche Präzision und Kohärenz (Vermeidung von kontextabhängigen Phrasen wie „basierend auf dem Text").
3. Zentralität: Sicherstellung, dass die Frage/Antwort das primäre wissenschaftliche Ergebnis des Abstracts betrifft und nicht nebensächliche Details.

• Schwellenwerte: Nur Paare mit Relevanz ≥ 4, Klarheit ≥ 5 und Zentralität ≥ 5 werden behalten.
• Validierung: Eine Studie mit menschlichen Experten zeigte, dass die LLM-Bewertung mit einer Gewinnrate von >0,5 und einer Vorteilswahrscheinlichkeit von >0,8 eine valide Alternative zu menschlicher Annotation darstellt.

Der Benchmark wird monatlich aktualisiert und deckt 12 biomedizinische Subdomänen ab.

3. Wichtige Beiträge

• Erste dynamische Methode: Einführung des ersten vollständig automatisierten Frameworks zur Bewertung der Fähigkeit von KI, neues Wissen zu entdecken, unter strikter Einhaltung der zeitlichen Trennung.
• Living Resource: Bereitstellung eines monatlich aktualisierten Benchmarks im Bereich der Biowissenschaften, der als lebendige Ressource für die Forschungsgemeinschaft dient.
• Umfassende Evaluation: Durchführung umfangreicher empirischer Tests mit State-of-the-Art (SOTA) Modellen, einschließlich reiner LLMs, Modelle mit Werkzeugnutzung (RAG), ReAct-Agenten und Multi-Agent-Workflows.

4. Ergebnisse und Erkenntnisse

Die Evaluation verschiedener Modelle (u. a. GPT-5-Serie, Gemini, DeepSeek, Kimi) auf DBench-Bio ergab folgende Schlüsselerkenntnisse:

• Geringe Gesamtleistung: Aktuelle Modelle schneiden im Durchschnitt schlecht ab. Obwohl sie im Abruf bekannter Fakten stark sind, fehlt ihnen die Fähigkeit, echtes neues Wissen zu generieren.
• Unterschiedliche Wirkung von „Thinking"-Strategien: Bei einigen Modellen (z. B. GPT-5-Serie) führte explizites Nachdenken (Chain-of-Thought) zu signifikanten Verbesserungen, bei anderen (z. B. GLM-4, DeepSeek) jedoch kaum. Dies deutet darauf hin, dass die Fähigkeit zur Wissensentdeckung nicht einfach durch Skalierung von Trainingsdaten erreicht wird, sondern spezifische Reasoning-Mechanismen erfordert.
• Begrenzte Nützlichkeit von Tools: Die Nutzung von Suchwerkzeugen (PubMed) innerhalb eines eingeschränkten Suchraums (vor dem Benchmark-Datum) brachte keine signifikanten Verbesserungen, da die gesuchten Informationen oft bereits im internen Wissen des Modells vorhanden waren oder die Modelle die Tools nicht effektiv nutzten.
• Agenten-Architekturen: Sowohl ReAct- als auch Workflow-basierte Agenten-Systeme zeigten Leistungssteigerungen gegenüber reinen Basismodellen. Die Leistung skalierte positiv mit der Kapazität des zugrunde liegenden Backbone-Modells.
• Domänenspezifische Schwächen: Modelle scheiterten besonders stark in der „Mathematischen und Computationalen Biologie", was auf Schwierigkeiten bei komplexem mathematischem Schlussfolgern hindeutet.
• Diskrepanz zwischen Basiswissen und Entdeckung: Modelle, die auf statischen Benchmarks wie MMLU-Pro (Basiswissen) hervorragend abschneiden, performen auf DBench-Bio oft schlecht. Dies zeigt, dass hohe Scores auf statischen Benchmarks oft auf Datenkontamination oder reines Auswendiglernen zurückzuführen sind und nicht auf echte Entdeckungsfähigkeit.

Fehleranalyse (Case Study):
Die Autoren identifizierten vier Hauptfehlerkategorien:

1. Mechanismus-Fehler: Das Modell schlägt plausible, aber falsche Mechanismen vor.
2. Generische Mechanismus-Ersetzung: Das Modell liefert allgemeine Lehrbuchwissen statt der spezifischen experimentellen Ergebnisse.
3. Verweigerung der Antwort: Das Modell gibt auf oder verweigert die Antwort.
4. Überzogenes Vertrauen (Overconfident Reasoning): Das Modell ignoriert Tools und halluziniert eine Antwort basierend auf internem Wissen, obwohl die Information unbekannt ist.

5. Bedeutung und Ausblick

Die Arbeit unterstreicht, dass aktuelle LLMs zwar hervorragend darin sind, etabliertes Wissen zu synthetisieren, aber bei der Entdeckung von Wissen, das nach ihrem Trainings-Cutoff entstand, erhebliche Defizite aufweisen.

• Methodische Generalisierbarkeit: Die vorgestellte Pipeline ist domänenagnostisch. Durch Austausch der JCR-Kategorie kann das Framework leicht auf andere Wissenschaftsbereiche (Physik, Chemie, Sozialwissenschaften) übertragen werden, um eine Familie von Benchmarks für die Wissensentdeckung zu schaffen.
• Zukünftige Forschung: Die Ergebnisse deuten darauf hin, dass neue Architekturen oder spezialisierte Trainingsstrategien notwendig sind, um LLMs echte Entdeckungsfähigkeiten zu verleihen. Zudem wird ein Prozess-basierter Evaluierungsrahmen gefordert, der nicht nur das Endergebnis, sondern auch den Weg der Wissensentdeckung bewertet.

Zusammenfassend etabliert DBench-Bio einen neuen Standard für die Bewertung von KI in der wissenschaftlichen Forschung, der Datenkontamination vermeidet und die reale Leistung von KI-Systemen bei der Bewältigung unbekannter wissenschaftlicher Herausforderungen misst.