Can Large Language Models Derive New Knowledge? A Dynamic Benchmark for Biological Knowledge Discovery

Dit artikel introduceert DBench-Bio, een dynamisch en volledig geautomatiseerd benchmarkkader dat maandelijkse updates combineert met een drie-stapsproces om de capaciteit van grote taalmodellen tot het ontdekken van nieuwe biologische kennis te evalueren en zo de beperkingen van bestaande statische datasets op te lossen.

De kern

Stel je voor dat je een groep zeer slimme, maar jonge detectives hebt. Ze hebben allemaal de hele bibliotheek van de wereld uit hun hoofd geleerd. Ze kunnen elke vraag beantwoorden over wat er ooit is geschreven. Maar wat gebeurt er als je ze een vraag stelt over een geheim dat gisteren pas is onthuld? Kunnen ze dat nog oplossen, of zijn ze vastgelopen in hun eigen geheugen?

Dit is precies het probleem dat de auteurs van dit paper onderzoeken. Ze hebben een nieuw spel bedacht om te testen of kunstmatige intelligentie (AI) echt nieuwe kennis kan ontdekken, of dat hij alleen maar oude feiten herhaalt.

Hier is de uitleg, vertaald naar alledaags Nederlands met een paar creatieve vergelijkingen:

1. Het Probleem: De "Plagiaat"-Valstrik

Tot nu toe werden AI-modellen getest met oude examenvragen (zoals schoolboeken uit 2020). Het probleem? De AI-modellen hebben die vragen misschien al gezien tijdens hun "leerproces" (training).

• De Analogie: Het is alsof je een student test met een examen dat hij al heeft gehoord. Als hij de antwoorden uit zijn hoofd kent, lijkt hij een genie, maar hij heeft niets ontdekt. Hij heeft alleen maar geplagiaat.
• De oplossing: Je hebt een examen nodig met vragen die nog niet bestaan op het moment dat de student gaat leren.

2. De Oplossing: DBench-Bio (De "Live" Test)

De auteurs hebben DBench-Bio bedacht. Dit is geen statisch examen, maar een levende, dynamische test.

• Hoe het werkt:
  1. De Bron: Ze kijken alleen naar de allerbeste wetenschappelijke tijdschriften (de "top 100" van de biologie) die na de lancering van de AI zijn gepubliceerd.
  2. De Vertaling: Een slimme AI leest deze nieuwe artikelen en maakt er vragen en antwoorden van. Denk aan: "Hoe werkt dit nieuwe medicijn precies?"
  3. De Filter: Een andere AI (de "juf") kijkt of de vragen goed zijn. Ze gooit vragen weg die te vaag zijn of die over onbelangrijke details gaan. Alleen de echte, belangrijke ontdekkingen blijven over.
• Het resultaat: Een maandelijkse update van nieuwe vragen. Omdat de AI deze vragen nog nooit heeft gezien, is het eerlijk testen.

3. Wat Vonden Ze? (De Verdict)

Ze hebben de slimste AI's ter wereld (zoals GPT-5 en andere) op deze test gezet. De resultaten waren verrassend:

• Goed in herinneren, slecht in ontdekken: De AI's waren fantastisch in het beantwoorden van vragen over wat we al wisten (zoals "Wat is DNA?"). Maar zodra het ging om nieuwe ontdekkingen (zoals "Hoe werkt dit nieuwe eiwit dat gisteren is gevonden?"), faalden ze.
• De "Rekenkunde"-barrière: In gebieden waar veel wiskunde en simulaties bij kwamen kijken, ging het helemaal mis. De AI's konden de logica niet volgen.
• De "Gokker"-fout: Soms probeerde de AI een antwoord te geven dat logisch klonk, maar volledig verzonnen was.
  • Vergelijking: Het is alsof een detective een moord oplost door te zeggen: "De dader moet een groene hoed dragen, want dat past bij het weer," terwijl er geen enkel bewijs voor is. De AI "hallucineert" een antwoord dat klinkt als waarheid, maar het is niet.
• Hulpmiddelen helpen niet altijd: Je zou denken dat als je de AI een zoekmachine geeft (om nieuwe artikelen te vinden), hij het beter doet. Maar vaak gebruikten ze toch maar hun eigen oude geheugen, of vonden ze niet het juiste stukje informatie.

4. De Grote Les

De kernboodschap van dit paper is: AI is momenteel een uitstekende archivaris, maar nog geen echte wetenschapper.

• Huidige AI: Kan alle feiten uit de wereld opzoeken en samenvatten.
• Nieuwe AI (wat we nodig hebben): Moet in staat zijn om nieuw inzicht te krijgen, patronen te zien in data die nog nooit eerder bestonden, en echte hypothesen te vormen.

Conclusie

De auteurs zeggen: "We hebben de eerste meetlat gemaakt om te zien of AI echt kan 'nadenken' over nieuwe dingen, in plaats van alleen maar te 'rekenen' met oude dingen."

Ze hopen dat deze test (DBench-Bio) als een kompas dient voor de toekomst. Het laat zien dat we AI niet alleen maar moeten laten "groeien" met meer data, maar dat we speciale nieuwe manieren moeten vinden om hen te leren hoe ze echte, nieuwe kennis kunnen creëren. Het is de stap van "een slimme robot" naar "een slimme partner in de wetenschap".

Technische samenvatting

Probleemstelling

Hoewel Large Language Models (LLM)-agenten veelbelovend zijn voor geautomatiseerde kennisontdekking, blijft het rigoureus evalueren van hun vermogen om nieuwe kennis te genereren een kritieke uitdaging. Bestaande benchmarks vertonen twee fundamentele tekortkomingen:

1. Data-contaminatie: De meeste benchmarks gebruiken statische datasets die tijdens het trainingsproces van de modellen mogelijk al zijn gezien. Hierdoor is het onmogelijk te onderscheiden of een model werkelijk nieuwe kennis ontdekt of slechts eerder geleerde informatie oproept.
2. Veroudering: De snelle release-cycli van moderne LLMs maken statische benchmarks snel verouderd. Ze kunnen niet effectief beoordelen of modellen kennis kunnen ontdekken die na hun trainingscutoff is gepubliceerd.

Er is dus een dringende behoefte aan een dynamisch, geautomatiseerd evaluatiekader dat strikte temporale scheiding garandeert tussen de trainingsdata van het model en de evaluatievragen.

Methodologie: DBench-Bio

De auteurs introduceren DBench-Bio, een dynamisch en volledig geautomatiseerd benchmark voor het evalueren van biologische kennisontdekking. Het systeem volgt een drie-traps pipeline (zie Figuur 1 in het paper):

1. Data-acquisitie (Pre-extractie):

   • Bron: Abstracts van artikelen uit journals in de categorie "Biology & Biochemistry" van het Journal Citation Reports (JCR) systeem.
   • Kwaliteitsfilter: Alleen artikelen uit journals in het JCR Q1-kwartiel (hoogste impact) worden geselecteerd om autoriteit te waarborgen.
   • Temporale scheiding: Er worden uitsluitend abstracts verzameld die zijn gepubliceerd na de release-datum van het te evalueren model. Dit garandeert dat de kennis voor het model onbekend is.
   • Frequentie: De benchmark wordt maandelijks bijgewerkt.

2. QA-extractie:

   • Een krachtige LLM (bijv. DeepSeek-V3.2-thinking) wordt ingezet om gestructureerde Vraag-Antwoord (QA) paren te synthetiseren uit de geselecteerde abstracts.
   • Vragen: Moeten wetenschappelijke hypothesen vertegenwoordigen (bijv. causale relaties of mechanismen).
   • Antwoorden: Moeten de kernconclusies van de ontdekking bevatten, zonder te vervallen in triviale details of specifieke numerieke waarden.

3. QA-filter (Kwaliteitscontrole):

   • Een LLM-gebaseerde "judge" filtert de gegenereerde paren op drie dimensies:
     • Relevantie: Semantische uitlijning met het specifieke biologische subdomein.
     • Duidelijkheid: Taalkundige precisie en coherentie (geen contextafhankelijke zinnen die de taak reduceren tot leesbegrip).
     • Centraliteit: De vraag moet betrekking hebben op de primaire wetenschappelijke bevinding, niet op randzaken.
   • Alleen paren met hoge scores (Relevantie ≥4, Duidelijkheid ≥5, Centraliteit ≥5) worden behouden.
   • Validatie: De auteurs tonen aan dat LLM-judges statistisch significant overeenkomen met menselijke experts (Alt-test), wat de haalbaarheid van volledige automatisering bevestigt.

Belangrijkste Bijdragen

• Eerste dynamische benchmark: DBench-Bio is het eerste framework dat volledig geautomatiseerd is en specifiek is ontworpen om de capaciteit van AI voor het ontdekken van nieuwe kennis te evalueren, in plaats van het herinneren van bestaande feiten.
• Levende resource: Het biedt een maandelijks bijgewerkte benchmark over 12 biomedische subdomeinen, wat een "levende" resource creëert voor de onderzoeksgemeenschap.
• Methodologische generalisatie: Het pipeline-ontwerp is domeinonafhankelijk en kan eenvoudig worden aangepast voor andere wetenschappelijke gebieden (bijv. fysica, chemie) door de JCR-categorie te wijzigen.

Resultaten en Evaluatie

De auteurs hebben State-of-the-Art (SOTA) modellen getest, waaronder verschillende LLM-varianten (met en zonder "thinking"), tool-use (RAG), en agent-workflows (ReAct, Multi-agent). De belangrijkste bevindingen zijn:

1. Beperkte prestaties bij nieuwe kennis: Hoewel modellen uitstekend presteren op bestaande kennis (zoals gemeten in MMLU-Pro), zijn hun prestaties op DBench-Bio over het algemeen laag. Dit bevestigt dat kennisontdekking een vaardigheid is die niet automatisch ontstaat door schaling van pre-trainingsdata.
2. Rol van "Thinking" en Agents:
   • "Thinking"-strategieën helpen sommige modellen (zoals GPT-5), maar niet allemaal.
   • Agent-architecturen (ReAct, Workflow) verbeteren de prestaties ten opzichte van de basismodellen, maar de prestaties schalen nog steeds sterk met de kracht van het onderliggende "backbone"-model.
3. Grens van Tool-gebruik: Het gebruik van zoektools (zoals PubMed) binnen een strikt beperkt tijdsvenster leverde weinig winst op, omdat de opgehaalde informatie vaak overlapt met de interne kennis van het model of niet voldoende nieuw is.
4. Subdomein-uitdagingen: Modellen presteren het slechtst in "Mathematical & Computational Biology", wat wijst op tekortkomingen in complex wiskundig redeneren.
5. Foutpatronen: De analyse van mislukkingen identificeerde vier hoofdtypen fouten:
   • Mechanismefouten: Het voorstellen van volledig incorrecte mechanismen.
   • Generieke vervanging: Het geven van algemene, tekstboek-achtige antwoorden in plaats van de specifieke bevindingen uit het artikel.
   • Weigering: Het model weigert te antwoorden omdat het de kennis niet kent.
   • Overmoedig redeneren: Het model vertrouwt op interne kennis en hallucineert een antwoord in plaats van tools te gebruiken of toe te geven dat het antwoord onbekend is.

Betekenis en Conclusie

DBench-Bio legt een kritieke bloot bloot aan de huidige staat van AI: modellen zijn uitstekend in het reproduceren en synthetiseren van bekende feiten, maar worstelen nog met het echt ontdekken van nieuwe wetenschappelijke inzichten die na hun training zijn gepubliceerd.

De studie benadrukt dat kennisontdekking een specifieke vaardigheid is die meer vereist dan alleen grotere datasets; het vraagt om gespecialiseerde mechanismen voor redeneren en het omgaan met onbekende informatie. Door een dynamisch, vervuilingsvrij evaluatiekader te bieden, stelt DBench-Bio de onderzoeksgemeenschap in staat om de voortgang van AI in kennisontdekking nauwkeurig te monitoren en te stimuleren, wat essentieel is voor de toekomst van geautomatiseerde wetenschappelijke doorbraken.