💬 NLP

Evaluating LLMs' Divergent Thinking Capabilities for Scientific Idea Generation with Minimal Context

Deze paper introduceert LiveIdeaBench, een nieuw benchmark dat de divergente denkfertigheid van LLM's voor het genereren van wetenschappelijke ideeën evalueert op basis van minimale context, en onthult dat deze creativiteit slecht voorspeld wordt door algemene intelligentiemetingen, wat wijst op de noodzaak van gespecialiseerde evaluaties en trainingsstrategieën.

Oorspronkelijke auteurs: Kai Ruan, Xuan Wang, Jixiang Hong, Peng Wang, Yang Liu, Hao Sun

Gepubliceerd 2026-02-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kai Ruan, Xuan Wang, Jixiang Hong, Peng Wang, Yang Liu, Hao Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Wetenschappelijke "Brainstorm"-Test: Kunnen AI's echt creatief zijn?

Stel je voor dat je een groep slimme studenten hebt die allemaal hun diploma met vlag en wimpel hebben gehaald. Ze kunnen wiskundige vergelijkingen oplossen, code schrijven en complexe teksten samenvatten. Ze zijn allemaal slim.

Maar stel je nu voor dat je ze een heel simpel kaartje geeft met daarop slechts één woord: "Wolken". En je vraagt ze: "Noem zo veel mogelijk nieuwe, spannende ideeën over wolken die nog niemand ooit heeft bedacht."

Dit is precies wat de onderzoekers in dit papier hebben gedaan. Ze hebben een nieuwe testbedacht, genaamd LiveIdeaBench, om te kijken of deze AI's (Large Language Models) niet alleen slim zijn, maar ook creatief.

Hier is de uitleg in simpele taal:

1. Het Verschil tussen "Slim" en "Creatief"

Tot nu toe hebben we AI's getest op hun slimheid (hun IQ). Ze kregen moeilijke vragen over wiskunde of logica. Dat is als een convergerende taak: er is één goed antwoord, en de AI moet dat vinden.

Maar wetenschap draait vaak om divergente creativiteit: het bedenken van veel verschillende, nieuwe ideeën vanuit niets.

De oude test: "Wat is het antwoord op 2+2?" (Slimheidstest).
De nieuwe test (LiveIdeaBench): "Geef me een nieuw idee voor een machine die wolken kan eten." (Creativiteitstest).

De onderzoekers wilden weten: Is een AI die goed is in wiskunde ook goed in het bedenken van nieuwe wetenschappelijke ideeën?

2. De Proef: 1.180 Woorden als Startpunt

De onderzoekers namen 1.180 wetenschappelijke woorden (zoals "biologie", "fysica", "psychologie") en gaven ze aan meer dan 40 verschillende AI-modellen.

De regel: De AI mocht geen lange tekst of boeken gebruiken. Alleen dat ene woord als startpunt.
De taak: Bedenk een nieuw, haalbaar en duidelijk wetenschappelijk idee in minder dan 100 woorden.

Het was alsof je een kok een zak met één ingrediënt geeft en vraagt: "Maak hier een nieuw gerecht mee."

3. De Jury: AI's Beoordelen AI's

Hoe meet je creativiteit? Dat is lastig. De onderzoekers gebruikten een slimme truc: ze lieten de beste AI's van dit moment de ideeën van de andere AI's beoordelen.
Ze keken naar vijf dingen:

Originaliteit: Is het idee nieuw of saai?
Haalbaarheid: Kan dit echt werken in de echte wereld?
Duidelijkheid: Is het begrijpelijk?
Vloeiendheid: Kan de AI veel verschillende ideeën bedenken?
Flexibiliteit: Kan de AI overal over nadenken, niet alleen over één onderwerp?

4. De Verbluffende Resultaten: De "Sluwe" vs. De "Dromer"

Het meest interessante deel van de paper is wat ze vonden: Slimheid en creativiteit gaan niet altijd samen.

De "Sluwe" AI: Sommige modellen (zoals Claude-3.7-sonnet) zijn super slim in wiskunde en logica. Ze scoorden ook goed in creativiteit.
De "Dromer" AI: Maar er waren modellen (zoals QwQ-32B-preview) die in de standaard "slimheidstests" niet zo hoog scoorden, maar in deze creativiteitstest net zo goed presteerden als de slimste modellen!
De "Logische" AI: En er waren modellen die heel goed waren in logica (zoals o3-mini-high), maar juist minder goed in het bedenken van nieuwe, creatieve ideeën.

De les: Je kunt niet zeggen: "Deze AI is de slimste, dus hij zal ook de beste wetenschappelijke uitvindingen bedenken." Het zijn twee verschillende vaardigheden. Het is alsof je een wereldkampioen schaken hebt die misschien niet de beste schilder is.

5. Waarom is dit belangrijk?

Wetenschap heeft beide nodig:

Je hebt slimme AI's nodig om bestaande data te analyseren en fouten te vinden.
Je hebt creatieve AI's nodig om de "Eureka!"-momenten te hebben, om te zeggen: "Hé, wat als we dit doen?"

De onderzoekers concluderen dat we AI's niet alleen moeten trainen om "slimmer" te worden (meer rekenkracht, meer data), maar dat we ze specifiek moeten trainen om divergerend te denken. Misschien hebben we in de toekomst een AI-team nodig: één AI die de logica controleert en een andere AI die de creatieve, gekke ideeën bedenkt.

Samenvattend

Deze paper zegt eigenlijk: "Stop met alleen kijken naar het IQ van een AI. Kijk ook naar zijn verbeeldingskracht."

Het is alsof je een nieuwe auto koopt. Je kijkt niet alleen naar hoe snel hij kan rijden (slimheid), maar ook naar hoe comfortabel en creatief hij is in het vinden van nieuwe routes (creativiteit). Soms is de auto die niet de snelste is, juist de beste voor een avontuurlijke tocht.

Titel: Evaluatie van de Divergente Denkfertigheid van LLM's voor het Genereren van Wetenschappelijke Ideeën met Minimale Context

1. Het Probleem

Grote Taalmodellen (LLM's) tonen indrukwekkende prestaties in wetenschappelijke taken zoals literatuuranalyse en experimenteel ontwerp. Echter, bestaande evaluatiebenchmarks focussen voornamelijk op convergent denken: het vinden van het juiste antwoord op basis van rijke contextuele input (zoals samenvattingen van papers of volledige artikelen).

Er bestaat een cruciaal gat in de evaluatie van divergent denken: de capaciteit om vanuit minimale input (bijvoorbeeld een enkel trefwoord) nieuwe, diverse en creatieve wetenschappelijke hypotheses te genereren. Dit is essentieel voor de vroege fasen van wetenschappelijke ontdekking. Bovendien is het onduidelijk of de prestaties van LLM's op algemene intelligentie-benchmarks (zoals redeneren, wiskunde, coderen) correleren met hun vermogen tot creatieve ideatie. De auteurs stellen de vraag of "hogere intelligentie" automatisch leidt tot "betere wetenschappelijke creativiteit".

2. Methodologie: LiveIdeaBench

De auteurs introduceren LiveIdeaBench, een nieuw, dynamisch benchmark-systeem dat is ontworpen om divergent denken in wetenschappelijke contexten te meten.

Opzet: Het systeem gebruikt 1.180 wetenschappelijke trefwoorden uit 22 verschillende domeinen (bijv. fysica, biologie, financiën) als minimale prompt. De modellen moeten hieruit nieuwe wetenschappelijke ideeën genereren.
Beperkingen: Modellen moeten hun ideeën beknopt houden (maximaal 100 woorden), wat hen dwingt om te vertrouwen op interne kennisrepresentaties in plaats van het samenvatten van lange bronnen.
Evaluatiekader: Gebaseerd op Guilford's theorie over creativiteit, worden de gegenereerde ideeën beoordeeld op vijf dimensies:
1. Originaliteit: Nieuwheid en uniciteit van het idee.
2. Haalbaarheid (Feasibility): Technisch uitvoerbaarheid en wetenschappelijke onderbouwing.
3. Duidelijkheid (Clarity): Hoe goed het idee is geformuleerd.
4. Vlotheid (Fluency): Het vermogen om een groot aantal diverse, niet-redundante ideeën te genereren voor hetzelfde trefwoord.
5. Flexibiliteit: Het vermogen om consistent goede prestaties te leveren over verschillende wetenschappelijke domeinen heen (berekend als het 30e percentiel van de gecombineerde scores).
Jury-systeem: Om bias te minimaliseren en de dynamiek van AI-ontwikkeling bij te houden, wordt een multi-model jury gebruikt. De top 10 modellen van de LiveBench fungeren als "critici" (judges) die de ideeën van de andere 41+ modellen beoordelen. Dit jury-systeem wordt maandelijks ververst om data-verontreiniging en overfitting te voorkomen.
Validatie: De auteurs hebben een menselijke validatie uitgevoerd op het domein van Partiële Differentiaalvergelijkingen (PDE's) om de betrouwbaarheid van de "LLM-as-a-judge" aanpak te verifiëren.

3. Belangrijkste Resultaten

De studie omvatte meer dan 40 toonaangevende modellen (zowel open-source als proprietary) en leverde de volgende inzichten op:

Gebrek aan correlatie met Algemene Intelligentie: Er is een zwakke positieve correlatie ( $r \approx 0.357$ $r \approx 0.357$ ) tussen scores op algemene intelligentie-benchmarks (LiveBench) en scores op LiveIdeaBench. Dit betekent dat een model dat goed is in wiskunde of coderen, niet per se goed is in het genereren van creatieve wetenschappelijke ideeën.
- Voorbeeld: QwQ-32B-preview scoort laag op algemene intelligentie, maar presteert op het gebied van wetenschappelijke ideatie vergelijkbaar met Claude-3.7-Sonnet:Thinking, dat een zeer hoge algemene intelligentie heeft.
- Voorbeeld: O3-mini-high heeft een hoge algemene intelligentie, maar scoort gemiddeld op creatieve ideatie.
Architectuur en Training: Het aantal parameters is niet de enige determinant voor divergent denken. Modellen zoals Mistral-Small (kleiner model) presteerden soms beter in creativiteit dan grotere, nieuwere familieleden (zoals Mistral-Large-2411). Dit suggereert dat trainingsdata en specifieke trainingsdoelen (bijv. beloning voor diverse conceptuele associaties) belangrijker zijn dan schaal alleen.
Trade-offs: Er is een duidelijke trade-off te zien tussen Originaliteit en Haalbaarheid. Modellen zoals Claude-3.7-Sonnet:Thinking scoren hoog op originaliteit maar gemiddeld op haalbaarheid, terwijl Nova-Pro-V1 het omgekeerde patroon vertoont. DeepSeek-R1 valt op door een gebalanceerde prestatie over alle dimensies heen.
Lengte vs. Kwaliteit: Er is geen sterke correlatie tussen de lengte van het gegenereerde antwoord (of de "redeneringstijd" bij modellen met Chain-of-Thought) en de kwaliteit van het idee. Korte, beknopte ideeën kunnen net zo creatief en haalbaar zijn als lange, uitgebreide redeneringen.
Domeinspecificiteit: Modellen tonen verschillende sterke punten per domein. Bijvoorbeeld, Gemini-2.0-Flash-Thinking-Exp excelleerde in antropologie, terwijl Claude-3.7-Sonnet:Thinking beter was in chemie en geneeskunde.

4. Bijdragen en Significantie

Nieuwe Benchmark: LiveIdeaBench is de eerste benchmark die specifiek is ontworpen om divergent denken in wetenschappelijke contexten te meten met minimale context, in tegenstelling tot bestaande benchmarks die convergent denken testen.
Paradigmaverschuiving: De resultaten tonen aan dat creativiteit en algemene intelligentie in LLM's grotendeels onafhankelijke vaardigheden zijn. Dit betekent dat het verbeteren van wetenschappelijke creativiteit mogelijk andere trainingsstrategieën vereist dan het verbeteren van redeneervermogen.
Toekomstige AI voor Wetenschap: De bevindingen suggereren dat er geen "one-size-fits-all" model is voor wetenschappelijke ontdekking. In plaats daarvan zou een ecosysteem van gespecialiseerde AI-tools nodig zijn:
- Modellen met hoge originaliteit voor het genereren van hypotheses.
- Modellen met hoge haalbaarheid voor het ontwerpen van experimenten.
- Modellen met hoge vlotheid voor brainstormsessies.
Methodologische Vooruitgang: Het gebruik van een dynamisch jury-systeem en de validatie met menselijke experts versterken de betrouwbaarheid van AI-evaluaties in creatieve domeinen.

Conclusie:
De paper concludeert dat de huidige focus op algemene intelligentie-benchmarks onvoldoende is om het potentieel van AI voor wetenschappelijke innovatie te beoordelen. LiveIdeaBench biedt een noodzakelijk instrument om de "creatieve" kant van LLM's te meten en benadrukt dat het stimuleren van divergent denken een specifieke, gespecialiseerde aanpak vereist binnen de AI-ontwikkeling.