CresOWLve: Benchmarking Creative Problem-Solving Over Real-World Knowledge

Probleemstelling

Creatief probleemoplossen is een kerncomponent van menselijke intelligentie en vereist een combinatie van cognitieve vaardigheden zoals logisch redeneren, lateraal denken, het maken van analogieën en het toepassen van gezond verstand. Hoewel er grote vooruitgang is geboekt met Large Language Models (LLMs), evalueren bestaande benchmarks vaak slechts specifieke onderdelen van dit proces (bijvoorbeeld puur feitelijk redeneren of wiskundige inferentie).

Daarnaast vertonen veel creativiteitsgerichte benchmarks gebreken:

1. Ze vertrouwen vaak op kunstmatig geconstrueerde raadsels of verzonnen scenario's die niet weerspiegelen hoe creatief probleemoplossen in de echte wereld plaatsvindt.
2. Ze missen de integratie van diverse kennisdomeinen en de noodzaak om niet-voor de hand liggende verbindingen te leggen tussen feiten.

Er is dus een dringend tekort aan een benchmark die creatief probleemoplossen evalueert op basis van real-world kennis en vereist dat modellen meerdere creatieve denkstrategieën combineren om tot een oplossing te komen.

Methodologie: CRESOWLVE Benchmark

Om deze kloof te dichten, introduceren de auteurs CRESOWLVE, een tweetalige (Russisch en Engels) benchmark voor creatief probleemoplossen.

1. Data Collectie en Constructie:

• Bron: De dataset is afgeleid van de beroemde Russische intellectuele spelshow "Wat? Waar? Wanneer?" (What? Where? When?), waarin experts complexe problemen oplossen die brede wereldkennis en creatieve inzichten vereisen.
• Oorspronkelijke Data: Er zijn 3.789 vragen verzameld uit een openbare database over een periode van 50 jaar.
• Filterproces: Een strikt meerstapsfilterproces is toegepast om de kwaliteit en toegankelijkheid te waarborgen:
  • Verwijdering van niet-antwoordbare vragen: Vragen die fysieke externe materialen (zoals afbeeldingen of hand-outs) vereisten, werden verwijderd (295 samples).
  • Verwijdering van Russisch-specifieke vragen: Vragen die sterk afhankelijk waren van Russische taalnuances, culturele inside-jokes of onvertaalbare woordgrappen, werden verwijderd (799 samples).
  • Vertaling: De resterende vragen zijn vertaald naar Engels met behulp van GPT-4o, waarbij de logica en ambiguïteit behouden moesten blijven.
  • Menselijke Validatie: Drie auteurs hebben alle resterende vragen handmatig gecontroleerd op antwoordbaarheid, vertaalkwaliteit en het ontbreken van Russische bias. Hierbij werden nog eens 282 samples verwijderd.
• Eindresultaat: De definitieve dataset bevat 2.061 creatieve samples (en een subset van 352 puur feitelijke vragen voor vergelijking), beschikbaar in zowel het Russisch (CRESOWLVE-Ru) als het Engels (CRESOWLVE-En).

2. Annotatie en Categorisatie:

• Kennisdomeinen: Vragen zijn geannoteerd met kennisdomeinen (bijv. Literatuur, Geschiedenis, Film, Taalkunde). De dataset is zeer divers, waarbij vragen vaak 2 tot 4 domeinen combineren.
• Creatieve Strategieën: Vragen zijn gecategoriseerd op basis van de vereiste denkstrategieën, zoals lateraal denken (72,1%), analogieën (34,4%), abstractie en metaforen.
• Cultuur: De dataset omvat kennis over diverse culturen, hoewel Russische en Amerikaanse culturen dominant zijn.

3. Evaluatie Setup:

• Modellen: Een breed scala aan frontier LLMs is getest, variërend in grootte, architectuur en "denkmodus". Er is onderscheid gemaakt tussen:
  • Non-thinking modellen: Modellen die direct antwoorden genereren (vaak met Chain-of-Thought prompting).
  • Thinking modellen: Modellen die expliciet een redeneerproces doorlopen voordat ze antwoorden (met variabele "thinking effort").
• Metrieken: Prestaties werden gemeten via Exact Match (na normalisatie) en LLM-as-a-judge (gebruikmakend van GPT-4o om de correctheid te beoordelen, rekening houdend met context en acceptabele alternatieve antwoorden).

Belangrijkste Bijdragen

1. Introductie van CRESOWLVE: Een hoogwaardige, mens-gevalideerde benchmark die creatief probleemoplossen evalueert via real-world kennispuzzels, in plaats van kunstmatige raadsels.
2. Uitgebreide Evaluatie: Een uitgebreide benchmarking van state-of-the-art LLMs, inclusief zowel open-weight als proprietary modellen, met een focus op het verschil tussen feitelijke en creatieve redenering.
3. Diepgaande Analyse: Een analyse van foutpatronen, prestaties per domein, moeilijkheidsgraad en het effect van "thinking effort" op creatieve taken.

Resultaten

De resultaten tonen aan dat CRESOWLVE een zeer uitdagende benchmark blijft, zelfs voor de meest geavanceerde modellen:

• Algemene Prestaties: Non-thinking modellen presteren over het algemeen slecht (onder de 30% nauwkeurigheid). Thinking modellen presteren aanzienlijk beter, waarbij meer "denkinspanning" consistent leidt tot hogere scores. Closed-source modellen (zoals Gemini-3.1-Pro) presteren over het algemeen beter dan open-weight modellen.
• Feitelijk vs. Creatief Redeneren: Er is een consistente en aanzienlijke prestatiedaling bij creatieve vragen vergeleken met feitelijke vragen (tot wel -17% daling). Modellen kunnen vaak de relevante feiten ophalen, maar falen in het maken van de niet-voor de hand liggende creatieve verbindingen die nodig zijn om het antwoord te vinden.
• Moeilijkheidsgraad: De nauwkeurigheid neemt lineair af naarmate de moeilijkheidsgraad toeneemt. Zelfs de sterkste modellen verliezen meer dan 20% nauwkeurigheid bij de moeilijkste vragen ("Very Hard").
• Cross-linguale Transfer: Thinking modellen presteren verrassend goed op de Russische versie (soms zelfs beter dan op het Engels), wat mogelijk wijst op data-contaminatie (het model heeft de vragen al gezien tijdens training) of sterke meertalige redeneercapaciteiten.
• Foutanalyse: De meest voorkomende fouten zijn:
  1. Ontbrekende creatieve connectie: Het model vindt de feiten, maar mist de associatieve of metaforische link.
  2. Verkeerde interpretatie van de aanwijzing: Het model kiest het verkeerde specifieke element.
  3. Overdenken: Het model vindt het juiste concept maar vervangt dit later door een verkeerd antwoord.
     De lage frequentie van hallucinaties bevestigt dat het probleem niet het ontbreken van kennis is, maar de creatieve integratie daarvan.

Significantie

CRESOWLVE is een significante stap voorwaarts in de evaluatie van AI-systemen omdat het:

• De focus verschuift van puur feitelijke recall naar creativiteit en integratie van kennis.
• Aantoont dat de huidige "bottleneck" voor LLMs niet het hebben van informatie is, maar het vermogen om creatieve verbindingen te leggen tussen disparate stukjes informatie.
• Een robuust testbed biedt voor het ontwikkelen van modellen die beter kunnen "denken buiten de kaders" en complexe, real-world problemen kunnen oplossen.
• Benadrukt dat "thinking" (expliciet redeneren) een cruciale enabler is voor creatief probleemoplossen, hoewel zelfs de beste modellen nog ruimte voor verbetering hebben.

De auteurs hopen dat deze benchmark de ontwikkeling van creatieve redeneercapaciteiten in LLMs zal stimuleren en een realistischere maatstaf biedt voor menselijke intelligentie in AI.