Technische Samenvatting: LLM-ongelijkmatigheid ontsluit wetenschappelijke creativiteit

Probleemstelling

Naarmate kunstmatige intelligentie vordert, verbeteren modelcapaciteiten niet uniform over taken, domeinen of schalen. In plaats daarvan volgt de vooruitgang een "ongelijkmatige grens", waarbij competentie ongelijk en onregelmatig is. Hoewel eerdere literatuur ongelijkmatigheid heeft geïdentificeerd over taken, modelschalen, redeneerdieptes en probleemcomplexiteiten, blijft een systematische karakterisering van dit fenomeen specifiek binnen de context van wetenschappelijke ideeëngeneratie onderbelicht. De auteurs stellen dat wetenschappelijke creativiteit, die open-ended en generatief is, een ideale lens biedt om deze capaciteitsverschillen bloot te leggen. Bovendien is er, terwijl eerdere inspanningen om de diversiteit van LLM's te verbeteren vaak afhankelijk zijn van computationally intensive traininginterventies of gestructureerde multi-LLM-workflows die open-ended generatie beperken, behoefte aan inzicht in hoe deze ongelijkmatige randen kunnen worden benut, in plaats van slechts gladgestreken, om door AI aangedreven wetenschappelijke ontdekking te versterken.

Methodologie

Om dit te onderzoeken, introduceren de auteurs SciAidanBench, een benchmarkdataset bestaande uit 155 open-ended wetenschappelijke vragen, gecureerd door onderzoekers van het Brookhaven National Laboratory. De vragen bestrijken zes wetenschappelijke domeinen: Fysica (onderverdeeld in Fundamenteel, Astrofysica, Synchrotron en Gecondenseerde Materie), Chemie, Biologie, Neurowetenschappen, Nanowetenschappen en Milieukunde. De vragen zijn geformuleerd om conceptgeneratie aan te moedigen (bijvoorbeeld "Stel een methode voor voor...") in plaats van feitelijke ophaling.

De studie evalueert 30 varianten van 19 basismodellen van 8 providers (waaronder OpenAI, Anthropic, Google en lokale modellen zoals LLaMA 3.3 en Mistral). Het evaluatieprotocol volgt de AidanBench-methodologie:

1. Iteratieve Generatie: Voor elke vraag wordt een model gevraagd een eerste idee ($r_1$) te genereren en vervolgens iteratief opnieuw te worden geprompt om daaropvolgende ideeën ($r_2, r_3, \dots$) te genereren, terwijl de context van eerdere outputs behouden blijft.
2. Dual-Constraint Evaluatie: Elk nieuw idee moet zowel coherent (logisch consistent en het antwoord op de prompt) als nieuw (onderscheidend van alle eerdere reacties) zijn.
3. Scoremetrieken:
   • Op embedding gebaseerde Nieuwheid: Cosine-afstand tussen de nieuwe reactie en eerdere reacties met behulp van een vooraf getraind embedding-model.
   • Op LLM gebaseerde Nieuwheid: Een judge-LLM (o1-mini) beoordeelt gelijkaardigheidsscores ten opzichte van eerdere reacties.
   • Coherentie: Een judge-LLM beoordeelt logische consistentie op een schaal van 0–100.
   • De generatie stopt wanneer een reactie onder de drempels voor nieuwheid (<0,15) of coherentie (<15) valt. Het totale aantal geldige reacties dient als proxy voor creatief potentieel.

Belangrijkste Bijdragen

1. SciAidanBench: De eerste benchmark die specifiek is ontworpen om de wetenschappelijke creativiteit van LLM's te meten via aanhoudende, open-ended ideeëngeneratie over diverse wetenschappelijke subdomeinen.
2. Karakterisering van Ongelijkmatigheid: Een systematische demonstratie dat ongelijkmatigheid zich manifesteert op drie distincte niveaus:
   • Cross-Task: Algemene creativiteitsverbeteringen vertalen zich niet uniform naar wetenschappelijke creativiteit.
   • Prompt-niveau: Sterkere modellen vertonen hoge variabiliteit, met "uitbarstingen" van creativiteit op specifieke vragen, terwijl ze worstelen met andere.
   • Domeinniveau: Individuele modellen vertonen gefragmenteerde interne profielen, met ongelijkmatige sterktes over wetenschappelijke subdomeinen.
3. Meta-Model Ensembles: De voorstelling en evaluatie van ensemble-strategieën die ongelijkmatigheid behandelen als een hulpbron. De auteurs introduceren mechanismen om modellen te combineren:
   • Inference-Time Compute: Benutting van redeneertokens om de oplossingsruimte te vergroten.
   • Kennispooling: Het routeren van vragen naar modellen met specifieke domeinsterktes.
   • Brainstormen: Het mogelijk maken van cross-model idee-verfijning waarbij modellen voortbouwen op elkaars outputs.
   • Top-5-Parallel: Een configuratie die alle drie de mechanismen integreert.

Resultaten

• Cross-Task Divergentie: Hoewel algemene en wetenschappelijke creativiteit positief gecorreleerd zijn ($r=0,76$), is het verband niet uniform. Modellen die hoog scoren in algemene creativiteit, scoren niet noodzakelijk hoog in wetenschappelijke creativiteit. Bijvoorbeeld, OpenAI-modellen toonden sterke algemene creativiteit maar bereikten een plateau in wetenschappelijke taken, terwijl Anthropic-modellen uitblonken in wetenschappelijke creativiteit ten opzichte van hun algemene prestaties.
• Prompt-niveau Variabiliteit: Sterkere modellen (bijvoorbeeld o3-high, Gemini-2.5-Pro) vertonen bredere verdelingen van het aantal reacties, wat aangeeft dat hun hogere gemiddelde scores worden gedreven door "uitbarstingen" van hoge creativiteit op specifieke prompts in plaats van uniforme verbetering. Zwakkere modellen tonen consequent lage, smalle verdelingen.
• Domeinfragmentatie: Top-presterende modellen tonen duidelijke pieken in prestaties over subdomeinen. Bijvoorbeeld, Gemini-2.5-Pro excelleerde in Gecondenseerde Materie Fysica maar was zwakker in Nanowetenschappen, terwijl Claude-3.7-Sonnet-Thinking-16k het sterkst was in Neurowetenschappen maar zwakker in Fundamentele Fysica.
• Ensemble-Superioriteit:
  • Inference-Time Compute: Redeneermodellen (bijvoorbeeld Claude-3.7-Sonnet-Thinking) presteerden significant beter dan niet-redeneervarianten, waarbij de prestaties de werkelijke tokenconsumptie volgden in plaats van het toegewezen budget.
  • Kennispooling: Een "Router"-ensemble, dat vragen doorstuurde naar het best presterende model voor elk specifiek domein, overtrof het sterkste individuele model in elk domein.
  • Brainstormen: Een "Top-5"-ensemble (steekproeven uit de vijf beste individuele modellen) presteerde beter dan alle individuele modellen. Een "Top-5 Vendors"-ensemble (diversificatie per provider, maar niet noodzakelijk per capaciteit) slaagde er echter niet in om het sterkste individuele model te overtreffen, wat suggereert dat het capaciteitsniveau kritischer is dan vendor-diversiteit alleen.
  • Top-5-Parallel: Het ensemble dat inference-time compute, kennispooling en brainstormen combineerde, behaalde de hoogste scores op zowel algemene als wetenschappelijke creativiteitsbenchmarks, en presteerde beter dan elk enkel model of ensemble met één mechanisme.

Betekenis en Claims

Het artikel betoogt dat ongelijkmatigheid niet slechts een beperking is, maar een structurele hulpbron van AI-vooruitgang. In plaats van ongelijkmatige capaciteitsprofielen te zien als defecten die gladgestreken moeten worden door schaling of uitlijning, tonen de auteurs aan dat deze onregelmatigheden kunnen worden benut. Door heterogene modellen te orkestreren via meta-model ensembles, is het mogelijk fragmentatie om te zetten in synergie, waardoor wetenschappelijke ideeëngeneratie wordt versterkt tot buiten de grenzen van elk enkel model.

De auteurs concluderen dat toekomstige winst in open-ended wetenschappelijke ideeëngeneratie steeds meer zal voortkomen uit systemen die ongelijkmatige intelligentie expliciet herkennen, meten en orkestreren. Zij suggereren dat toekomstig onderzoek delibere prompt-perturbaties moet verkennen (bijvoorbeeld cross-domein seeding) om onderbenutte creatieve modi te bereiken en optimale teamstructuren (hiërarchisch versus horizontaal) voor collaboratieve ensembles moet onderzoeken. Het werk positioneert SciAidanBench zowel als een benchmark voor wetenschappelijke ideatie als een raamwerk voor het blootleggen en benutten van structurele heterogeniteit in modelcapaciteiten.