ScholarEval: Research Idea Evaluation Grounded in Literature

Dit artikel introduceert ScholarEval, een op literatuur gebaseerd evaluatiekader voor onderzoeksideeën dat, ondersteund door het nieuwe ScholarIdeas-dataset, significant betere resultaten behaalt dan bestaande baselines en geavanceerde AI-systemen op het gebied van deugdelijkheid, bijdrage en bruikbaarheid.

De kern

Stel je voor dat je een briljant idee hebt voor een nieuw uitvinding, bijvoorbeeld een machine die de lucht schoner maakt. Je schrijft je plan op: "Ik ga deze motor bouwen, die werkt met dit specifieke gas, en ik test het in deze stad."

Nu komt de moeilijke vraag: Is dit idee wel goed? Gaat het werken, of is het een droom die nooit uitkomt? En is het wel echt iets nieuws, of heeft iemand dat al eerder bedacht?

Vroeger moest je daarvoor wachten tot je een expert (een professor of een senior onderzoeker) kon vinden die tijd had om je plan te lezen en te beoordelen. Dat kostte tijd en geld. Vandaag de dag proberen we dit te automatiseren met kunstmatige intelligentie (AI). Maar hier zit een probleem: de huidige AI's zijn vaak goed in het bedenken van ideeën, maar slecht in het controleren of die ideeën ook echt haalbaar zijn. Ze kunnen zomaar een idee bedenken dat klinkt als magie, maar in de echte wereld zou het direct mislukken.

Dit is waar het onderzoek ScholarEval om de hoek komt kijken.

Wat is ScholarEval?

ScholarEval is als een super-slimme, onuitputtelijke bibliotheekbeheerder die ook nog eens een kritische wetenschapper is.

In plaats van dat de AI alleen maar "raadt" of een idee goed is, gaat ScholarEval op zoek naar het bewijs in de echte wereld. Het doet dit door twee belangrijke vragen te stellen, net zoals een strenge maar behulpzame mentor:

1. Is het plan logisch? (Soundness)

   • De analogie: Stel je voor dat je zegt: "Ik ga een brug bouwen met spaghetti." Een normale AI zou misschien zeggen: "Cool idee!" Maar ScholarEval gaat direct naar de boekenkast en zegt: "Wacht even, in 50 andere boeken staat dat spaghetti niet sterk genoeg is om een brug te dragen. Je plan is niet 'sound' (niet stevig)."
   • Het zoekt in duizenden bestaande wetenschappelijke artikelen om te zien of de methoden die jij voorstelt, in het verleden wel eens hebben gewerkt of juist faalden.

2. Is het iets nieuws? (Contribution)

   • De analogie: Stel je voor dat je zegt: "Ik heb een nieuwe manier bedacht om koffie te zetten." ScholarEval kijkt in de geschiedenisboeken en zegt: "Oké, je gebruikt een nieuwe kop, maar de manier waarop je de koffie zet is precies hetzelfde als wat er al 100 jaar gebeurt. Je hebt niets nieuws toegevoegd."
   • Het vergelijkt je idee met alles wat er al bestaat om te zien of je echt een stap vooruit zet, of dat je gewoon het wiel opnieuw uitvindt.

Hoe werkt het precies?

ScholarEval werkt in vier stappen, alsof het een detective is die een zaak oplost:

1. Het plan ontleed: Het leest je idee en haalt alle losse onderdelen eruit (de motor, het gas, de testlocatie).
2. Het gaat zoeken: Voor elk onderdeel zoekt het in een enorme database (Semantic Scholar) naar vergelijkbare experimenten uit het verleden.
3. Het vergelijkt: Het kijkt of jouw plan lijkt op wat anderen hebben gedaan. Heeft het gewerkt? Waar liepen ze vast?
4. Het geeft feedback: Het schrijft een verslag voor je. Niet alleen met een cijfer, maar met concrete tips: "Je idee is goed, maar je vergeet dat je gas te heet wordt. Kijk naar artikel X, daar lossen ze dat op met een koelsysteem."

Waarom is dit zo belangrijk?

De onderzoekers hebben een nieuwe database gemaakt genaamd ScholarIdeas. Dit is een verzameling van 117 echte onderzoeksplannen uit verschillende vakgebieden (zoals kunstmatige intelligentie, hersenonderzoek, chemie en ecologie), elk met een beoordeling van echte menselijke experts.

Ze hebben ScholarEval getest tegen de beste andere AI's (zoals de "Deep Research" van OpenAI). Het resultaat?

• Minder hallucinaties: Andere AI's verzonnen vaak bronnen of citeerden verkeerde artikelen (alsof ze een boek noemen dat niet bestaat). ScholarEval citeert alleen echte, bestaande boeken.
• Diepere inzichten: ScholarEval gaf veel meer nuttige tips. Terwijl andere AI's zeiden "Dit klinkt goed", zei ScholarEval "Dit klinkt goed, maar let op: in 2018 probeerde iemand dit en faalde het omdat..."
• Mensen geven de voorkeur: In een test met 18 echte experts (professors en promovendi) vonden de mensen dat ScholarEval veel nuttiger was dan de concurrenten. Ze vonden de tips concreet en konden er echt iets mee.

De conclusie

ScholarEval is als het hebben van een onvermoeibare assistent die je helpt om je ideeën te verbeteren voordat je überhaupt begint met bouwen of experimenteren. Het voorkomt dat je tijd en geld verspilt aan ideeën die al bewezen zijn om te mislukken, en helpt je om je ideeën sterker en innovatiever te maken.

Het is een stap in de richting van een toekomst waarin AI niet alleen ideeën bedenkt, maar ook helpt om te zorgen dat die ideeën echt werken in de wetenschappelijke wereld.

Technische samenvatting

Probleemstelling

Het genereren en evalueren van onderzoeksideeën is een kritieke, maar uitdagende stap in de wetenschappelijke cyclus. Hoewel AI-tools steeds vaker worden gebruikt om nieuwe ideeën te genereren, ontbreekt het aan robuuste methoden om deze ideeën vooraf uitvoerig te evalueren. Bestaande systemen zijn vaak beperkt tot het voorspellen van resultaten, het beoordelen van slechts één dimensie (zoals originaliteit), of het geven van vaag en niet-actiegericht feedback. Dit leidt tot een "ideatie-executie gap": veel veelbelovende AI-gegenereerde ideeën blijken onuitvoerbaar of inefficiënt wanneer ze daadwerkelijk worden uitgevoerd, wat leidt tot aanzienlijke kosten in termen van tijd en middelen. Er is een dringende behoefte aan een systeem dat onderzoeksideeën grondig evalueert op basis van recente literatuur, met name op het gebied van soundness (wetenschappelijke geldigheid) en contribution (bijdrage aan het veld).

Methodologie: ScholarEval

ScholarEval is een retrieval-augmented evaluatieframework dat onderzoeksideeën beoordeelt door ze te vergelijken met de bestaande literatuur. Het systeem werkt in twee hoofdmodules:

1. Soundness Module (Geldigheid):

   • Doel: Beoordelen of de voorgestelde methoden empirisch valide zijn.
   • Proces:
     • Methode-extractie: Het systeem haalt alle methodologische componenten (algoritmen, experimenten, protocollen) uit het onderzoeksvoorstel.
     • Context-retrieval: Voor elke methode worden zoekopdrachten gegenereerd voor Semantic Scholar om relevante literatuur te vinden.
     • Summarisatie: Het systeem downloadt en analyseert de volledige teksten van relevante papers (met name methoden- en resultaatsecties) om te bepalen of vergelijkbare methoden in het verleden succesvol waren of gefaald hebben.
     • Synthese: Er wordt een evaluatie gegenereerd met drie secties: Support (bewijs voor de methode), Contradictions (bewijs dat de methode tegenspreekt of beperkingen aantoont), en Suggestions (actiegericht advies om de methode te verbeteren).

2. Contribution Module (Bijdrage):

   • Doel: Beoordelen van de originaliteit en de mate van vooruitgang ten opzichte van bestaand werk.
   • Proces:
     • Dimensie-extractie: Het systeem identificeert de specifieke dimensies waarop het idee bijdraagt (bijv. systemontwerp, dataverzameling, evaluatiemethoden).
     • Paper Discovery: Een brede zoektocht naar gerelateerde papers, waarbij abstracts worden gebruikt om een breed scala aan vergelijkbaar werk te vinden.
     • Pairwise Comparison: Het systeem vergelijkt het onderzoeksvoorstel per dimensie met de gevonden papers om te bepalen waar het idee nieuw is en waar het overlap vertoont.
     • Synthese: Een evaluatie wordt samengesteld met secties voor Strengths (nieuwe bijdragen), Weaknesses (gebieden waar het idee minder nieuw is) en Suggestions voor verbetering.

Het systeem gebruikt een multi-stage pipeline met LLM's (Large Language Models) voor extractie, zoekopdrachtgeneratie en synthesese, maar is volledig gebaseerd op externe, getoetste literatuur om hallucinaties te minimaliseren.

Dataset: ScholarIdeas

Om ScholarEval te evalueren, hebben de auteurs ScholarIdeas ontwikkeld, het eerste expert-geannoteerde dataset voor onderzoeksidee-evaluatie.

• Omvang: 117 onderzoeksideeën uit vier disciplines: Kunstmatige Intelligentie, Neurowetenschappen, Biochemie en Ecologie.
• Aanmaak: Ideeën en reviews zijn retrospectief geëxtraheerd uit bestaande papers (van OpenReview en eLife) en vervolgens gevalideerd door domeinexperts.
• Structuur: Het dataset bevat 1076 specifieke beoordelingsrubrieken (rubrics) die door experts zijn geannoteerd. Deze rubrieken dienen als "ground truth" om te meten of een evaluatiesysteem de juiste punten aanraakt.

Resultaten

De evaluatie toont aan dat ScholarEval significant beter presteert dan bestaande baselines, waaronder sterke LLM's (zoals GPT-4.1, Claude-4) en geavanceerde "deep research" systemen (zoals OpenAI Deep Research).

• Coverage (Dekking): ScholarEval dekt een veel groter percentage van de door experts geannoteerde rubrieken in ScholarIdeas. De beste variant (ScholarEval met Claude) behaalde een significant hogere dekking dan alle baselines, met een verbetering van meer dan 20% ten opzichte van OpenAI Deep Research.
• Referentiekwaliteit: ScholarEval elimineert referentie-invaliditeit (hallucinerende links of verkeerde auteurs). Terwijl baselines tot 80% hallucinatie in citaties vertoonden (bijv. Llama-3.3), had ScholarEval 0% invaliditeit.
• Kwaliteit van Feedback: In een paarsgewijze vergelijking (LLM-as-judge en menselijke experts) werd ScholarEval consequent verkozen boven OpenAI Deep Research op de criteria:
  • Evidence Support: Betere onderbouwing met literatuur.
  • Actionability: Duidelijker en bruikbaarder advies.
  • Depth: Diepere analyse van de geciteerde werken.
• Gebruikersstudie: Een studie met 18 experts (PhD-studenten en hoger) bevestigde dat ScholarEval als nuttiger wordt ervaren, beter in staat is om ideeën te verfijnen en beter engageert met de literatuur dan de concurrentie.

Significantie en Impact

• Vooruitgang in AI voor Wetenschap: ScholarEval beweegt het veld van het genereren van ideeën naar het kritisch evalueren van ideeën, wat essentieel is voor het bouwen van betrouwbare "AI co-scientists".
• Multidisciplinair Toepasbaar: Het framework is discipline-agnostisch en bewijst zijn waarde in uiteenlopende velden, van computationele biologie tot neurowetenschappen.
• Open Science: De auteurs maken de code, het dataset (ScholarIdeas) en het tool zelf openbaar, wat de basis legt voor toekomstig onderzoek naar geautomatiseerde wetenschappelijke evaluatie.
• Betrouwbaarheid: Door strikt te vertrouwen op retrieval-augmented generatie en het vermijden van hallucinaties in citaties, biedt het een betrouwbaar instrument voor onderzoekers om hun ideeën te valideren voordat er dure experimenten worden uitgevoerd.

Kortom, ScholarEval introduceert een nieuwe standaard voor het evalueren van wetenschappelijke ideeën door diepgang, actiegericht advies en strikte onderbouwing in de literatuur te combineren, wat een cruciale stap is in het optimaliseren van de wetenschappelijke innovatiecyclus.