Evaluating LLM-Based Grant Proposal Review via Structured Perturbations

Dit onderzoek toont aan dat hoewel LLM's nuttige aanvullende waarde kunnen bieden bij het beoordelen van EPSRC-subsidieaanvragen, hun prestaties sterk variëren en ze vooral gericht zijn op naleving in plaats van een holistische beoordeling, waarbij een sectievoor-bij-sectie-analyse de meest betrouwbare architectuur blijkt te zijn.

De kern

Stel je voor dat de wereld van wetenschappelijk onderzoek een enorme, drukke postkamer is. Elke dag komen er duizenden brieven binnen: onderzoeksvoorstellen van wetenschappers die geld willen voor hun ideeën. Maar er is een groot probleem: er zijn niet genoeg mensen om al die brieven te lezen. Het is alsof je probeert een oceaan water te drinken met een theelepel. Dit noemen de auteurs een "Malthusiaanse val": er is steeds meer vraag, maar de capaciteit om te beoordelen groeit niet mee.

Om dit op te lossen, denken veel mensen: "Laten we AI (kunstmatige intelligentie) erbij halen!" Maar werkt dat echt? Dat is precies wat dit paper onderzoekt. De auteurs hebben gekeken of slimme computers (LLMs) goed genoeg zijn om deze dure onderzoeksprojecten te beoordelen.

Hier is de samenvatting in begrijpelijke taal, met een paar creatieve vergelijkingen:

1. Het Experiment: De "Vervalste" Brieven

Omdat echte onderzoeksvoorstellen geheim zijn (net als een geheim recept voor een nieuwe drank), konden de auteurs geen echte brieven gebruiken om de AI te testen. In plaats daarvan hebben ze een slim trucje bedacht, noem het "De Vervalste Brief".

• De Opzet: Ze namen 6 echte, goede voorstellen en maakten er opzettelijk slechte versies van.
• De Vervalsingen: Ze veranderden kleine details om fouten te simuleren.
  • Voorbeeld: Ze haalden de uitleg van afkortingen weg (alsof je een brief schrijft in een taal die niemand begrijpt).
  • Voorbeeld: Ze maakten het budget onrealistisch (alsof je vraagt om een miljoen euro voor een fiets).
  • Voorbeeld: Ze veranderden de tijdlijn (alsof je zegt dat je een brug in één dag bouwt).
• De Test: Vervolgens gaven ze deze "vervalste" brieven aan verschillende AI-systemen en vroegen: "Zie jij de fout?"

2. De Drie AI-Strategieën

De auteurs testten drie manieren waarop de AI de brieven kon lezen, vergelijkbaar met drie verschillende manieren om een boek te lezen:

1. De Snelle Lezer (Baseline): De AI leest het hele document in één keer, snel voorbij.
   • Resultaat: Vaak mist hij de details. Het is alsof je een heel boek in één seconde probeert te scannen; je ziet de hoofdpunten, maar mist de kleine foutjes.
2. De Detailleerder (Section-Level): De AI leest het boek hoofdstuk voor hoofdstuk. Eerst het budget, dan het team, dan de ethiek.
   • Resultaat: Dit was de winnaar. Door zich te focussen op één stukje tegelijk, zag deze AI veel meer fouten en gaf hij een betrouwbaarder oordeel.
3. De Raad van Experts (Council of Personas): Dit was een ingewikkelde setup. Ze lieten één AI spelen als vijf verschillende mensen: een "Geldman", een "Ethische Waakhond", een "Tech-enthousiasteling", een "Scepticus" en een "Impact-advocaat". Deze vijf "personas" bespraken het onderling en gaven een gezamenlijk oordeel.
   • Resultaat: Dit was een dure mislukking. Het kostte enorm veel tijd en rekenkracht, maar het resultaat was niet beter dan de simpele "Snelle Lezer". Het was alsof je vijf mensen bij elkaar roept om een brief te lezen, maar ze praten zo veel met elkaar dat ze de brief vergeten.

3. Wat Vonden Ze? (De Verassingen)

• De AI is goed in "Strategische" fouten, slecht in "Duidelijkheid":
  De AI zag heel goed als het budget niet paste bij het doel of als het project niet paste bij de uitnodiging. Maar als de tekst onduidelijk was (bijvoorbeeld: "We gebruiken een nieuw systeem" zonder uitleg wat dat systeem is), zag de AI dit niet.

  • Vergelijking: De AI is als een accountant die ziet dat de bedragen niet kloppen, maar blind is voor slecht geschreven zinnen. Hij vult de gaten in de tekst op in plaats van te zeggen: "Hé, dit is onduidelijk!"

• De AI is te positief en te gericht op regels:
  Menselijke reviewers kijken naar het grote plaatje: "Is dit een briljant idee dat de wereld kan veranderen?" De AI kijkt meer naar: "Zijn de regels gevolgd? Is het budget correct?"

  • Vergelijking: Een menselijke reviewer is als een chef-kok die proeft of de soep lekker is. De AI is als een keurmeester die alleen kijkt of de soep in de juiste kom zit en of het etiket correct is.

• De "Council" (Raad) was te duur:
  Het idee om verschillende AI-persona's te laten samenwerken klinkt geweldig, maar in de praktijk was het te traag en leverde het geen betere resultaten op. Soms is "less is more".

4. De Conclusie: AI als Hulp, niet als Baas

De auteurs concluderen dat we AI niet kunnen gebruiken om onderzoeksvoorstellen volledig zelfstandig te beoordelen. De AI is nog niet slim genoeg om de "ziel" van een onderzoek te begrijpen of om te zien of een idee echt nieuw is.

Maar... AI kan wel een heel nuttige assistent zijn.

• Denk aan AI als een stefan (assistent) die voor de menselijke beoordelaar de administratie checkt: "Heeft de aanvrager het budget correct ingevuld? Zijn de afkortingen uitgelegd? Klopt de tijdlijn?"
• De menselijke expert kan zich dan richten op het moeilijke werk: "Is dit idee briljant? Is het belangrijk voor de maatschappij?"

Kortom: De AI is een handige rekenmachine die goed is in het vinden van kleine foutjes in de regels, maar hij is nog geen wijs beoordelaar die het grote plaatje ziet. We moeten hem gebruiken om ons werk makkelijker te maken, niet om ons werk over te nemen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Evaluating LLM-Based Grant Proposal Review via Structured Perturbations" in het Nederlands.

Probleemstelling

De onderzoekswereld bevindt zich in een "Malthusiaanse val": het aantal grant-aanvragen groeit exponentieel, terwijl de capaciteit voor handmatige beoordeling beperkt blijft. Dit leidt tot uitputting bij reviewers en langere beslissingstijden. Hoewel aanvragers steeds vaker generatieve AI (GenAI) mogen gebruiken voor het opstellen van voorstellen, is dit voor reviewers vaak nog verboden, wat een asymmetrie creëert.

Bestaand onderzoek naar LLM's (Large Language Models) in peer review richt zich voornamelijk op het beoordelen van voltooide wetenschappelijke papers (retrospectief). Grant-beoordeling is echter prospectief en administratief: het vereist het beoordelen van haalbaarheid, waarde voor geld, en nationale impact van nog niet bestaande projecten. Een groot obstakel voor onderzoek in dit domein is de schaarste aan data; echte grant-aanvragen zijn vertrouwelijk en bevatten intellectueel eigendom, waardoor ze zelden openbaar beschikbaar zijn voor training of evaluatie van AI-modellen.

Methodologie

Om de schaarste aan data te omzeilen en de robuustheid van LLM's te testen, ontwikkelen de auteurs een perturbatie-gebaseerd evaluatiekader. In plaats van duizenden nieuwe labels te verzamelen, nemen ze een beperkte set van zes echte EPSRC (Engineering and Physical Sciences Research Council) voorstellen en introduceren ze systematisch gecontroleerde "fouten" (perturbaties).

1. Perturbatie-strategie:
De auteurs definiëren zes kwaliteitsassen, afgeleid van de UKRI-beoordelingscriteria, en passen 42 specifieke perturbaties toe:

• Funding: Inflatie van budgetten, verwijderen van kostenrechtvaardiging.
• Timeline: Onrealistische tijdschema's, misaligning van mijlpalen.
• Competency: Verwijderen van sleutelpersoneel, verzwakken van bewijs van vaardigheden.
• Alignment: Aanpassen van doelstellingen om niet te matchen met de oproep.
• Clarity: Verwijderen van acroniem-uitbreidingen, invoegen van vaagheid.
• Impact: Verwijderen van belanghebbenden of verandering van uitkomstscope.

2. Review Architecturen:
Drie verschillende LLM-review benaderingen worden vergeleken:

• Zero-shot Baseline: Het model ontvangt het volledige voorstel in één keer (context van >30k tokens) en geeft een score en feedback.
• Section-Level Review: Het voorstel wordt opgesplitst in logische groepen (bijv. Visie, Team, Financiën, Ethiek) om de cognitieve last te verlagen en de focus te vergroten.
• Council of Personas: Een ensemble-methode die een expertpanel nabootst. Vijf verschillende persona's (bijv. Kostenanalist, Methodologisch Scepticus, Impact Kampioen) geven onafhankelijk reviews, waarna een "Voorzitter" deze synthetiseert via meerderheidsstemming en meta-review.

3. Evaluatie:

• Detectie: Een panel van drie "judge"-modellen beoordeelt of de LLM-review de geïntroduceerde fout correct heeft geïdentificeerd.
• Feedback Alignement: LLM-feedback wordt vergeleken met echte expertreviews van UKRI-reviewers om te zien of de LLM's dezelfde punten maken, of dat ze afwijken (bijv. door te focussen op compliance in plaats van holistische waarde).

Belangrijkste Bijdragen

1. Perturbatie Framework: Een nieuwe methodologie voor het evalueren van LLM's in data-schaarse, hoog-risico domeinen door gecontroleerde defecten te introduceren in echte documenten.
2. Council of Personas Architectuur: Een ontwerp om de multi-perspectief aard van menselijke expertpanels te simuleren, hoewel de resultaten hierover nuance bieden.
3. Empirische Vergelijking: De eerste systematische analyse van LLM's specifiek voor grant-beoordeling, met een focus op het onderscheid tussen detectie van fouten en de kwaliteit van de feedback ten opzichte van menselijke experts.

Resultaten

De resultaten tonen aan dat de prestaties van LLM's sterk variëren afhankelijk van de architectuur en het type fout:

• Architectuur: De Section-Level benadering presteert significant beter dan zowel de baseline als de Council-methode.
  • Detectie: Section-level heeft de hoogste detectiegraad (µ = 0,29) vergeleken met baseline en council (beide µ = 0,17).
  • Betrouwbaarheid: Section-level heeft de hoogste intra-class correlatie (ICC = 0,50), wat betekent dat de scores consistenter zijn. De Council-methode, ondanks de hoge rekenkosten, presteerde niet beter dan de baseline en was minder betrouwbaar.
• Sensitiviteit per Kwaliteitsas:
  • Alignment: Fouten op het gebied van strategische uitlijning werden het vaakst gedetecteerd (µ = 0,41), waarschijnlijk omdat LLM's de patronen van oproep-documenten uit hun trainingsdata kennen.
  • Clarity: Fouten op het gebied van duidelijkheid (zoals ontbrekende acroniem-uitbreidingen) werden bijna volledig gemist (µ = 0,06). LLM's neigen er eerder toe om contextuele inferentie te gebruiken om ambiguïteit op te lossen, in plaats van te signaleren dat iets ontbreekt.
• Feedback Kwaliteit:
  • LLM-feedback is grotendeels geldig en bevat zelden directe tegenstrijdigheden met menselijke reviewers.
  • Echter, LLM's vertonen een bias naar compliance-checking (bijv. specifieke ethische of data-governance regels) in plaats van de holistische, strategische beoordeling die menselijke experts maken.
  • Menselijke reviewers geven vaak bredere, bevestigende feedback, terwijl LLM's meer gericht zijn op het vinden van specifieke, soms minder relevante, tekortkomingen.

Betekenis en Conclusie

De studie concludeert dat huidige LLM's niet klaar zijn voor volledig geautomatiseerde grant-beoordeling vanwege hun hoge variabiliteit, hun onvermogen om subtiele duidelijkheidsproblemen te detecteren, en hun neiging om prioriteiten te verleggen naar compliance in plaats van wetenschappelijke impact.

Echter, ze bieden wel waardevolle aanvullende ondersteuning binnen het huidige proces, vooral voor het controleren van structurele consistentie en het signaleren van specifieke compliance-risico's, mits onder toezicht van menselijke experts. De auteurs benadrukken dat het oplossen van de "Malthusiaanse val" niet kan door LLM's als vervanging te zien, maar als een hulpmiddel dat de menselijke beoordelaar moet ondersteunen, waarbij de focus ligt op het verbeteren van de holistische redeneercapaciteit van de modellen.