Reward Modeling for Scientific Writing Evaluation

Probleemstelling

Het evalueren van wetenschappelijk schrijven is een complexe taak die diepgaande domeinkennis, specifieke taakeisen en redeneervermogen vereist. Hoewel er veel onderzoek is gedaan naar het genereren van wetenschappelijke teksten door Large Language Models (LLM's), blijft de evaluatie hiervan een uitdaging. Bestaande methoden, zoals "LLM-as-a-judge" benaderingen en standaard beloningmodellen (reward models), zijn vaak geoptimaliseerd voor algemene benchmarks met vaste beoordelingsrubrieken. Ze falen echter vaak bij het redeneren over de specifieke, vaak schaarse kennis van wetenschappelijke domeinen en kunnen moeilijk omgaan met dynamische, meerdimensionale beoordelingscriteria. Bovendien is het finetunen van een apart model voor elke specifieke wetenschappelijke taak kostbaar en onpraktisch, vooral in low-resource scenario's.

Methodologie

De auteurs stellen een kostenefficiënt, open-source beloningmodel voor, genaamd SciRM (Scientific Reward Model), en een geavanceerde variant SciRM-REF. De kern van hun aanpak is een twee-fasen trainingsframework dat gebruikmaakt van Reinforcement Learning (specifiek het GRPO-algoritme):

1. Fase 1: Optimalisatie van evaluatievoorkeuren:
   Het model wordt getraind om wetenschappelijke teksten te evalueren op basis van een expliciete "constitutie" (evaluatierichtlijnen, criteria en score-rubrieken) die als context wordt meegegeven. Het model leert om te redeneren over deze criteria en een score te geven. De beloningsfunctie straft formatfouten en onjuiste scores af, terwijl het correcte scores beloont.

2. Fase 2: Optimalisatie van redeneervermogen (SciRM-REF):
   In deze fase wordt het model aangespoord tot zelfreflectie. Het model genereert eerst een oordeel, waarna het wordt gevraagd om dit oordeel te herzien op basis van de oorspronkelijke criteria en de eigen redenering. De beloningsfunctie hier is specifiek ontworpen om zelfcorrectie te belonen (als het model een fout maakt en deze corrigeert, krijgt het de hoogste beloning) en terugval te straffen. Dit versterkt het vermogen om de evaluatiecriteria diep te doorgronden en consistent toe te passen.

Data en Training:
De modellen worden getraind op een geaggregeerde dataset van diverse wetenschappelijke taken, waaronder het genereren van gerelateerd werk (related work), peer reviews, beoordeling van originaliteit (novelty) en het reviseren van teksten. Door deze taken gezamenlijk te trainen, wordt het model robuust gemaakt voor verschillende score-rubrieken en evaluatiecriteria.

Belangrijkste Bijdragen

1. Specifieke Beloningmodellen: Introductie van SciRM en SciRM-REF, modellen die specifiek zijn ontworpen voor de evaluatie van wetenschappelijk schrijven in plaats van algemene taken.
2. Twee-fasen RL-strategie: Een innovatieve trainingsmethode die eerst voorkeuren leert en vervolgens redeneervermogen versterkt via zelfreflectie, waardoor het model beter kan omgaan met dynamische evaluatieregels.
3. Multi-aspect Evaluatie: In plaats van één geaggregeerde score, evalueren de modellen teksten op meerdere aspecten (bijv. actieerbaarheid, grondigheid, verifieerbaarheid), wat de betrouwbaarheid en interpreteerbaarheid vergroot.
4. Generalisatie: Het model is getraind op diverse taken en kan worden toegepast op nieuwe, ongezette wetenschappelijke evaluatietaken zonder dat er taakspecifiek her-training nodig is.

Resultaten

Experimentele analyses tonen aan dat de voorgestelde modellen aanzienlijk beter presteren dan bestaande baselines, waaronder:

• Algemene open-weight LLM's (zoals Qwen, Llama, Granite).
• Gespecialiseerde evaluatiemodellen (zoals Prometheus, Selene).
• Propriëtaire modellen (zoals GPT-5.2 en o3-mini).

Kernbevindingen:

• Prestatie op bekende taken: SciRM en SciRM-REF behalen de hoogste nauwkeurigheid op taken die tijdens het trainen zijn gezien (bijv. evaluatie van reviews en gerelateerd werk).
• Generalisatie naar ongezette taken: De modellen presteren sterk op volledig nieuwe taken (zoals het beoordelen van originaliteit en tekstrevisie) die niet in de trainingsdata zaten. SciRM-REF presteert hier zelfs beter dan SciRM, wat aantoont dat de tweede trainingsfase het redeneervermogen effectief verbetert.
• Redenering: Kwalitatieve analyses van de "reasoning traces" tonen aan dat de modellen beter in staat zijn om zich te houden aan de gegeven criteria en minder snel aannames doen die niet onderbouwd zijn, in tegenstelling tot basismodellen die vaak speculeren.

Betekenis en Impact

Dit werk is van groot belang voor de wetenschappelijke gemeenschap en de ontwikkeling van AI voor wetenschap:

• Betrouwbare Evaluatie: Het biedt een oplossing voor het gebrek aan betrouwbare evaluatiemethoden voor wetenschappelijke teksten, wat essentieel is voor de ontwikkeling van betere generatiemodellen.
• Kostenefficiëntie: Door open-source modellen te gebruiken die generaliseren over verschillende taken, wordt de afhankelijkheid van dure, gesloten API's (zoals GPT-4/5) voor evaluatie verminderd.
• Toekomstige Toepassingen: De modellen kunnen dienen als "rewards" voor Reinforcement Learning om wetenschappelijke tekstgeneratie direct te verbeteren, waardoor generatoren kunnen worden getraind om teksten te produceren die voldoen aan complexe, expert-gedreven criteria.

Kortom, SciRM en SciRM-REF stellen een nieuwe standaard neer voor het automatisch evalueren van wetenschappelijk schrijven door een combinatie van expliciete criteria, geavanceerd redeneervermogen en sterke generalisatievermogen.