💬 NLP

Improving Data and Reward Design for Scientific Reasoning in Large Language Models

Dit onderzoek introduceert de "Dr. SCI"-pijplijn, een systeem voor dataverwerking en post-training (SFT en RL) dat wetenschappelijk redeneren in taalmodellen aanzienlijk verbetert door middel van een grootschalige dataset en een op rubrieken gebaseerde beloningsstructuur voor open vragen.

Oorspronkelijke auteurs: Zijie Chen, Zhenghao Lin, Xiao Liu, Zhenzhong Lan, Yeyun Gong, Peng Cheng

Gepubliceerd 2026-02-11

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zijie Chen, Zhenghao Lin, Xiao Liu, Zhenzhong Lan, Yeyun Gong, Peng Cheng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot aan het trainen bent om een wetenschapper te worden. Je wilt dat hij niet alleen weet dat de aarde rond is, maar dat hij ook ingewikkelde vragen kan beantwoorden over biologie, natuurkunde en scheikunde—vragen waar geen simpel 'ja' of 'nee' op mogelijk is.

Dit onderzoek, genaamd Dr. SCI, is eigenlijk een handleiding om die robot veel slimmer en betrouwbaarder te maken.

Hier is hoe ze dat doen, uitgelegd met een paar simpele vergelijkingen:

1. De "Super-Bibliotheek" (Het Dr. SCI Dataset)

Stel je voor dat je een student wilt leren over de ruimte. Je kunt hem een stapel willekeurige kranten geven, maar dat is een rommeltje. De onderzoekers hebben in plaats daarvan een perfect georganiseerde bibliotheek gebouwd met meer dan een miljoen wetenschappelijke vragen.

Het bijzondere is dat ze de boeken hebben gesorteerd:

De Rekensommen: Vragen met één duidelijk antwoord (zoals: "Wat is 2+2?"). Dit is makkelijk te controleren.
De Verhalen: Vragen die uitleg nodig hebben (zoals: "Hoe werkt evolutie?"). Dit is veel lastiger, want er is niet één "juist" antwoord, maar wel een "goed" antwoord.

2. De "Slimme Trainingsschema" (De Post-training Pipeline)

Om de robot echt te laten leren, gebruiken ze drie slimme trucjes:

A. De "Brede Horizon" Methode (Exploration-Expanding SFT)
Als je een muzikant wilt leren, wil je niet dat hij alleen maar steeds hetzelfde liedje speelt. Je wilt dat hij verschillende stijlen leert: jazz, klassiek, rock. De onderzoekers zorgen ervoor dat de robot in het begin een enorme variëteit aan manieren leert om na te denken, zodat hij later niet "vastloopt" in één manier van redeneren.

B. De "Trapsgewijze Uitdaging" (Dynamic Difficulty Curriculum)
Je leert een kind niet direct de hogere wiskunde van de universiteit; je begint met tellen. De onderzoekers gebruiken een systeem dat de moeilijkheid van de vragen aanpast aan wat de robot al kan. Als de robot een onderwerp "meester" is, krijgt hij direct een moeilijkere uitdaging. Zo blijft de robot altijd aan het leren zonder gefrustreerd te raken door te moeilijke vragen of te verveeld te raken door te makkelijke.

C. De "Gedetailleerde Meester" (SciRubric-Guided RL)
Dit is het meest geniale deel. Normaal gesproken krijgt een robot bij een foutje alleen te horen: "Fout!" Dat is als een leraar die alleen zegt "Nee" zonder uit te leggen waarom.

De onderzoekers hebben een systeem gebouwd dat werkt met een scorekaart (een rubric). In plaats van alleen te kijken of het eindantwoord klopt, kijkt de "digitale leraar" naar de details:

Heeft de robot de juiste termen gebruikt? (De basis)
Is de logica stap voor stap goed? (De diepgang)
Heeft hij geen domme foutjes gemaakt? (De valkuilen)

Het is alsof je een kok beoordeelt: we kijken niet alleen of het eten smaakt, maar ook of de groenten vers zijn, of de presentatie mooi is en of de saus de juiste dikte heeft.

Het Resultaat

Door deze methode te gebruiken, hebben ze een relatief kleine robot (een "4B" model, wat in AI-termen een compact model is) getraind die sterker presteert dan veel grotere en duurdere robots, zoals de bekende modellen van OpenAI (GPT-4o).

Kortom: Ze hebben niet geprobeerd de robot simpelweg méér te laten lezen, maar ze hebben hem geleerd hoe hij moet denken, met een perfecte bibliotheek, een slim trainingsschema en een leraar die heel precies uitlegt wat er goed en fout gaat.

Technische Samenvatting: Verbetering van Data- en Beloningsontwerp voor Wetenschappelijk Redeneren in Large Language Models

1. Het Probleem: De Bottleneck in Wetenschappelijke Post-training

Hoewel Large Language Models (LLM's) uitblinken in gestructureerd redeneren (zoals wiskunde en code), blijven ze tekortschieten bij open vragen in de STEM-domeinen (Science, Technology, Engineering, Mathematics). Het fundamentele probleem is dat de huidige post-training methoden (SFT en RL) onbetrouwbaar zijn voor wetenschappelijke contexten vanwege:

Onbetrouwbare supervisie: Wetenschappelijke antwoorden zijn vaak vrije tekst, waardoor eenvoudige string-matching of regelgebaseerde verificatie faalt.
Gebrek aan kwalitatieve data: Bestaande datasets zijn vaak ofwel te simpel, ofwel gericht op meerkeuzevragen, waardoor ze niet geschikt zijn voor het trainen van diepgaand redeneervermogen.
Instabiele beloningssignalen (Rewards): Bij Reinforcement Learning (RL) leiden generatieve beloningsmodellen vaak tot "reward hacking" (het optimaliseren van de score zonder de vraag correct te beantwoorden) of "point-chasing" (het extreem lang maken van antwoorden om meer punten te scoren).

2. Methodologie: De Dr. SCI Pipeline

De auteurs introduceren de Dr. SCI pipeline, die een holistische aanpak hanteert voor zowel data-curatie als het trainingsproces.

A. De Dr. SCI Dataset

De onderzoekers hebben een systematische pipeline ontwikkeld die heterogene open-source bronnen transformeert naar een gestructureerde dataset van 1 miljoen vragen over acht STEM-onderwerpen. Belangrijke kenmerken zijn:

Splitsing: Een duidelijke scheiding tussen verifieerbare vragen (met deterministische antwoorden) en open-ended vragen.
Moeilijkheidsgraad: Schaalbare annotaties van de moeilijkheidsgraad (gebaseerd op de succesratio van model-rollouts).
Fine-grained Rubrics: Voor open vragen zijn gedetailleerde beoordelingscriteria (rubrics) gegenereerd met behulp van OpenAI o3. Deze rubrics categoriseren criteria als Essential, Important, Optional, of Pitfall.

B. De Post-training Strategie

De pipeline herontwerpt de standaard SFT $\rightarrow$ RL workflow via drie innovatieve componenten:

Exploration-Expanding SFT (EESFT): In plaats van willekeurige data te gebruiken, selecteert deze methode data die de diversiteit van redeneerpatronen maximaliseert (gemeten via 4-gram novelty). Dit vergroot de "exploratie-plafond" voor de daaropvolgende RL-fase.
Dynamic Difficulty Curriculum: Tijdens de RL-fase past het model de trainingsdata continu aan. Zodra het model een bepaald niveau van moeilijkheid beheerst, worden de makkelijke vragen vervangen door moeilijkere vragen uit de dataset. Dit houdt het leerproces stabiel en efficiënt.
SciRubric-Guided RL: Dit is de kernoplossing voor open vragen. De beloning ( $R$ $R$ ) wordt berekend door een gewogen combinatie van:
- De correctheid van het uiteindelijke antwoord (met hoge prioriteit).
- De mate waarin de specifieke rubrics (criteria) worden vervuld.
  Dit voorkomt dat het model alleen maar "punten verzamelt" zonder het daadwerkelijke wetenschappelijke probleem op te lossen.

3. Belangrijkste Bijdragen

Dr. SCI Dataset: Een grootschalige, hoogwaardige dataset die specifiek is ontworpen voor wetenschappelijke RL, inclusief gestructureerde rubrics.
Nieuw Beloningsmechanisme: Een methode die de stabiliteit van RL voor open-ended wetenschappelijke vragen waarborgt door expliciete correctheid te koppelen aan gedetailleerde criteria.
Efficiënte Training: Het aantonen dat een compact model (4B parameters) door superieure data en beloningsontwerp kan presteren op het niveau van veel grotere modellen.

4. Resultaten

De resultaten zijn zeer indrukwekkend, vooral wanneer men kijkt naar de verhouding tussen modelgrootte en prestaties:

Superieure Prestaties: Het getrainde Qwen3-4B-think model overtreft sterke baselines zoals o1-mini en GPT-4o op cruciale benchmarks zoals GPQA-diamond en HLE.
Open-ended Succes: Op de GPQA-general benchmark (die specifiek open vragen test) behaalt het model een score van 32.4, wat een enorme verbetering is ten opzichte van het basismodel (5.62).
Ablatie-inzichten: De experimenten bevestigen dat EESFT de exploratie verbetert, het curriculum de efficiëntie verhoogt, en de SciRubric-beloning "reward hacking" effectief tegengaat.

5. Betekenis en Impact

Dit onderzoek verschuift de focus in de AI-wereld van "grotere modellen" naar "betere data en betere beloningsstructuren". Het biedt een blauwdruk voor hoe LLM's kunnen worden getraind om complexe, niet-gestructureerde wetenschappelijke problemen op te lossen. Dit heeft grote implicaties voor de ontwikkeling van AI-assistenten in de wetenschap, onderwijs en medische sectoren, waar nauwkeurige en verifieerbare redenering van cruciaal belang is.