🤖 AI

SCI-PRM: A Tool Aware Process Reward Model for Scientific Reasoning Verification

Dit artikel introduceert Sci-PRM, een tool-bewust procesbeloningsmodel getraind op de nieuw geconstrueerde SCIPRM70K-dataset om wetenschappelijk redeneren te verbeteren door verfijnde verificatie van het gebruik van tools te bieden en effectieve test-time schaling en reinforcement learning mogelijk te maken via dichte beloningssignalen.

Oorspronkelijke auteurs: Xiangyu Zhao, Hengyuan Zhao, Yiheng Wang, Wanghan Xu, Yuhao Zhou, Qinglong Cao, Zhiwang Zhou, Lei Bai, Wenlong Zhang, Xiao-Ming Wu

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiangyu Zhao, Hengyuan Zhao, Yiheng Wang, Wanghan Xu, Yuhao Zhou, Qinglong Cao, Zhiwang Zhou, Lei Bai, Wenlong Zhang, Xiao-Ming Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student bent die een zeer moeilijk wetenschappelijk examen maakt. Je hebt een tekstboek (je kennis) en een set gespecialiseerde rekenmachines en naslagwerken (je hulpmiddelen).

Het Probleem:
Huidige AI-modellen zijn als studenten die geweldig zijn in het onthouden van feiten, maar slecht in het correct gebruiken van hun hulpmiddelen.

Als je ze een simpele wiskundevraag stelt, krijgen ze het misschien goed.
Maar als je ze vraagt om een specifieke chemische reactie in een database op te zoeken of een complexe natuurkundige simulatie uit te voeren, gaan ze vaak hallucineren. Ze doen alsof ze de gegevens hebben opgezocht terwijl dat niet zo is, of ze schrijven code die er correct uitziet, maar die de computer daadwerkelijk laat crashen.
Bestaande "leraren" (AI-beoordelaars) zijn goed in het controleren van het eindantwoord, maar slecht in het observeren van de student tijdens het werkproces. Ze kunnen niet zien of de student het juiste rekeninstrument gebruikt of dat hij gewoon getallen verzint.

De Oplossing: Sci-PRM
De auteurs van dit artikel hebben een nieuw soort "superleraar" gebouwd genaamd Sci-PRM. Denk aan een strikte, hooggespecialiseerde surveillant die naast de student zit en elke stap van het werk in realtime volgt.

Zo werkt het, met behulp van eenvoudige analogieën:

1. De "Chain-of-Tool" Trainingsdata

Om deze superleraar te onderwijzen, gaven de onderzoekers het niet alleen vragen en antwoorden. Ze creëerden een enorme bibliotheek van 17.800+ wetenschappelijke problemen waarbij de "correcte" manier om ze op te lossen het gebruik van hulpmiddelen vereist (zoals het doorzoeken van het web naar een paper of het draaien van een codescript).

De Analogie: Stel je voor dat je duizenden uren aan video's opneemt waarin experts wetenschappelijke problemen oplossen. De video laat niet alleen het eindresultaat zien, maar ook precies welke knop ze indrukken, welke code ze typen en hoe ze de resultaten interpreteren.
De Twist: Ze voegden ook "negatieve voorbeelheden" toe—video's van mensen die fouten maken, zoals het schrijven van code die een oneindige lus veroorzaakt of het citeren van een nep wetenschappelijk artikel. Dit leert de AI wat ze niet moeten doen.

2. De Drie-Stappen "Proctor" Controle

Wanneer Sci-PRM naar het werk van een student kijkt, zegt het niet alleen "Goed" of "Fout". Het fungeert als een drieledige inspecteur:

Heb je het juiste hulpmiddel gekozen? (bijv. Heb je een biologische database gebruikt om een eiwit op te zoeken, of heb je per ongeluk een rekenmachine voor wiskunde gebruikt?)
Heb je het hulpmiddel correct gebruikt? (bijv. Heb je de chemische formule correct getypt, of heb je een decimaal punt gemist?)
Begrijp je het resultaat? (bijv. Het hulpmiddel gaf een getal. Heb je dit correct geïnterpreteerd, of heb je een verhaal verzonnen dat niet overeenkomt met de gegevens?)

3. Waarom het beter is dan andere "Leraren"

Het artikel vergelijkt Sci-PRM met andere topmodellen (zoals GPT-5-Mini).

De Kloof: Wanneer de taak alleen uit "denken" bestaat (zonder hulpmiddelen), zijn de andere modellen erg goed. Maar zodra de student echter een hulpmiddel moet gebruiken, dalen de cijfers van de andere modellen aanzienlijk. Ze kunnen de subtiele fouten in de code of de nep-citaties niet opsporen.
Het Voordeel van Sci-PRM: Sci-PRM blijft scherp, zelfs wanneer er hulpmiddelen bij betrokken zijn. Het kan een "citatie-hallucinatie" (een nep titel van een paper) of een "logische fout" (code die een crash veroorzaakt) opsporen zonder dat de computer de code daadwerkelijk hoeft uit te voeren.
- Analogie: Andere leraren moeten wachten tot de student het hele experiment heeft voltooid en zien of de bekerglas ontploft voordat ze weten dat het fout was. Sci-PRM kan naar het plan van de student kijken en zeggen: "Stop! Je staat op het punt om chemicaliën te mengen die zullen exploderen," nog voordat er iets gebeurt.

4. Hoe het AI helpt leren (Op twee manieren)

Het artikel laat zien dat Sci-PRM op twee specifieke manieren helpt:

Manier 1: De "Best of N" Selectie (Test-Time Scaling)
Stel je voor dat de AI-student de toestemming krijgt om een probleem op 10 verschillende manieren op te lossen.
- Oude manier: Kies het antwoord dat het meest zelfverzekerd overkomt.
- Sci-PRM manier: Het beoordeelt alle 10 de pogingen, controleert elke stap van de redenering en het gebruik van hulpmiddelen, en kiest de poging waarbij de student daadwerkelijk de regels heeft gevolgd en geen fouten heeft gemaakt. Dit leidt tot veel nauwkeurigere antwoorden.
Manier 2: De "Coach" voor Reinforcement Learning
Wanneer een AI wordt getraind om beter te worden, heeft het feedback nodig.
- Oude manier: De AI probeert het, faalt, en krijgt pas aan het einde te horen dat het "Fout" is. Het weet niet waar het precies fout ging.
- Sci-PRM manier: Het fungeert als een "dense reward signal". Het geeft na elke enkele stap een "duim omhoog" of een "duim omlaag". Dit helpt de AI om veel sneller te leren en het "vanishing advantage" probleem te vermijden (waarbij de AI in de war raakt omdat het niet weet welke specifieke zet tot de mislukking leidde).

De Kern van het Verhaal

Het artikel beweert dat Sci-PRM een gespecialiseerd instrument is dat AI-modellen veel betrouwbaarder maakt in de wetenschap. Het voorkomt dat ze feiten verzinnen of code breken wanneer ze externe hulpmiddelen gebruiken. Dit doet het door te fungeren als een stap-voor-stap toezichthouder die zowel de logica van de wetenschap als de mechanica van de gebruikte hulpmiddelen begrijpt.

Belangrijkste les: Het gaat niet alleen om het krijgen van het juiste antwoord; het gaat erom te bewijzen dat je daar de juiste weg bent gekomen, met de juiste hulpmiddelen, zonder dingen te verzinnen. Sci-PRM is het eerste model dat specifiek is ontworpen om dat "bewijs" te controleren in de complexe wereld van de wetenschap.

Technische Samenvatting: Sci-PRM

Probleemstelling

Hoewel Process Reward Models (PRMs) succes hebben getoond in wiskundige redenering, blijft hun toepassing op complexe wetenschappelijke domeinen (biologie, chemie, fysica, aardwetenschappen) onderbelicht. Wetenschappelijk redeneren verschilt fundamenteel van pure logica; het vereist niet alleen logische coherentie, maar ook strikte naleving van domeinkennis, fysieke beperkingen en feitelijke consistentie. Huidige Large Language Models (LLMs) vertonen vaak domeinspecifieke hallucinaties, zoals het genereren van plausibele maar incorrecte mechanismen, parameters of citaties.

Er bestaat een kritieke kloof in het evalueren van wetenschappelijke redeneertrajecten die gebruikmaken van toolgebruik (gereedschapsgebruik). Generieke beoordelaars (bijv. GPT-5-Mini) behouden een redelijke nauwkeurigheid bij standaard redeneerstappen, maar presteren aanzienlijk slechter bij het evalueren van stappen die wetenschappelijke tool calls bevatten (bijv. code-executie voor moleculaire simulatie of webzoekopdrachten voor literatuur). Bovendien richten bestaande tool-augmented reward modellen zich vaak op generieke omgevingen (rekenmachines, eenvoudige API's) en missen ze de gespecialiseerde capaciteit om wetenschappelijke workflows te verifiëren, zoals het controleren van de geldigheid van een DOI tegenover een paper-titel of het detecteren van logische fouten in code vóór uitvoering. Daarnaast is het vertrouwen op "execution-in-the-loop" voor Reinforcement Learning (RL) in wetenschappelijke ontdekking computationeel onhaalbaar vanwege de hoge latentie van wetenschappelijke tools (bijv. eiwitvouwing-simulaties kunnen minuten of uren duren).

Methodologie

1. Dataset Constructie: SCIPRM70K

De auteurs hebben SCIPRM70K geconstrueerd, een grootschalige dataset met "Chain-of-Tool" trajecten.

Bronnen: Data werd verzameld uit zeven hoogwaardige wetenschappelijke benchmarks (SGI-DeepResearch, SCI-VerifyBench, Mol-Instruct, MSEarth, ChemBench4K, PHYSICS, etc.) die biologie, chemie, fysica en aardwetenschappen beslaan.
Traject Generatie: Een generate–execute–judge paradigma werd toegepast. Sterke tool-geïntegreerde LLM's genereerden redeneerstappen. Wanneer een tool call werd geïnitieerd, pauzeerde het systeem, voerde de tool uit in een echte omgeving (sandbox voor code, zoekmachine voor web) en voegde de werkelijke output toe aan de context voordat het model de redenering hervatte.
Tool Suite: Bevat zoektools voor bewijsretrieval en code-executie tools met wetenschappelijke bibliotheken (RDKit, PySCF, Biopython, NumPy, SymPy).
Labeling Pipeline: Een tweestaps geautomatiseerd labelingproces wijst binaire labels ( $s_t \in \{0, 1\}$ $s_{t} \in {0, 1}$ ) toe aan elke stap:
1. Technische Verificatie: Controleert op uitvoerbaarheid (bijv. syntactische fouten, timeouts, lege zoekresultaten).
2. MCTS Consistentie: Gebruikt Monte Carlo Tree Search (MCTS) rollouts om te verifiëren of een stap consistent leidt naar het juiste gouden antwoord. Een LLM-beoordelaar evalueert toolselectie, argumentnauwkeurigheid en resultaatbenutting.
Statistieken: De dataset bevat 17.818 tool-geïntegreerde trajecten en 86.314 geannoteerde stappen.

2. Model Architectuur: Sci-PRM

Sci-PRM is een tool-bewust Process Reward Model dat getraind is om fijnmazige supervisie te bieden op wetenschappelijke redenering.

Backbone: Geïnitialiseerd met Qwen3-VL-8B om gebruik te maken van multimodale en wetenschappelijke begrijpingscapaciteiten.
Trainingsstrategie (Dual-Stage):
1. Supervised Fine-Tuning (SFT): Het model wordt getraind om zowel het redeneerproces als het stap-correctheidlabel gelijktijdig te voorspellen. Het doel richt zich op het overdragen van domeinspecifieke gronding en het begrijpen van het "stop-and-go" toolgebruik-protocol.
2. Reinforcement Learning (DAPO-GRPO): Om robuustheid en generalisatie te verbeteren, ondergaat het model Dynamic Advantage Policy Optimization (DAPO), een verfijning van Group Relative Policy Optimization (GRPO). Deze fase gebruikt dynamische groepssampling en lengtestraf om efficiënte wetenschappelijke onderzoeksvoering en zelfcorrectie aan te moedigen.
Functie: Sci-PRM wijst een scalaire kwaliteitsscore toe aan een redeneerstap, geconditioneerd op de volledige historie, waarbij onderscheid wordt gemaakt tussen fouten in toolselectie, onnauwkeurigheden in de aanroep en misinterpretaties van resultaten.

3. Toepassingsmodi

Test-Time Scaling (Best-of-N): Gegeven een probleem genereert een basismodel $N$ kandidaat-trajecten. Sci-PRM scoort elke stap, aggregeert deze tot een trajectscore (met een straf voor lengte) en selecteert het meest betrouwbare pad.
RL Reward Signal: Sci-PRM dient als een dense reward signal voor het trainen van tool-gebruikende agenten, wat het "advantage disappearance" probleem vermindert dat vaak voorkomt bij sparse outcome-only rewards.

Belangrijkste Bijdragen

SCIPRM70K Dataset: Een multidisciplinaire dataset met expliciete Chain-of-Thought en Chain-of-Tool trajecten, wat het gesuperviseerd leren van bewijs-gegronde wetenschappelijke redenering mogelijk maakt.
Fijnmazig Supervisie-framework: Een geautomatiseerd labelingframework dat onderscheid maakt tussen fouten in toolselectie, aanroep en resultaatbenutting, wat schaalbare proces-supervisie biedt buiten de wiskunde.
Sci-PRM Model: Een gespecialiseerd reward model dat gedeeltelijke wetenschappelijke redeneertrajecten scoort, wat zowel test-time selectie als zelfcorrectie ondersteunt om betrouwbaarheid te vergroten en hallucinaties te verminderen.
Empirische Validatie: Gedemonstreerde verbeteringen in nauwkeurigheid en feitelijke consistentie over diverse wetenschappelijke benchmarks vergeleken met Outcome Reward Models (ORMs) en generieke tool-use critici.

Experimentele Resultaten

Benchmark Prestaties (SCIPRM-Bench)

Tool-Calling Stappen: Sci-PRM behaalde een Global Tool F1 score van 0.5619, waarmee het de beste closed-source baseline (GPT-5-Mini met 0.5338) en open-source baselines (Qwen3-VL-32B met 0.4569) versloeg.
Niet-Tool-Calling Stappen: Sci-PRM behield competitieve redeneercapaciteiten met een Global No-Tool F1 van 0.8333, vergelijkbaar met GPT-5-Mini (0.8294).
Tool Gap: De prestatiekloof tussen tool-calling en niet-tool-calling stappen voor Sci-PRM (0.2714) was aanzienlijk kleiner dan voor generieke modellen zoals GLM-4.6V (0.3851), wat duidt op een betere specialisatie in toolverificatie.
Search Verification: Bij het detecteren van gehallucineerde citaties behaalde Sci-PRM de hoogste Hallucination Detection Rate (HDR) van 0.8820 en een nauwkeurigheid van 0.7458, waarmee het alle baselines versloeg.

Downstream Impact

Inference (Test-Time Scaling): Het gebruik van Sci-PRM voor Best-of-N selectie op Qwen3-VL-8B verbeterde de nauwkeurigheid over alle benchmarks (bijv. ChemBench: 66.17% vs. 60.13% baseline), waardoor de kloof naar de theoretische Best-of-N upper bound effectief werd gedicht.
Training (RL): Wanneer gebruikt als reward signal voor RL, presteerde Sci-PRM aanzienlijk beter dan Outcome Reward Models (ORMs). Met name op de Mol-Instructions benchmark leverde Sci-PRM een winst op van +14.39% ten opzien van ORM, toegeschreven aan het vermogen om dense feedback te geven op intermediaire logische fouten die ORMs missen.
Efficiëntie: Sci-PRM behaalde een nauwkeurigheid van 0.76 op tool-calling taken met een inferentietijd van 0.76 seconden. Dit contrasteert scherp met execution-based benaderingen (gebruikmakend van sandboxes), die een 0.86 nauwkeurigheid bereikten maar 282.73 seconden per query vereisten door externe API-latenties.

Betekenis

Het artikel betoogt dat wetenschappelijke AI-agents een nieuwe klasse evaluatoren vereisen die "tool-aware" zijn en in staat zijn om het proces van redeneren te verifiëren, niet alleen het uiteindelijke antwoord. Sci-PRM adresseert de kritieke bottleneck van latentie in wetenschappelijke tool-executie door verificatiecapaciteiten te internaliseren, waardoor modellen code-logica fouten en citatie-hallucinaties kunnen detecteren zonder dure runtime-executie. Door het bieden van dense, stap-niveau rewards, maakt Sci-PRM effectievere Reinforcement Learning voor wetenschappelijke ontdekking mogelijk, wat hels helpt modellen door te breken bij prestatieplafonds waar outcome-only supervisie faalt. Het werk onderstreept de noodzaak van fijnmazige proces-supervisie voor het bouwen van betrouwbare, verifieerbare en efficiënte wetenschappelijke AI.