🤖 AI

ScholarPeer: A Context-Aware Multi-Agent Framework for Automated Peer Review

ScholarPeer is een contextbewust multi-agentkader dat het peer-reviewproces verrijkt door de workflow van een senior onderzoeker te simuleren om begeleiding voor de indiening en verificatie na de indiening te bieden, waarbij het superieure prestaties demonstreert in het controleren van technische juistheid en het identificeren van weggelaten vergelijkingen op een groot dataset van ICLR-indieningen.

Oorspronkelijke auteurs: Palash Goyal, Mihir Parmar, Yiwen Song, Hamid Palangi, Tomas Pfister, Jinsung Yoon

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Palash Goyal, Mihir Parmar, Yiwen Song, Hamid Palangi, Tomas Pfister, Jinsung Yoon

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van wetenschappelijk onderzoek voor als een enorme, chaotische bibliotheek waar elk jaar duizenden nieuwe boeken (onderzoeksartikelen) worden geschreven. De mensen die beslissen welke boeken goed genoeg zijn om te worden gepubliceerd (de peer reviewers) verdrinken letterlijk. Ze zijn moe, overweldigd en missen vaak belangrijke details, omdat er simpelweg te veel boeken zijn om zorgvuldig te lezen.

De auteurs van dit artikel, ScholarPeer, zeggen: "We kunnen de menselijke bibliothecarissen niet vervangen, maar we kunnen hen een superkrachtige assistent geven."

Hier is hoe ScholarPeer werkt, uitgelegd via eenvoudige analogieën:

Het Probleem: De "Overweldigde Bibliothecaris"

Op dit moment, wanneer een wetenschapper een artikel schrijft, wacht hij maanden op feedback. Ondertussen proberen de menselijke reviewers:

Te controleren of de wiskunde klopt.
Te ontdekken of de auteur vergeten is zijn werk te vergelijken met de nieuwste, beste methoden (zoals controleren of een nieuwe auto werkelijk sneller is dan de huidige kampioen).
Zeker te stellen dat de auteur niets verzint.

Omdat er zo veel artikelen zijn, missen reviewers vaak de "kampioen"-auto's of raken ze moe en missen ze kleine wiskundige fouten.

De Oplossing: Een "Detective Squad" (Multi-Agent Framework)

In plaats van dat één robot probeert het hele artikel te lezen en het antwoord te raden, gebruikt ScholarPeer een team van gespecialiseerde AI-agenten. Denk hierbij aan een high-end detectivebureau waar elke detective een specifieke taak heeft.

1. De "Samenvattingsagent" (De Snelle Lezer)

Wat hij doet: Hij leest het artikel snel en schrijft een duidelijk, gestructureerd cheat-sheet. Hij haalt de belangrijkste beweringen, de gebruikte methode en het bewijs naar boven.
Waarom het helpt: Het voorkomt dat de andere agenten verdwalen in het midden van een 50-pagina's tellend document. Het geeft hen een duidelijke kaart.

2. De "Historicus-agent" (De Tijdreiziger)

Wat hij doet: Deze agent kijkt naar de volledige geschiedenis van dat specifieke onderwerp. Hij vertelt het team: "Vijf jaar geleden deed iedereen het op deze manier. Twee jaar geleden probeerde iemand dat. Hier is waar het veld op dit moment naartoe gaat."
Waarom het helpt: Het helpt het team te begrijpen of het nieuwe artikel echt een grote stap voorwaarts is of slechts een kleine stap opzij.

3. De "Baseline-scout" (De Schatzoeker)

Wat hij doet: Dit is de meest agressieve agent. Hij gaat op zoek naar de "ontbrekende stukjes". Hij vraagt: "Heeft de auteur zijn werk vergeleken met de allernieuwste methoden? Heeft hij vergeten het te testen op de standaard dataset die iedereen gebruikt?"
Waarom het helpt: Als een auteur beweert dat zijn nieuwe methode de beste is, maar hij heeft vergeten het te vergelijken met de huidige kampioen, dan vindt de Scout die kampioen en wijst hem aan. Het voorkomt dat auteurs liegen door weg te laten.

4. De "Vraag-en-Antwoord-engine" (De Scepticus)

Wat hij doet: Deze agent fungeert als een strenge interviewer. Hij kijkt naar de Samenvatting, de Geschiedenis en de ontbrekende Baselines, en stelt vervolgens moeilijke vragen: "Is deze wiskunde eigenlijk wel mogelijk?" "Bewijst dit experiment wat ze zeggen?" "Is deze bewering waar op basis van wat we weten van andere topartikelen?"
Waarom het helpt: Het graaft diep in de logica om gaten te vinden die een vermoeide mens zou kunnen missen.

5. De "Review-generator" (De Verslaggever)

Wat hij doet: Zodra het team alle feiten heeft verzameld, de ontbrekende vergelijkingen heeft gevonden en de moeilijke vragen heeft gesteld, schrijft deze agent het definitieve rapport. Het combineert alle bevindingen in een duidelijk, nuttig review voor de auteur en de menselijke editor.

Hoe Ze Het Testten

Het team testte ScholarPeer op ongeveer 1.800 echte onderzoeksartikelen die tussen 2020 en 2025 werden ingediend bij een grote computerwetenschapsconferentie (ICLR).

Ze vergeleken ScholarPeer met:

Slimme maar statische modellen: Robots die waren getraind op oude reviews maar geen nieuwe informatie konden opzoeken.
Andere robotteams: Andere AI-systemen die probeerden dezelfde taak te doen.
Menselijke experts: De echte mensen die de artikelen beoordeelden.

De Resultaten:

ScholarPeer won bijna elke keer dat het werd opgesteld tegen andere AI-systemen.
Het was veel beter in het vinden van ontbrekende vergelijkingen en het controleren of de wetenschap klopte.
Het kostte ongeveer $1,20 en duurde ongeveer 10 minuten om een artikel te beoordelen (of minder als het in een batch werd gedaan).

De Conclusie

ScholarPeer probeert niet de menselijke reviewers te ontslaan. In plaats daarvan fungeert het als een super-assistent.

Voor de Auteur: Het is als een strenge maar behulpzame mentor die zegt: "Voordat je dit indient, moet je je werk vergelijken met X en Y, anders wordt je artikel afgewezen."
Voor de Menselijke Reviewer: Het is als een onuitputtelijke onderzoeksassistent die zegt: "Ik heb de ontbrekende baseline gevonden waar je naar op zoek was, en ik heb de wiskunde gecontroleerd. Hier is het bewijs."

Het artikel beweert dat dit systeem het beoordelingsproces sneller, nauwkeuriger en minder vermoeiend maakt voor iedereen die erbij betrokken is.

Technische Samenvatting: ScholarPeer – Een Multi-Agent Framework voor Geautomatiseerd Peer Review

Probleemformulering

De snelle democratisering van kunstmatige intelligentie-onderzoek heeft geleid tot een ongekende explosie in wetenschappelijke output, waardoor het traditionele peer review-proces onder druk staat. Grote machine learning-conferenties staan nu voor een schaalbaarheidscrisis die wordt gekenmerkt door twee primaire knelpunten: auteurs wachten maandenlang op bruikbare feedback, terwijl area chairs en reviewers extreme vermoeidheid ervaren bij het rigoureus controleren van technische validiteit, het handmatig opsporen van ontbrekende baselines en het verifiëren van state-of-the-art (SOTA) claims tegen een snel evoluerende literatuur.

Bestaande geautomatiseerde oplossingen, voornamelijk gebaseerd op fijn afgestemde Large Language Models (LLM's) op statische paper-review paren, evalueren papers vaak in een "parametrische vacuüm". Ze missen de structurele mechanismen om het rigoureuze, bewijsgebaseerde auditproces uit te voeren dat vereist is voor publicatieklare kritieken. Hoewel recente frameworks retrieval of multi-agent architecturen hebben geïntegreerd, richten ze zich voornamelijk op tekstgeneratiebeleid of collaboratieve simulaties in plaats van de actieve, adversariele verificatie die nodig is om weggelaten vergelijkingen en logische inconsistenties te identificeren.

Methodologie

Om deze gaten op te vullen, introduceren de auteurs ScholarPeer, een multi-agent framework dat is ontworpen om de rigoureuze auditworkflow van een senior onderzoeker operationeel te maken. In plaats van menselijk oordeel te vervangen, fungeert ScholarPeer als een "co-wetenschapper" en dient het als mentor voor auteurs en verificatie-assistent voor reviewers.

Het framework koppelt contextualisatie structureel los van kritiek via een dubbelstroom informatie-retrievalproces, dat de cognitieve stroom van een deskundige menselijke reviewer nabootst. De architectuur bestaat uit twee primaire subsystemen:

1. Kennisacquisitie & Contextualisatiemodule

Deze module construeert dynamisch een externe context ( $C_{dynamic}$ ) en transformeert de intrinsieke inhoud van de paper ( $S_{content}$ ) met behulp van vier gespecialiseerde agents:

Samenvattingsagent (Interne Extractie): Mitigeert het "lost-in-the-middle"-fenomeen door ruwe tekst om te zetten in een gestructureerde representatie ( $\hat{S}$ ), waarbij kernclaims, de voorgestelde methode en gerapporteerde bewijzen worden geëxtraheerd. Dit levert een hoogwaardig signaal op voor downstream agents.
Literatuuroverzicht & Uitbreidingsagent: Construeert een "live" referentiekader door een tweestaps-retrievalproces uit te voeren. Het identificeert het subdomein, voert een initiële zoekopdracht uit en breidt de zoekopdracht iteratief uit om gaten te vinden, met als doel recente pre-prints en gelijktijdig werk. Cruciaal is dat het strikte kwaliteitsfilters afdwingt, waardoor resultaten worden beperkt tot top-tier conferenties (bijv. NeurIPS, ICLR, ICML) en arXiv met een publicatiedatum die overeenkomt met de indiening van de paper om bronvervuiling te voorkomen.
Subdomein-Historicusagent: Synthetiseert de opgehaalde literatuur tot een chronologisch "domeinverhaal". Dit bootst het mentale model van een senior onderzoeker na en plaatst de indiening binnen de traject van het veld om de betekenis van bijdragen te beoordelen.
Baseline Scout-agent (Adversariele Audit): Treedt op als een onafhankelijke auditor en zoekt proactief naar SOTA-methoden en datasets waartegen de auteurs geen vergelijking hebben gemaakt. Het retourneert een concrete lijst van weggelaten concurrenten, waarmee bewijs wordt geleverd voor kritieken op technische validiteit.

2. Multi-Aspect Q&A-engine en Reviewgeneratie

Dit subsysteem gebruikt de gestructureerde samenvatting en de dynamische context om de paper rigoureus te toetsen voordat het het definitieve rapport genereert:

Multi-Aspect Q&A-agents: Toegewijde query- en antwoordagents fungeren als "sceptici" voor twee kritieke aspecten: Novelty & Significance (Nieuwheid & Betekenis) en Technical Soundness (Technische Validiteit).
- De Novelty-agent somt bijdrageclaims op en genereert vragen om deze te verifiëren tegen het domeinverhaal en de literatuur. De antwoordagent gebruikt actieve zoekopdrachten om claims te kruisverwijzen met top-tier venues.
- De Technical Soundness-agent genereert vragen om logische consistentie, experimentele validiteit en wiskundige striktheid te onderzoeken. De antwoordagent kruisverwijst claims tegen de eigen methodologie van de paper om interne inconsistenties, onmogelijke beperkingen of ongepaste metrieken te identificeren.
Review Generator-agent: Synthetiseert het definitieve rapport door de gestructureerde samenvatting en de geverifieerde Q&A-paren te integreren. Gecodeerd op basis van expliciete conferentiereviewrichtlijnen (bijv. NeurIPS-checklists), aggregeert deze agent bevindingen en produceert een op de venue afgestemde kritiek.

Belangrijkste Bijdragen

Het paper presenteert drie primaire bijdragen:

ScholarPeer Framework: Een multi-agent systeem dat actieve, zoekopdracht-gedreven ondervraging uitvoert om author-iteratie te versnellen en menselijk reviewer-oordeel te versterken.
Gespecialiseerde Agent Architectuur: De introductie van historicus-, baseline scout- en Q&A-agents die gezamenlijk interne logische consistentiecontroles uitvoeren en externe verificatie op web-schaal tegen top-tier academische venues.
Uitgebreide Evaluatie: Uitgebreide tests op $\sim$ 1.800 ICLR-indieningen (2020–2025) met behulp van een nieuw dataset, ScholarEval, en nieuwe metrieken waaronder de H-Max score (kalibratie van AI-kritiekkwaliteit tegen de beste menselijke punten) en Review Diversity Score (beoordeling van perspectiefvariatie).

Experimentele Resultaten

ScholarPeer werd geëvalueerd tegen state-of-the-art fijn afgestemde modellen (bijv. CycleReviewer, DeepReviewer), single-agent baselines en zoekopdracht-verrijkte agentische frameworks (bijv. AgentReview, AI Scientist v2).

Win Rates: ScholarPeer behaalde dominante win rates in side-by-side evaluaties. Het behaalde een 99,6% win rate tegen CycleReviewer-8B, 90,5% tegen DeepReviewer-14B en 73% tegen de sterkste agentische baseline met hetzelfde backbone-model. Zelfs tegen de gesloten bron Stanford Agent Reviewer behaalde het een 54% win rate.
H-Max Score: ScholarPeer behaalde een gemiddelde H-Max score van 6,12 (op een schaal waarbij 5,0 de beste menselijke review vertegenwoordigt), wat significant beter is dan fijn afgestemde modellen (die moeite hadden om boven de 4,0 te komen) en andere agentische baselines. Het scoorde bijzonder hoog in Significance Assessment (6,47) en Constructive Value (5,87).
Diversiteit: Het framework behaalde een Review Diversity Score (RDS) van 0,31, significant hoger dan fijn afgestemde modellen (0,01–0,02) en dichter bij de natuurlijke variatie van menselijke comités (0,43), wat wijst op een verlaagd risico op homogenisatie door een "kunstmatig hive-mind".
Efficiëntie: Het systeem opereert met een latentie van $\sim$ 10 minuten per review (geamortiseerd tot $\sim$ 56 seconden in batchverwerking) en een monetaire kosten van ongeveer $1,20 per paper.

Betekenis en Claims

Het paper beweert dat ScholarPeer een nieuwe standaard zet voor geautomatiseerde kritiek door aan te tonen dat gestructureerd adversariele redenering—in plaats van louter internettoegang of statische fijnafstelling—de essentiële katalysator is voor expert-niveau review.

De auteurs benadrukken dat ScholarPeer niet is ontworpen om het menselijke peer review-systeem te vervangen, maar om te dienen als een co-wetenschapper. Door te fungeren als mentor voor snelle author-iteratie en als een onuitputtelijke verificatie-assistent voor reviewers, levert het systeem zeer bruikbare, verifieerbare bewijzen. Deze aanpak beoogt de toegang tot feedback van hoge kwaliteit te democratiseren en de schaalbaarheidscrisis in wetenschappelijk publiceren te verlichten, waardoor menselijke experts zich kunnen richten op hoogwaardig wetenschappelijk oordeel terwijl het systeem de rigoureuze audit van technische validiteit en literatuurverificatie uitvoert.

De resultaten suggereren dat de multi-agent architectuur, die paperbegrip structureel loskoppelt van externe contextualisatie, de rigoureuze workflow van een senior onderzoeker effectief operationeel maakt, en kritieken produceert die niet alleen technisch accuraat zijn, maar ook diep gecontextualiseerd en constructief.