DeepReviewer 2.0: A Traceable Agentic System for Auditable Scientific Peer Review

DeepReviewer 2.0 is een traceerbaar, agentisch systeem voor wetenschappelijk peer review dat een auditabel beoordelingspakket met gefundeerde annotaties en uitvoerbare acties genereert, en dat in tests met ongefineerde modellen de prestaties van geavanceerde concurrenten en menselijke commissies overtreft.

De kern

Stel je voor dat je een heel ingewikkeld recept voor een nieuwe cake hebt geschreven. Je geeft het aan een professionele bakker (de "peer reviewer") om te controleren.

In het verleden gaf de computer vaak een kort, vlot commentaar terug: "Deze cake ziet er goed uit, maar de experimenten zijn niet sterk genoeg."
Het probleem? De bakker (en de auteur) wisten niet waar in het recept het misging. Was het de hoeveelheid suiker? De temperatuur van de oven? Of ontbrak er een ingrediënt? Zonder die specifieke aanwijzingen was het commentaar nutteloos.

DeepReviewer 2.0 is de oplossing voor dit probleem. Het is geen simpele tekstschrijver, maar een slimme, traceerbare assistent die werkt als een detective met een rood potlood.

Hier is hoe het werkt, vertaald in alledaags taal:

1. De "Rode Potlood"-Methode (Traceerbaarheid)

Stel je voor dat DeepReviewer 2.0 niet zomaar een briefje schrijft, maar het originele recept (het wetenschappelijke artikel) opent en direct op de pagina's aanwijzingen zet.

• Als het zegt: "De suiker is te veel," dan markeert het precies de zin op pagina 3 waar de suiker wordt genoemd.
• Het koppelt elke kritiek aan een bewijsstuk uit het document.
• De analogie: Het is alsof een leraar je proefwerk niet alleen een cijfer geeft, maar elke fout omcirkelt en erbij schrijft: "Kijk hier, je hebt de formule verkeerd gebruikt." Je kunt de fout niet meer ontkennen of negeren.

2. De Drie-Fasen Detectie (Het Werkproces)

Het systeem werkt niet in één keer, maar in drie stappen, net als een goede detective:

• Fase 1: De Vooronderzoek (De "Claim-Ledger")
  Het systeem leest het artikel en maakt een lijstje van alle beweringen die de auteur doet. "Deze auteur beweert dat zijn nieuwe methode 50% sneller is." Het noteert: "Oké, waar is het bewijs voor?"
• Fase 2: De Recherche (De "Agenda")
  Nu gaat het systeem op zoek. Het zoekt in andere wetenschappelijke artikelen om te kijken of die "50% sneller" claim wel klopt. Is het echt nieuw, of heeft iemand dat al eerder gedaan?
  • Belangrijk: Het vergelijkt alleen appels met appels. Als de auteur een nieuwe methode test op "appels" en een ander onderzoek deed het op "peren", dan telt dat niet als bewijs dat het niet nieuw is.
• Fase 3: De Actieplannen (De "Reparatie")
  Het systeem stopt niet bij "dit is fout". Het geeft een concreet actieplan. "Schrijf dit stukje op pagina 5 om, voeg een nieuwe tabel toe, en vergelijk je resultaten met die van X." Het zegt niet alleen wat er mis is, maar hoe je het kunt repareren.

3. De "Poortwachter" (Export Gate)

Dit is het slimme deel. Het systeem mag pas zijn eindrapport uitsturen als het aan strenge regels voldoet.

• Heeft het genoeg bewijsstukken gevonden?
• Zijn alle kritiekpunten gekoppeld aan een specifieke plek in het document?
• Is er een duidelijk plan voor verbetering?

Als het antwoord "nee" is, gooit het systeem het rapport in de prullenbak en probeert het opnieuw. Het zorgt ervoor dat het eindresultaat altijd controleerbaar is.

Waarom is dit belangrijk? (De Resultaten)

In een test met 134 echte wetenschappelijke artikelen (van de grote conferentie ICLR 2025) deed DeepReviewer 2.0 het beter dan andere geavanceerde AI-systemen en zelfs beter dan een groep menselijke reviewers in bepaalde opzichten:

• Het vond meer grote fouten: Waar andere systemen soms over het hoofd zagen dat een experiment niet klopte, zag DeepReviewer 2.0 het direct.
• Het was constructiever: Menselijke reviewers vonden de feedback van DeepReviewer 2.0 vaak nuttiger omdat het precies aangaf wat er moest gebeuren.
• Het is transparant: Je kunt altijd terugkijken naar de bron. Je hoeft de AI niet blind te vertrouwen; je kunt zien waarom het iets zegt.

De Grootte van de Beperkingen

Het is belangrijk om te weten wat het niet is:

• Het is geen beslissingsmaker. Het zegt niet "deze paper wordt geaccepteerd" of "verworpen". Het is een hulpmiddel voor de menselijke reviewer.
• Het is niet perfect. Soms mist het ethische kantjes (zoals of een experiment veilig is) of kan het nog steeds fouten maken in de diepgaande wetenschappelijke logica.

Samenvattend

DeepReviewer 2.0 is als een super-georganiseerde assistent die je helpt een wetenschappelijk artikel te controleren. In plaats van een vaag oordeel te geven, pakt het het artikel, markeert de problemen met een rood potlood, zoekt bewijs in andere boeken, en schrijft een duidelijke "reparatie-instructie" op. Het maakt wetenschappelijke peer review niet alleen sneller, maar vooral eerlijker en controleerbaar.

Technische samenvatting

Probleemstelling

Huidige geautomatiseerde peer-reviewsystemen worden vaak geoptimaliseerd voor het genereren van vloeiende, overtuigende tekst. Dit leidt echter tot een fundamenteel probleem: reviewers en area chairs kunnen de oordelen van deze systemen niet verifiëren of erop vertrouwen.

• Gebrek aan traceerbaarheid: Kritieken zijn vaak niet gekoppeld aan specifieke locaties in het manuscript (pagina's, alinea's, tabellen).
• Gebrek aan actiepunten: Zelfs als een systeem zegt dat "experimenten onvoldoende zijn", geeft het vaak geen concreet bewijs of specifieke herstelacties.
• Risico: Zonder bewijslast kunnen reviewers een oordeel niet veilig onderschrijven en weten auteurs niet wat ze precies moeten verbeteren.

DeepReviewer 2.0 positioneert zich niet als een vervanging voor menselijke beoordeling, maar als een assisterend hulpmiddel dat de review proces controleerbaar, traceerbaar en uitvoerbaar maakt.

Methodologie

DeepReviewer 2.0 is een agentic systeem (een systeem van autonome agents) dat de peer review niet als één generatie-taak ziet, maar als een gecontroleerde cognitieve keten. Het systeem werkt volgens een strikt "output-contract" en een tweestapsworkflow.

1. Kernarchitectuur en Workflow

Het systeem doorloopt twee hoofdfasen voordat het een review-package exporteert:

• Fase I: Onafhankelijke Pre-review (Manuscript-only)

  • Het systeem parseert het PDF-bestand naar semantische eenheden (alinea's, figuren, vergelijkingen) met stabiele anchors (paginanummer + lijnspanning).
  • Het bouwt een Claim-Evidence-Risk Ledger: een gestructureerde lijst van de kernclaims van het paper, het interne bewijs dat deze ondersteunt, en de risico's als dit bewijs ontbreekt.
  • Op basis hiervan wordt een onderzoeksagenda gegenereerd met specifieke vragen die in Fase II moeten worden beantwoord.

• Fase II: Verificatie en Synthese

  • Agenda-gedreven zoekopdracht: Het systeem gebruikt een zoekagent (PASA) om gerelateerd wetenschappelijk werk te vinden.
  • Matched-Setting Gate: Een cruciale stap waarbij het systeem alleen vergelijkbare papers gebruikt die exact dezelfde taak, dataset en evaluatiemetrics hebben. Dit voorkomt valse positieven bij novelty-checks.
  • Anchored Annotations: Het systeem schrijft kritieken die direct gekoppeld zijn aan de originele tekst in het PDF. Elke annotatie bevat: locatie, ernst, risico-uitspraak en een concreet herstelvoorstel.
  • Export Gate: Het systeem exporteert pas een review als minimale eisen zijn voldaan (bijv. minimaal aantal literatuurchecks, structuur van het rapport, en aantal verankerde feedbackpunten).

2. Output Contract

In plaats van één lange tekst, levert DeepReviewer 2.0 een Review Package op bestaande uit:

• Een gestructureerd globaal rapport (samenvatting, sterke punten, zwakke punten).
• Een set verankerde annotaties (direct gekoppeld aan de PDF).
• Een geprioriteerd herstelplan voor de auteurs.
• Een novelty/value assessment met expliciete vergelijkingen.

Belangrijkste Bijdragen

1. Traceerbaarheid als eerste-class requirement: Het systeem vereist dat elke kritiek gekoppeld is aan een bewijslocatie in het document. Dit maakt de review "auditable" (controleerbaar).
2. Proces-gecontroleerde workflow: Het systeem enforceert procesregels (zoals de "matched-setting gate" voor novelty en budgetten voor zoekopdrachten) in plaats van alleen te vertrouwen op semantische waarheid.
3. Uitvoerbaarheid: Elke kritiek eindigt met een concreet actieplan voor de auteur (bijv. "voeg een ablatiestudie toe" of "verduidelijk de dataset"), niet alleen een stilistische opmerking.
4. Gestructureerde Evaluatie: De auteurs introduceren drie evaluatieprotocollen: strikte issue-coverage, anonieme ranking tussen systemen, en een blinde vergelijking met een menselijke commissie.

Resultaten

Het systeem werd getest op 134 inzendingen voor ICLR 2025 en vergeleken met state-of-the-art modellen (zoals Gemini-3.1-Pro, CycleReviewer, en eerdere versies van DeepReviewer).

• Strikte Issue Coverage: DeepReviewer 2.0 (met een 196B model) presteerde significant beter dan de Gemini-3.1-Pro baseline. Het dekte 37,26% van de door mensen geïdentificeerde "major issues" (belangrijke problemen), vergeleken met 23,57% voor de baseline.
• Ranking tegen andere AI-systemen: In anonieme vergelijkingen onder een vast rubric, behaalde DeepReviewer 2.0 de hoogste Bradley-Terry Elo-score (2057) en won het 71,63% van de "blind" vergelijkingen tegen een menselijke reviewcommissie.
• Sterke punten: Het systeem scoorde het hoogst op Constructive Value (84,50% winst) en Communication Clarity (86,05% winst), wat aantoont dat de focus op actiepunten en verankering werkt.
• Zwakke punten: De prestaties op Technical Accuracy en Analytical Depth waren lager (rond 58-60% winst), en het systeem had moeite met Ethics-gerelateerde checks (0% coverage in deze specifieke benchmark), wat een aandachtspunt voor de toekomst is.

Betekenis en Conclusie

DeepReviewer 2.0 markeert een verschuiving in het veld van geautomatiseerd peer review: van het genereren van "vlot klinkende tekst" naar het produceren van controleerbare, bewijsgedreven artifacts.

• Vertrouwen: Door elke claim te koppelen aan een bewijslocatie en een herstelplan, wordt de review bruikbaar voor zowel reviewers (die kunnen verifiëren) als auteurs (die weten wat ze moeten doen).
• Rol: Het systeem is ontworpen als een "co-pilot" voor reviewers, niet als een vervanger. Het vermindert de cognitieve last door het vinden van bewijs en het structureren van feedback te automatiseren, maar laat de uiteindelijke beslissing en ethische oordelen aan mensen.
• Toekomst: De paper benadrukt dat hoewel de traceerbaarheid is verbeterd, de semantische waarheid (bijv. ethische checks of complexe technische fouten) nog steeds menselijke supervisie vereist.

Kortom, DeepReviewer 2.0 bewijst dat het inbouwen van procesbeperkingen en traceerbaarheid in de output van AI-systemen leidt tot kwalitatief betere, betrouwbaardere en actievere wetenschappelijke reviews.