FirstPass: Grounding AI Scientific Judgment in Multi-Round Editorial Outcomes

Technische Samenvatting: FirstPass – Het verankeren van AI-wetenschappelijk oordeel in multi-ronde redactionele uitkomsten

Probleemstelling
Huidige AI-systemen voor wetenschappelijke peer review lijden aan drie fundamentele tekortkomingen:

1. Domeinbeperking: Bestaande datasets (bijv. PeerRead, ReviewMT, MARG) zijn exclusief afgeleid van conferenties op het gebied van Computer Science en Machine Learning. Modellen die hierop zijn getraind, falen in het vatten van domeinspecifieke wetenschappelijke normen in velden zoals biologie, chemie of natuurkunde (bijv. contaminatiecontroles of NMR-spectrale toewijzingen).
2. Statische behandeling: Peer review is een iteratieve dialoog, maar huidige systemen genereren reviews in één enkele stap (single shot), waarbij de iteraties tussen auteur en reviewer waarin wetenschappelijke claims worden getest, worden genegeerd.
3. Circulaire evaluatie: Systemen worden vaak geëvalueerd op stilistische imitatie (hoe goed ze op een review lijken) in plaats van op afstemming met werkelijke redactionele beslissingen en uitkomsten.

Gevolgelijk behandelen deze systemen peer review als een tekstgeneratietaak in plaats van een oefening in wetenschappelijk oordeel, waardoor ze er niet in slagen te voorspellen of een manuscript verdere revisierondes zal vereisen of te identificeren welke methodologische zorgen de rebuttal zullen overleven.

Methodologie
De auteurs introduceren FIRSTPASS, een dataset en een gefinetuned model ontworpen om deze hiaten te adresseren via drie kerncomponenten:

• Dataset Constructie: De auteurs hebben 3.668 volledige multi-ronde peer-review dialogen gecureerd uit Nature Communications (januari 2023 – december 2025) verspreid over vijf wetenschappelijke domeinen: biologie, chemie, neurowetenschappen, natuurkunde en aardwetenschappen.

  • Integriteit: Door gebruik te maken van het verplichte transparante peer review-proces van het tijdschrift (sinds nov. 2022), waarborgt de dataset 100% inhoudelijke integriteit. Geautomatiseerde audits en handmatige verificatie van een steekproef bevestigden verwaarloosbare foutmarges in de geëxtraheerde tekst.
  • Labels: Redactionele uitkomsten zijn afgeleid van het aantal revisierondes: twee rondes worden gelabeld als STANDARD, en drie of meer als EXTENDED. Dit dient als een proxy voor onopgeloste methodologische zorgen.
  • Taken: De dataset ondersteunt drie trainings-taken: (1) Review generatie (Paper $\to$ Ronde 1), (2) Reviewer update (Paper + Ronde 1 + Auteur-respons $\to$ Ronde 2), en (3) Uitkomst voorspelling (Volledige dialoog $\to$ Label).

• Modelarchitectuur en Training:

  • Base Model: Qwen2.5-7B-Instruct werd gekozen vanwege de sterke wetenschappelijke redeneerkracht en de 32k-token context window, noodzakelijk voor het verwerken van volledige papers en multi-ronde dialogen.
  • Fine-tuning: Low-Rank Adaptation (LoRA) werd toegepast met rank $r=32$ en $\alpha=64$. Er werden twee aparte adapters getraind: één voor classificatie (CLS) en één voor generatie (SFT).
  • Cruciale Ontwerpbeslissing (Response-Only Loss Masking): De auteurs stelden vast dat standaard instruction fine-tuning de loss berekent over de gehele sequentie, inclusief duizenden input-tokens. Voor taken met lange input/korte output veroorzaakt dit dat het classificatiesignaal wordt overstemd door de voorspelling van de inputtekst. De auteurs implementeerden response-only loss masking (het uitsluiten van input-tokens van de loss-berekening).
  • Truncatie Strategie: Inputs die de sequentielimiet overschrijden, worden symmetrisch afgekapt (waarbij de eerste 55% en de laatste 45% van de tokens behouden blijven) om zowel de wetenschappelijke inhoud van de paper als de meest recente uitwisselingen tussen reviewers te bewaren.

Belangrijkste Bevindingen en Resultaten

• De Noodzaak van Response-Only Masking: De belangrijkste bevinding is dat response-only loss masking een architecturale vereiste is, en niet slechts een optimalisatie.

  • Zonder masking daalt de nauwkeurigheid van de modelvoorspelling op de uitkomst naar 62,0%, wat slechter is dan de meerderheidsbaseline (65,4%).
  • Met masking stijgt de nauwkeurigheid naar 80,5% met een F1-macro van 78,2%. Deze verschuiving van 18,5 procentpunt toont aan dat het weglaten van masking catastrofaal is voor dit type taak.

• Voorspelling van Revisiecycli:

  • FIRSTPASS behaalde 80,5% nauwkeurigheid op de testset (318 voorbeelden), waarmee het de meerderheidsbaseline met 15,1 procentpunt verslaat en de beste zero-shot baseline (Gemini-3.1-flash-lite-preview) met 10,4 procentpunten.
  • Statistische significantie werd bevestigd via de McNemar's exact test ($p < 0,001$) tegen alle baselines, behalve tegen de Qwen2.5-7B zero-shot ($p=0,185$).
  • De prestaties waren consistent over alle vijf de domeinen (variërend van 76,9% tot 83,8%), wat aangeeft dat het model domeingenerale signalen van onopgeloste zorgen oppikt in plaats van te overfitten op specifieke vocabulaire.

• Review Generatie:

  • FIRSTPASS genereerde reviews met een gemiddelde van 1.187 woorden, wat aanzienlijk dichter bij de menselijke referenties (2.155 woorden) ligt dan andere baselines.
  • Het behaalde een ROUGE-L score van 0,154, waarmee het zero-shot Qwen, DeepSeek en Gemini significant versloeg ($p < 0,001$).
  • Hoewel Llama-3-8B een iets hogere ROUGE-L behaalde (0,164), schrijven de auteurs dit toe aan "lengte-artefacten", waarbij het model kortere, formule-achtige tekst genereerde (1.006 woorden) die n-gram overlap optimaliseerde zonder diepgang. FIRSTPASS produceerde langere, inhoudelijk rijke kritieken.

Significantie en Claims
Het artikel positioneert FIRSTPASS als een stap richting AI-systemen die fungeren als "anticiperende wetenschappelijke co-auteurs" in plaats van louter hulpmiddelen.

• Oordeel versus Imitatie: Door te trainen op volledige dialogen en te evalueren tegen werkelijke redactionele uitkomsten, demonstreert FIRSTPASS dat AI wetenschappelijk oordeel kan uitoefenen—het voorspellen of een manuscript uitgebreide revisierondes zal vereisen—in plaats van enkel de stijl van reviews te imiteren.
• Generaliseerbaarheid: De consistente prestaties over alle domeinen suggereren dat de signalen van onopgeloste zorgen overdraagbaar zijn tussen disciplines, een vereiste voor een betrouwbare co-auteur in een multidisciplinaire setting.
• Methodologische Bijdrage: Het paper biedt de eerste gecontroleerde empirische demonstratie dat response-only loss masking cruciaal is voor classificatietaken met lange input/korte output, wat een generaliseerbare les biedt voor het trainen van LLM's op wetenschappelijke documenten.

Door de Auteurs Erkende Beperkingen
De auteurs hanteren een bescheiden standpunt over de huidige status van de implementatie:

• Dataprofiel: De dataset bevat alleen gepubliceerde papers; afgewezen manuscripten (die mogelijk sterkere signalen bieden over de grenzen van publiceerbaarheid) zijn niet toegankelijk.
• Modaliteit: De pipeline is tekst-gebaseerd, waarbij figuren en aanvullende data, die vaak de zorgen van reviewers aanjagen, worden uitgesloten.
• Geldigheid van Labels: Het "STANDARD/EXTENDED" label is een proxy gebaseerd op het aantal rondes en kan worden beïnvloed door communicatiestijlen of redactionele logistiek in plaats van puur wetenschappelijke verdienste.
• Validatie: Het gebruiksscenario van "co-auteur" is een deployment-hypothese. De huidige evaluatie meet de voorspellingsnauwkeurigheid op voltooide dialogen. Prospectieve validatie (waarbij auteurs het hulpmiddel vóór indiening gebruiken en de uitkomsten worden gevolgd) is geïdentificeerd als de noodzakelijke volgende stap om de claim van co-auteurschap te bevestigen.
• Generaliseerbaarheid: Prestaties buiten Nature Communications (bijv. tijdschriften met andere reviewculturen of formaten) blijven ongetest.