APRES: An Agentic Paper Revision and Evaluation System

Dit paper introduceert APRES, een door LLM's aangedreven systeem dat wetenschappelijke artikelen automatisch herwerkt op basis van een citaatvoorspellende rubriek om de kwaliteit en impact te verhogen zonder de kerninhoud te wijzigen, waarbij menselijke experts worden ondersteund in plaats van vervangen.

De kern

Wat is APRES? (De "Slimme Redacteur")

Stel je voor dat je een briljant wetenschapper bent. Je hebt een ontdekking gedaan die de wereld kan veranderen, maar je hebt een probleem: je hebt het idee, maar je kunt het niet goed uitleggen. Je paper (het wetenschappelijke artikel) is vol met complexe zinnen, slechte structuur en onduidelijke zinnen. Als je dit zo indient bij een congres, zullen de beoordelaars (de "rechercheurs" van de wetenschap) het misschien niet begrijpen en afwijzen, niet omdat je idee slecht is, maar omdat de presentatie slecht is.

APRES is een nieuw systeem dat dit probleem oplost. Het is als een super-slimme, onuitputtelijke redacteur die door een computer (een AI) wordt aangedreven. Maar dit is geen gewone redacteur die alleen grammatica corrigeert. APRES heeft twee unieke superkrachten:

1. Het leest de toekomst: Het kan voorspellen welke artikelen in de toekomst veel gelezen en geciteerd zullen worden.
2. Het herschrijft je werk: Het neemt je ruwe tekst en maakt er een meesterwerk van, zonder je eigen wetenschappelijke ontdekkingen aan te raken.

---

Hoe werkt het? (De Twee Delen)

Het paper beschrijft APRES als een proces met twee hoofdstappen, die we kunnen vergelijken met het trainen van een atleet.

Stap 1: Het vinden van de "Winnaarsformule" (Rubric Search)

Normaal gesproken kijken beoordelaars naar een vaste lijst met regels (bijv. "Is het nieuw?", "Is het correct?"). Maar APRES denkt: "Wat als die vaste lijst niet de beste manier is om te voorspellen wat echt belangrijk wordt?"

• De Analogie: Stel je voor dat je een trainer bent voor een voetbalteam. In plaats van alleen te kijken naar wie de meeste doelpunten maakt, laat je een AI duizenden wedstrijden analyseren. De AI ontdekt dat teams die sneller reageren op tegenspel en beter communiceren in de kleedkamer uiteindelijk vaker kampioen worden, zelfs als ze niet de meeste doelpunten scoren.
• In het paper: APRES laat een AI-agent duizenden wetenschappelijke papers beoordelen en zoekt naar een nieuwe, slimme lijst met criteria (een "rubric"). Deze lijst is zo ontworpen dat hij perfect voorspelt hoeveel keer een paper in de toekomst wordt geciteerd (het bewijs dat het belangrijk is).
• Het resultaat: APRES vond een nieuwe "winnaarsformule" die beter werkt dan de oude, menselijke lijsten. Het kon voorspellingen doen die 19,6% nauwkeuriger waren dan de beste bestaande methoden.

Stap 2: Het verbeteren van je paper (Paper Revision)

Nu we de "winnaarsformule" hebben, gebruiken we die om je paper te verbeteren.

• De Analogie: Stel je voor dat je een schilderij hebt gemaakt. Het onderwerp (je wetenschappelijke ontdekking) is prachtig, maar de verf is vies, het canvas is scheef en de lijst is lelijk. Een gewone schilder zou misschien de verf verven, maar APRES is als een magische restaurator. Hij neemt je schilderij, kijkt naar zijn "winnaarsformule", en zegt: "Als je deze ene zin anders schrijft, en deze paragraaf netter indelt, wordt dit schilderij 10x meer bewonderd."
• De Belangrijke Regel: De AI mag nooit je ontdekking veranderen. Hij mag alleen de "verpakking" verbeteren. Hij mag geen nieuwe experimenten uitvinden of resultaten aanpassen. Hij maakt alleen de tekst helderder, logischer en aantrekkelijker.
• Het resultaat: Menselijke experts (PhD's) keken naar de originele papers en de door APRES verbeterde versies. In 79% van de gevallen vonden ze de verbeterde versie veel beter dan het origineel. Ze vonden de verbeterde papers duidelijker, overtuigender en makkelijker te lezen.

---

Waarom is dit belangrijk? (De "Stress-test")

Vandaag de dag is het indienen van een wetenschappelijk paper een enorme stress. Er zijn zoveel papers dat er niet genoeg mensen zijn om ze allemaal goed te beoordelen. Beoordelaars zijn moe, en soms is de beoordeling willekeurig (één beoordelaar zegt "ja", de ander "nee").

APRES is niet bedoeld om mensen te vervangen. Het is als een proefbal of een stress-test voor je paper voordat je het echt indient.

• Vergelijking: Het is alsof je een auto bouwt. Je wilt hem niet direct op het circuit rijden. Je laat hem eerst door een computer testen op de "testbaan" om te zien of de motor loopt, of de banden goed zitten en of de aerodynamica klopt. Als de computer zegt: "Hier moet je nog aan sleutelen," dan doe je dat voordat je de auto op het echte circuit zet.
• Het doel: APRES helpt schrijvers om hun ideeën zo duidelijk mogelijk te presenteren, zodat de echte menselijke beoordelaars het echte werk kunnen zien en niet verdwalen in slechte zinnen.

Samenvatting in één zin

APRES is een slimme AI-assistent die eerst leert wat een "toppaper" echt maakt door naar de toekomst te kijken, en je vervolgens helpt om je eigen paper zo te herschrijven dat het die topstatus verdient, zonder je wetenschappelijke ontdekkingen aan te raken.

Het paper concludeert dat AI ons niet moet vervangen, maar dat het ons moet helpen om onze beste ideeën naar de wereld te brengen, zodat de wetenschap sneller en beter vooruit kan gaan.

Technische samenvatting

Titel: APRES: Een Agentic Systeem voor Herziening en Evaluatie van Wetenschappelijke Papers

1. Het Probleem

De huidige peer-reviewsystemen voor wetenschappelijke publicaties staan onder enorme druk. Topconferenties ontvangen tienduizenden inzendingen per jaar, wat leidt tot vermoeidheid bij reviewers, lange cycli en, cruciaal, een gebrek aan consistentie in de evaluatie. Dit resulteert in onvoorspelbare feedback die auteurs soms verhindert hun werk te verbeteren. Hoewel Large Language Models (LLMs) potentie hebben om schaalbare feedback te geven, brengt hun directe toepassing risico's met zich mee, zoals het onbedoeld wijzigen van de kernwetenschappelijke inhoud of het afwijken van academische stijlen. Er is een behoefte aan een systeem dat de presentatie en leesbaarheid van een paper verbetert zonder de feitelijke wetenschappelijke claims aan te tasten, en dat bovendien kan voorspellen welke criteria leiden tot een grotere toekomstige impact (citaties).

2. Methodologie

APRES (Agentic Paper Revision and Evaluation System) is een tweestaps framework dat LLMs gebruikt als "agenten" binnen een gesloten lus. Het systeem bestaat uit twee hoofdcomponenten:

Fase 1: Ontdekking van een Voorspellende Rubric (Evaluatiecriteria)
In plaats van te vertrouwen op vaste, door mensen gedefinieerde beoordelingscriteria, gebruikt APRES een agente zoekstructuur (gebaseerd op de MultiAIDE-scaffold) om een optimale review-rubric te ontdekken.

• Proces: Een 'Rubric Proposer'-agent stelt sets van beoordelingsitems voor. Een 'Reviewer'-agent scoort papers op basis van deze items.
• Optimalisatie: Een negatief binomiale regressiemodel wordt getraind om de daadwerkelijke citatieaantallen (12 maanden na publicatie) te voorspellen op basis van de scores van de rubric.
• Doel: De zoekalgoritme selecteert en verfijnt iteratief de rubric die de laagste Mean Absolute Error (MAE) oplevert bij het voorspellen van citaties. Dit creëert een data-gedreven proxy voor toekomstige impact.

Fase 2: Geautomatiseerde Herziening van Papers
De ontdekte rubric wordt gebruikt als objectief (surrogaatfunctie) om een paper te herschrijven.

• Proces: Een 'Rewriter'-agent ontvangt feedback van de 'Reviewer' (gebaseerd op de ontdekte rubric) en stelt wijzigingen voor in de tekst.
• Beperkingen: Het systeem is strikt geconstrueerd om alleen de presentatie, structuur, helderheid en argumentatie te verbeteren. Het mag geen experimentele resultaten, tabellen of de kernwetenschappelijke claims wijzigen.
• Iteratie: Het proces is een gesloten lus waarbij de herschreven paper opnieuw wordt gescoord. De versie met de hoogste voorspelde impactscore wordt geselecteerd voor de volgende iteratie, totdat convergentie wordt bereikt.

3. Belangrijkste Bijdragen

• Ontdekking van nieuwe signalen: APRES is het eerste systeem dat niet alleen LLMs gebruikt om menselijke reviews na te bootsen, maar om nieuwe, voorspellende evaluatiecriteria te ontdekken die beter correleren met toekomstige citaties dan traditionele menselijke scores of embedding-gebaseerde modellen.
• Gesloten lus voor verbetering: Het introduceert een volledig geautomatiseerd systeem dat een paper iteratief herschrijft om de voorspelde impact te maximaliseren, waarbij de wetenschappelijke integriteit behouden blijft.
• Empirische validatie: Het biedt sterke empirische ondersteuning voor het gebruik van LLMs als "stress-test" voor auteurs voordat ze hun werk indienen, zonder de rol van menselijke reviewers te vervangen maar te versterken.

4. Resultaten

De auteurs hebben APRES getest op een dataset van 26.707 papers van topconferenties (ICLR 2024/2025, NeurIPS 2023/2024).

• Voorspelling van Impact: De door APRES ontdekte rubric presteerde aanzienlijk beter dan bestaande baselines (zoals menselijke scores, SPECTER-embeddings en Prompt Breeder). Het verbeterde de Mean Absolute Error (MAE) bij het voorspellen van citaties met 19,6% ten opzichte van de beste concurrent.
• Verbetering van Papers:
  • Automatische scores: Papers die door APRES waren herzien, behaalden een significant hogere score op de ontdekte rubric. Voor "marginaal afgewezen" (borderline) papers was de verbetering het grootst, wat suggereert dat het systeem effectief is in het oplossen van presentatieproblemen die een goed paper in de weg staan.
  • Menselijke evaluatie: In een blind user study met PhD-onderzoekers en engineers werden de door APRES herziene papers 79% van de tijd verkozen boven de originele, door mensen geschreven versies. De reden was vaak een betere structuur, helderheid en overtuigingskracht zonder verlies van technische nauwkeurigheid.
• Consistentie: LLM-jurys die gebruikmaken van de APRES-rubric tonen een veel hogere consistentie (minder willekeur) dan menselijke reviewcomités, wat de betrouwbaarheid van het proces onderstreept.

5. Betekenis en Conclusie

APRES markeert een verschuiving in hoe AI kan worden ingezet in de wetenschappelijke communicatie. In plaats van te proberen menselijke reviewers te vervangen, fungeert het als een krachtig hulpmiddel om auteurs te helpen hun manuscripten te "stress-testen" en te optimaliseren voor duidelijkheid en impact.

• Ethiek en Integriteit: Het systeem benadrukt dat AI de menselijke expertise moet aanvullen, niet vervangen. Mensen blijven de ultieme arbiters van wetenschappelijke waarde. Het paper erkent ook risico's zoals prompt-injectie en de mogelijkheid dat optimalisatie voor citaties (Goodhart's Law) de kwaliteit kan ondermijnen, en pleit voor transparantie en mens-in-de-lus systemen.
• Toekomstperspectief: De studie toont aan dat data-gedreven, agente methoden de peer-reviewcyclus kunnen stroomlijnen, de consistentie van feedback kunnen verhogen en wetenschappers kunnen helpen hun ontdekkingen effectiever te communiceren, wat uiteindelijk leidt tot snellere en betrouwbaardere wetenschappelijke vooruitgang.