GoodPoint: Learning Constructive Scientific Paper Feedback from Author Responses

Dit paper introduceert GoodPoint, een trainingsmethode die gebruikmaakt van een dataset met 19.000 ICLR-papers en auteursreacties om grote taalmodellen te leren constructieve, valide en actiegericht wetenschappelijke feedback te genereren die auteurs daadwerkelijk helpen hun werk te verbeteren.

De kern

Stel je voor dat je een wetenschapper bent die net een heel belangrijk artikel heeft geschreven. Je hebt maanden hard gewerkt, maar nu moet je het inleveren bij een groot congres. De enige manier om je werk te laten zien, is door peer review: andere experts lezen het en geven feedback.

Vaak is die feedback echter lastig te begrijpen, te vaag, of soms zelfs onjuist. Het is alsof je een recept voor een taart krijgt, maar de chef-kok zegt alleen: "De taart is niet lekker," zonder te zeggen waarom of hoe je het moet verbeteren.

GOODPOINT is een nieuw slimme computerprogramma (een AI) dat precies dit probleem oplost. Het is geen robot die je werk overneemt, maar een super-assistent die je helpt om je wetenschappelijke artikel te perfectioneren.

Hier is hoe het werkt, in simpele taal:

1. Het leerproces: "Kijk naar wat de schrijvers doen"

Stel je voor dat je een chef-kok wilt leren koken. Je kunt hem boeken laten lezen, maar de echte leerkracht is de klant.

• Als de klant zegt: "Dit is te zout" en jij maakt het minder zout, en de klant is blij, dan was dat een goede tip.
• Als de klant zegt: "Dit is te zout" (terwijl het juist te zoet is) en jij maakt het nog zoeter, dan was dat een slechte tip.

GOODPOINT heeft 19.000 echte wetenschappelijke artikelen gelezen, inclusief de discussies tussen de schrijvers en de reviewers. Het heeft gekeken naar de reacties van de schrijvers:

• Gingen ze akkoord met de kritiek? (Was het een geldig punt?)
• Hebben ze iets veranderd? (Was de tip bruikbaar?)

Alleen de tips die de schrijvers als "echt" en "bruikbaar" hebben ervaren, heeft GOODPOINT onthouden als de "gouden standaard".

2. De twee pijlers van goede feedback

GOODPOINT leert feedback te geven die op twee dingen wordt getoetst, net als een kompas:

1. Geldigheid (Validity): Is het punt waarover je klaagt echt waar? (Geen fantasieën of fouten).
2. Actie (Actionability): Kun je er iets mee? Is het een concrete tip, zoals "Voeg een tabel toe" of "Leg dit concept duidelijker uit", in plaats van "Dit is vaag"?

3. De training: "Oefenen met fouten"

De makers hebben een slimme truc gebruikt om de AI te trainen:

• Eerst leerden ze de AI met de "gouden tips" (die echte schrijvers hebben gebruikt).
• Vervolgens gaven ze de AI een oefening: ze namen een goede tip en maakten er expres een slechte versie van (bijvoorbeeld: maak hem vaag, onnauwkeurig of onbeleefd).
• De AI moest dan kiezen: "Welke versie is de goede?" Door duizenden keren te oefenen met dit "goed vs. slecht" spel, leerde de AI precies hoe je een constructieve, behulpzame review schrijft.

4. Het resultaat: Een slimme assistent, geen vervanger

Het mooie aan GOODPOINT is dat het niet probeert de menselijke wetenschapper te vervangen. Het is meer als een tandarts-assistent die je helpt om je gebit te poetsen voordat de tandarts (de echte reviewer) langskomt.

In tests bleek dat GOODPOINT (op basis van een model dat niet eens heel groot is) beter presteerde dan veel grotere, duurdere modellen:

• Het gaf preciezer feedback (moeilijker te verwarren met onzin).
• Het gaf meer bruikbare tips waar schrijvers daadwerkelijk iets mee konden doen.
• Menselijke experts vonden de feedback van GOODPOINT veel waardevoller dan die van andere AI's.

Samenvattend

GOODPOINT is een nieuwe manier om AI te gebruiken in de wetenschap. In plaats van de AI te laten beslissen wat goed is, laten we de AI leren van de reacties van de mensen zelf. Het resultaat is een hulpmiddel dat wetenschappers helpt hun werk te verbeteren, zodat ze hun ideeën beter kunnen presenteren aan de wereld. Het is een voorbeeld van mens en machine samenwerken, waarbij de mens de regie houdt en de AI de slimme assistent is.

Technische samenvatting

Probleemstelling

De opkomst van Large Language Models (LLMs) in wetenschappelijk onderzoek heeft geleid tot voorstellen om kernprocessen, zoals peer review, te automatiseren. De auteurs waarschuwen echter dat ongecontroleerde automatisering het kritische oordeel van onderzoekers kan ondermijnen en de kwaliteit van de wetenschap kan verslechteren. Bestaande LLM-generaties van reviews lijden vaak onder gebrek aan specificiteit, beperkte actieerbaarheid (actionability) en een slechte uitlijning met menselijke reviewers in het prioriteren van feedback.

Het centrale probleem is het ontbreken van een robuust kader om te definiëren wat "constructieve" feedback is en hoe deze effectief getraind en geëvalueerd kan worden. De huidige systemen proberen vaak reviewer-gedrag na te bootsen in plaats van feedback te genereren die onderzoekers daadwerkelijk helpen hun werk te verbeteren.

Methodologie

Het paper introduceert GOODPOINT, een framework dat feedbackkwaliteit operationaliseert vanuit het perspectief van de auteur, gebruikmakend van reacties van auteurs als een natuurlijk signaal voor succes.

1. Definitie van Constructieve Feedback

De auteurs definiëren feedbackkwaliteit langs twee assen, gebaseerd op de reactie van de auteur op een specifieke opmerking:

• Validiteit (Validity): Stemt de auteur in met de opmerking? (Is de kritiek feitelijk correct en relevant?)
• Actieerbaarheid (Author Action): Leidt de opmerking tot een concrete vervolgstap? (Bijvoorbeeld: "zal herzien", "uitstellen voor toekomstig werk"). Feedback die zowel valide als actieerbaar is, wordt beschouwd als "succesvol".

2. Dataset: GOODPOINT-ICLR

Er is een nieuwe dataset samengesteld van 19.534 ICLR-papers (2020–2026) met bijbehorende review-discussies.

• Elke reviewer-opmerking is geparsed in zelfstandige feedback-eenheden.
• Deze eenheden zijn gelabeld met twee binaire labels: validity (akkoord/rebuttal) en actionability (6 actie-classes, waarvan de eerste twee als actieerbaar worden beschouwd).
• De dataset is opgesplitst in training/dev/test (ICLR 2020-2025) en een temporair gescheiden testset (ICLR 2026) om data-contaminatie te voorkomen.

3. Trainingsstrategie

Het model (gebaseerd op Qwen3-8B) wordt getraind in twee fasen:

• Supervised Fine-Tuning (SFT): Het model wordt gefinetuned op de "succesvolle" feedback-items (valide en actieerbaar) uit de GOODPOINT-ICLR dataset. Dit grondt het model in patronen van constructieve feedback.
• Direct Preference Optimization (DPO): Om de kwaliteit verder te scherpen, wordt DPO toegepast met twee soorten voorkeursparen:
  1. Validiteit-contrast: Paren van valide versus ongeldige feedback.
  2. Synthetische corruptie: Succesvolle feedback wordt opzettelijk verzwakt in vijf dimensies (specificiteit, duidelijkheid, nauwkeurigheid, prioritering, ondersteunende toon) om "rejected" samples te creëren. Het model leert hieruit om de originele, hoge-kwaliteit feedback te prefereren.

4. Evaluatie

Er worden twee complementaire evaluatiekaders gebruikt:

• Author Response Prediction: Een gescheiden model voorspelt of een auteur zou instemmen en zou handelen op basis van de gegenereerde feedback. Dit dient als proxy voor succes.
• Human Consensus Feedback Matching: Het model wordt getest op zijn vermogen om feedback te genereren die overeenkomt met "menselijke consensus" (feedback die door meerdere reviewers wordt genoemd en succesvol is). Metrieken zijn Precision, Recall en F1-score.
• Menselijke Evaluatie: Een user study met 13 auteurs die feedback op hun eigen papers beoordeelt op validiteit, actieerbaarheid, specificiteit en nuttigheid.

Belangrijkste Resultaten

• Verbetering van Succesratio: GOODPOINT-getrainde modellen (Qwen3-8B) vertonen een 83,7% verbetering in de voorspelde succesratio (validiteit + actie) ten opzichte van het basismodel.
• State-of-the-Art Performance: GOODPOINT-SFT behaalt de beste resultaten onder open-source modellen van vergelijkbare grootte (8B parameters) in het matchen van menselijke consensus feedback.
  • Het verbetert de F1-score met 58,8% ten opzichte van het basis Qwen3-8B.
  • Opvallend genoeg overtreft GOODPOINT-SFT in precision zelfs grotere, gesloten modellen zoals Gemini-3-flash en GPT-5.2. Dit suggereert dat het model selectievere en hogere kwaliteit kritiek levert zonder overbodige opmerkingen.
• Menselijke Validatie: In de user study presteerde GOODPOINT-DPO significant beter dan het basis Qwen3-8B op alle dimensies (validiteit, actieerbaarheid, specificiteit, hulpvaardigheid) en verkleinde de kloof met de beste gesloten modellen aanzienlijk.
• Analyse van Falen: Zonder training genereren LLMs vaak generieke, niet-specifieke feedback. GOODPOINT verhoogt de scores voor paper-specific grounding en prioritering aanzienlijk.

Bijdragen

1. Conceptuele Innovatie: Een nieuwe, auteur-gerichte definitie van feedbackkwaliteit (validiteit + actieerbaarheid) die gebruikmaakt van auteursreacties als supervisie-signaal.
2. Dataset: De publicatie van GOODPOINT-ICLR, een grote dataset van 19K papers met geannoteerde feedback op validiteit en actieerbaarheid.
3. Trainingsframework: Een effectieve trainingsrecept (SFT + DPO met synthetische corruptie) die kleine open-source modellen (8B) in staat stelt om prestaties te leveren die vergelijkbaar zijn met of zelfs beter zijn dan veel grotere gesloten modellen in specifieke feedback-taken.
4. Evaluatiekader: Een robuust evaluatieprotocol dat automatisch voorspellingen en menselijke consensus-match combineert om de kwaliteit van feedback te meten.

Betekenis

Dit werk onderstreept dat AI onderzoekers moet versterken in plaats van vervangen. Door te focussen op feedback die auteurs daadwerkelijk accepteren en toepassen, biedt GOODPOINT een praktische route voor het verbeteren van wetenschappelijke publicaties. Het bewijst dat goed ontworpen trainingsstrategieën, gebaseerd op menselijke interacties, de beperkingen van kleinere modellen kunnen overwinnen en een hoge mate van bruikbaarheid kunnen bieden in de complexe context van wetenschappelijke peer review.