Examining the Cognitive Gap Between Authors and Peer Reviewers on Academic Paper Novelty

Technische Samenvatting: Onderzoek naar de cognitieve kloof tussen auteurs en peer reviewers met betrekking tot de nieuwheid van academische artikelen

Probleemstelling
Nieuwheid is een primaire metriek voor het beoordelen van de kwaliteit van academische artikelen, maar er bestaat vaak een cognitieve kloof tussen hoe auteurs hun werk promoten en hoe peer reviewers het evalueren. Auteurs overdrijven de nieuwheid vaak om publicatie te verzekeren, terwijl reviewers genuante bijdragen kunnen over het hoofd zien of promotionele taal verkeerd kunnen interpreteren. Deze afstemmingsproblemen kunnen leiden tot bevooroordeelde evaluaties, de publicatie van minder nieuw werk, of de afwijzing van waardevol onderzoek. Hoewel eerdere studies promotionele taal in subsidievoorstellen of geïsoleerde aspecten van titels en abstracts hebben onderzocht, is er een gebrek aan grootschalig empirisch onderzoek dat de wisselwerking analyseert tussen de promotiestrategieën van auteurs in de hoofdtekst, de inherente nieuwheid van het onderzoek en de daaruit voortvloeiende peer review-evaluaties.

Methodologie
De studie maakt gebruik van een dataset van 15.328 academische artikelen gepubliceerd in Nature Communications tussen 2016 en 2021, inclusief hun publiekelijk beschikbare peer-review commentaren. Het onderzoeksframework verloopt in drie stadia:

1. Data-extractie en Classificatie:

   • Promotionele taal van de auteur: Met behulp van het grote taalmodel DeepSeek-V3 (671B parameters) extraheerden de auteurs zinnen die de bijdrage promoten uit de introductie secties van de artikelen. Deze zinnen werden geclassificeerd in drie innovatietypes op basis van Leahey et al. (2023): Theoretische, Methodologische en Resultaat-innovatie.
   • Evaluaties door reviewers: Een "regelgebaseerde + machine learning" benadering werd toegepast. Aanvankelijke kandidaat-zinnen werden geëxtraheerd met behulp van reguliere expressies en een aangepaste lexicon, waarna ze werden verfijnd met SciBERT (een domeinspecifiek BERT-model). Deze pipeline extraheerde 38.561 zinnen die innovatie evalueren uit peer reviews, die op soortgelijke wijze werden geclassificeerd in de drie innovatietypes en gescoord werden (Positief: +2, Neutraal: +1, Negatief: -1).
   • Nieuwheidsmetriek: De inherente nieuwheid van elk artikel werd gekwantificeerd met behulp van Novelty_U (Uzzi et al., 2013), een referentiegebaseerde metriek die de atypische aard van de combinatie van tijdschriften in de bibliografie van een artikel berekent.

2. Promotionele Intensiteitsmetrieken:
   Twee metrieken werden gedefinieerd om de promotionele intensiteit in de introductie te meten:

   • PL: De proportie van de promotionele taal (bijdrage-promotende zinnen) ten opzichte van het totaal aantal woorden.
   • PW: De proportie van specifieke promotiewoorden (bijv. "nieuw", "uniek", "revolutionair") ten opzichte van het totaal aantal woorden.

3. Analytische Benadering:

   • Vergelijkende Analyse: Statistische vergelijkingen werden gemaakt tussen de focus van auteurs (promotionele zinnen) en reviewers (evaluatiezinnen) over innovatietypes en disciplinaire velden heen.
   • Regressieanalyse: Artikelen werden gestratificeerd in High, Medium en Low novelty groepen op basis van Novelty_U. Er werden aparte regressies uitgevoerd om het effect van PL en PW op de novelty scores van de reviewer (PRscore) te testen, waarbij gecorrigeerd werd voor aantal auteurs, introductielengte, publicatiejaar en discipline.
   • Meting van Discrepantie: Reviewer-discrepantie werd gekwantificeerd als de variantie van de individuele innovatiescores voor een gegeven artikel. Correlatieanalyses werden uitgevoerd tussen de promotionele intensiteit en deze variantie over het spectrum van nieuwheid.

Belangrijkste Resultaten

• Cognitieve Afstemming en Divergentie: Zowel auteurs als reviewers geven prioriteit aan Resultaat-innovatie (87,19% van de auteur-promoties; 50% van de reviewer-evaluaties). Echter, reviewers hanteren een breder perspectief en evalueren vaak ook theoretische en methodologische aspecten naast de resultaten. Auteurs hebben de neiging sterk op resultaten te focussen en laten vaak gedetailleerde promotie van theoretische of methodologische verschuivingen weg, tenzij deze gepaard gaan met resultaten.
• Inherente Nieuwheid Drijft Promotie aan: Er is een positieve correlatie tussen de inherente Novelty_U van een artikel en het gebruik van promotionele taal. Sterk nieuwe artikelen maken meer gebruik van promotionele taal en woorden, met name voor theoretische en resultaatgerichte innovaties.
• Conditionele Effectiviteit van Promotie: De impact van promotionele taal op de scores van de reviewer is niet-lineair en afhankelijk van de inherente nieuwheid:
  • Hoge Nieuwheid: Sterke promotionele taal (zowel PL als PW) correleert significant met hogere novelty scores van de reviewer.
  • Lage/Medium Nieuwheid: Promotionele intensiteit heeft geen statistisch significant positief effect op de scores van de reviewer. Voor artikelen met beperkte inherente nieuwheid leidt agressieve promotie niet tot betere evaluaties.
• De "Grijze Zone" van Discrepantie: Promotionele taal vergroot de discrepantie tussen reviewers (variantie in scores) aanzienlijk, speciferiek voor artikelen met een matige mate van innovativiteit. Voor artikelen met zeer hoge of zeer lage nieuwheid heeft de promotionele intensiteit een verwaarloosbaar effect op de discrepantie. Dit sugggeert dat in ambigue gevallen promotionele signalen fungeren als externe factoren die de interpretatie van reviewers polariseren.

Belangrijkste Bijdragen

1. Systematische Kwantificering van Cognitieve Kloven: De studie biedt een fijnmazige, grootschalige kwantificering van de afstemming tussen zelfpromotie door auteurs en de beoordeling door reviewers, waarbij specifiek onderscheid wordt gemaakt tussen theoretische, methodologische en resultaatgerichte innovaties.
2. Pad van Intrinsieke Kwaliteit naar Perceptie: Het vestigt een volledig analytisch pad dat de intrinsieke nieuwheid van een artikel (via Novelty_U) koppelt aan het gedrag van de auteur (promotionele intensiteit) en uiteindelijk aan de perceptie van de reviewer, waarmee wordt aangetoond dat de effectiviteit van promotie afhankelijk is van de werkelijke kwaliteit van het artikel.
3. Inzicht in Review-stabiliteit: Het onderzoek identificeert de "grijze zone" van matige nieuwheid als het kritieke gebied waar promotionele taal de review-procedure destabiliseert en de onenigheid tussen experts verergert. Dit verschuift de eenheid van analyse van individuele scores naar de stabiliteit van de consensus zelf.

Betekenis en Implicaties
Het artikel betoogt dat promotionele taal niet louter een retorisch middel is, maar een strategisch instrument waarvan de effectiviteit begrensd wordt door de werkelijke innovatie van het artikel.

• Voor Auteurs: De bevindingen suggereren dat auteurs hun promotionele intensiteit moeten afstemmen op de werkelijke nieuwheid van hun werk. Overmatige promotie bij artikelen met een lage nieuwheid riskeert scepsis, terwijl sterke promotie gunstig en passend is voor werkelijk hoog-nieuwe research.
• Voor Editors en de Gemeenschap: De studie benadrukt dat onenigheid tussen reviewers mogelijk niet voortkomt uit fouten, maar uit cognitieve divergentie in het licht van evidentiële ambiguïteit, versterkt door promotionele signalen. Dit biedt een theoretische verklaring voor het ontstaan van controverses in peer review en suggereert dat het begrijpen van de "grijze zone" cruciaal is voor het verbeteren van de transparantie en efficiëntie van het review-systeem.

De studie erkent beperkingen, waaronder de afhankelijkheid van één enkel tijdschrift (Nature Communications), de exclusie van afgewezen manuscripten, en de inherente uitdagingen bij het extraheren van impliciete evaluaties uit ongestructureerde tekst. Toekomstig werk wordt voorgesteld om de dataset uit te breiden naar andere open-peer-review tijdschriften en afgewezen artikelen in te sluiten om deze dynamieken verder te valideren.