Aspect-Based Sentiment Evolution and its Correlation with Review Rounds in Multi-Round Peer Reviews: A Deep Learning Approach

Technische Samenvatting: Aspect-gebaseerde Sentimentevolutie en de Correlatie met Review-rondes in Multi-round Peer Reviews

Probleemstelling
Hoewel het minen van sentiment uit peer review-commentaren inzichten biedt in wetenschappelijke evaluatie, wordt bestaand onderzoek beperkt door twee primaire tekortkomingen: grofmazige aspectanalyse (bijv. brede categorieën zoals "innovatie" of "helderheid") en een gebrek aan differentiatie over meerdere review-rondes. De meeste studies behandelen het reviewproces als een monolithisch blok of vertrouwen op de totale duur van de reviewcyclus, waardoor ze er niet in slagen de dynamische verschuivingen in de focus en de sentimenttendensen van reviewers naarmate auteurs hun manuscripten herzien, te vangen. Bijgevolg is er een gat in het begrip van hoe fijnmazige aspect-sentimenten evolueren van indiening tot publicatie en hoe deze sentimenten correleren met het specifieke aantal review-rondes dat een artikel ondergaat.

Methodologie
De studie maakt gebruik van een deep learning-gebaseerde aanpak om multi-round peer review-commentaren van Nature Communications (NC) te analyseren, die 11.063 geaccepteerde papers beslaan die gepubliceerd zijn tussen 2016 en 2020. De methodologie verloopt via vier sleutelfases:

1. Dataverzameling en Preprocessing: De auteurs verzamelden 41.373 peer review-bestanden. Met behulp van structurele regelherkenning en handmatige annotatie werden de teksten gesegmenteerd per review-ronde (variërend van 1 tot 6 rondes). Ruis werd opgeschoond en zinnen werden getokeniseerd.
2. Aspectidentificatie: Er werd een fijnmazige aspectextractie-pipeline geïmplementeerd:
   • Zinsdelen (noun phrases) werden geïdentificeerd met behulp van de spaCy toolkit.
   • Het Double Propagation (DP) algoritme extraheerde kandidaat-aspectwoorden op basis van syntactische afhankelijkheden (bijv. mod, obj).
   • Hoogfrequente aspectwoorden werden geclusterd met behulp van Affinity Propagation (AP) op 200-dimensionale Word2Vec-vectoren, wat resulteerde in 11 onderscheidende aspectclusters (bijv. "Experimenten & Operaties", "Resultaatanalyse & Evaluatie", "Methodologie & Model").
3. Corpusconstructie en Sentimentclassificatie:
   • Een handmatig geannoteerd corpus van 5.063 review-zinnen werd gecreëerd, waarbij aspect-sentimenten werden gelabeld als positief, neutraal, negatief of ambigu. De inter-annotator consistentie werd geverifieerd met Kappa-coëfficiënten (0,63–0,66).
   • Een comparatief experiment evalueerde 14 deep learning-modellen, inclusief non-BERT architecturen (LSTM, MEMNET, IAN) en BERT-gebaseerde modellen (AEN-BERT, LCF-BERT, LCFS-BERT, RoBERTa-varianten).
   • Het LCF-BERT-CDM model (Local Context Focus BERT met een Contextual Distance Mechanism) werd geselecteerd als het optimale model op basis van prestaties.
4. Statistische en Correlatieanalyse:
   • Het optimale model werd gebruikt om sentimenten over het gehele corpus te classificeren.
   • Sentimentscores werden berekend op zowel aspect-niveau als document-niveau met behulp van een genormaliseerde verschilformule tussen de frequenties van positieve en negatieve sentimenten.
   • Spearman-correlatieanalyse werd uitgevoerd om de relatie tussen aspect-sentimentscores en het totale aantal review-rondes te onderzoeken.

Belangrijkste Resultaten

• Modelprestaties: Het LCF-BERT-CDM model behaalde de hoogste prestaties met een Macro-F1 score van 82,65% en een nauwkeurigheid van 82,72%, waarmee het zowel non-BERT modellen als andere BERT-varianten overtrof. Dit suggereert dat het benadrukken van lokale contextwoorden nabij het aspectwoord cruciaal is voor de sentimentclassificatie van peer reviews.
• Sentimentverdeling: Negatieve en neutrale sentimenten domineerden in alle review-rondes, wat de kritische aard van peer review weerspiegelt. Er ontstond echter een consistente trend: naarmate het aantal review-rondes toenam, steeg het aandeel positieve sentimenten, terwijl de negatieve sentimenten afnamen.
• Aspectevolutie:
  • Kernaspecten zoals "Resultaatanalyse & Evaluatie", "Impact & Onderzoekswaarde" en "Methodologie & Model" behielden een hoog sentimentvolume gedurende het hele proces.
  • In de laatste review-rondes nam de aandacht voor "Structuur & Taal" toe, wat wijst op een verschuiving naar fijnere details naarmate de grote inhoudelijke kwesties waren opgelost.
  • Voor papers die 2 of 3 rondes doorliepen, nam het positieve sentiment over het algemeen toe met elke opeenvolgende ronde, hoewel sommige aspecten (zoals "Methodologie") een dip in positiviteit vertoonden in de tweede ronde voordat ze in de derde ronde herstelden.
• Correlatie met Review-rondes:
  • Er is een significante negatieve correlatie tussen aspect-sentimentscores en het totale aantal review-rondes. Lagere sentimentscores (meer negatief) correleren met een hoger aantal rondes.
  • De aspecten die het sterkst correleerden met het aantal review-rondes waren "Experimenten & Operaties" (EXP), "Impact & Onderzoekswaarde" (IMP) en "Resultaatanalyse & Evaluatie" (RES).
  • In latere rondes (Ronde 4+) vertoonde het aspect "Methodologie & Model" een sterkere correlatie met het totale aantal rondes, wat suggereert dat aanhoudende methodologische problemen het reviewproces aanzienlijk verlengen.

Betekenis en Bijdragen
Het artikel claimt significantie in zowel theoretische als praktische domeinen:

• Theoretische Bijdrage: De studie breidt het veld van review-commentaar-mining uit door verder te gaan dan grofmazige analyse naar fijnmazige aspect-gebaseerde sentimentanalyse binnen een multi-round context. Het demonstreert dat de focus van reviewers en sentimenttendensen niet statisch zijn maar dynamisch evolueren over de verschillende review-fasen, wat een ronde-specifieke analytische aanpak noodzakelijk maakt.
• Praktische Toepassing: De bevindingen bieden bruikbare richtlijnen voor auteurs. Door te identificeren dat negatieve sentimenten met betrekking tot experimenten, resultaatanalyse en onderzoeksrelevantie sterk verbonden zijn met verlengde review-cycli, suggereert de studie dat auteurs deze specifieke aspecten tijdens het schrijven en reviseren prioriteit moeten geven. Het effectief adresseren van deze gebieden kan potentieel het aantal review-rondes verminderen en de publicatietijdlijn verkorten.

Beperkingen
De auteurs erkennen verschillende beperkingen:

1. Dataprofiel: De dataset is beperkt tot geaccepteerde papers van Nature Communications, wat een potentieel survivorship bias introduceert. Commentaren van afgewezen papers, die kritische sentimentpatronen kunnen bevatten, zijn niet opgenomen.
2. Generaliseerbaarheid: De bevindingen zijn specifief voor het NC-tijdschrift en zijn mogelijk niet volledig generaliseerbaar naar andere disciplines of tijdschriften met andere review-beleid.
3. Modelprestaties: Hoewel LCF-BERT-CDM het beste presteerde, heeft het model nog steeds moeite met impliciete sentimentexpressies, en fouten kunnen zich ophopen door de meerstaps experimentele pipeline (segmentatie, aspectextractie, classificatie).
4. Causaliteit: De correlatieanalyse bevat geen controlevariabelen, wat betekent dat de geobserveerde relaties associatief zijn in plaats van strikt causaal.