Aspect-Based Sentiment Evolution and its Correlation with Review Rounds in Multi-Round Peer Reviews: A Deep Learning Approach

Sintesi Tecnica: Evoluzione del Sentimento Basata sugli Aspetti e sua Correlazione con i Cicli di Revisione in Revisioni tra Pari Multi-Round

Definizione del Problema
Sebbene l'estrazione del sentimento dai commenti della revisione tra pari offra spunti di riflessione sulla valutazione scientifica, la ricerca esistente è limitata da due vincoli primari: un'analisi degli aspetti a grana grossa (ad esempio, categorie ampie come "innovazione" o "chiarezza") e una mancanza di differenziazione attraverso i molteplici round di revisione. La maggior parte degli studi tratta il processo di revisione come un blocco monolitico o si affida alla durata complessiva del ciclo di revisione, fallendo nel catturare i cambiamenti dinamici nel focus dei revisori e nelle tendenze del sentimento man mano che gli autori revisionano i loro manoscritti. Di conseguenza, esiste una lacuna nella comprensione di come i sentimenti degli aspetti a grana fine evolvano dalla sottomissione alla pubblicazione e di come questi sentimenti si correlino con il numero specifico di round di revisione che un articolo affronta.

Metodologia
Lo studio impiega un approccio basato sul deep learning per analizzare i commenti di revisione multi-round di Nature Communications (NC), coprendo 11.063 articoli accettati pubblicati tra il 2016 e il 2020. La metodologia procede attraverso quattro fasi chiave:

1. Raccolta dei Dati e Preprocessing: Gli autori hanno raccolto 41.373 file di revisione tra pari. Utilizzando il riconoscimento strutturale delle regole e l'annotazione manuale, i testi sono stati segmentati per round di revisione (che vanno da 1 a 6 round). Il rumore è stato pulito e le frasi sono state tokenizzate.
2. Identificazione degli Aspetti: È stata implementata una pipeline di estrazione degli aspetti a grana fine:
   • Le locuzioni nominali sono state identificate utilizzando il toolkit spaCy.
   • L'algoritmo Double Propagation (DP) ha estratto le parole chiave degli aspetti candidati basandosi sulle dipendenze sintattiche (ad es., mod, obj).
   • Le parole chiave degli aspetti ad alta frequenza sono state raggruppate tramite Affinity Propagation (AP) su vettori Word2Vec a 200 dimensioni, risultando in 11 distinti cluster di aspetti (ad es., "Esperimenti e Operazioni", "Analisi dei Risultati e Valutazione", "Metodologia e Modello").
3. Costruzione del Corpus e Classificazione del Sentimento:
   • È stato creato un corpus annotato manualmente di 5.063 frasi di revisione, etichettando i sentimenti degli aspetti come positivi, neutrali, negativi o ambigui. La coerenza tra gli annotatori è stata verificata tramite coefficienti Kappa (0,63–0,66).
   • Un esperimento comparativo ha valutato 14 modelli di deep learning, inclusi modelli non-BERT (LSTM, MEMNET, IAN) e modelli basati su BERT (AEN-BERT, LCF-BERT, LCFS-BERT, varianti di RoBERTa).
   • Il modello LCF-BERT-CDM (Local Context Focus BERT con Meccanismo di Distanza Contestuale) è stato selezionato come il modello ottimale in base alle prestazioni.
4. Analisi Statistica e di Correlazione:
   • Il modello ottimale è stato utilizzato per classificare i sentimenti nell'intero corpus.
   • I punteggi di sentimento sono stati calcolati sia a livello di aspetto che a livello di documento utilizzando una formula di differenza normalizzata tra le frequenze positive e negative.
   • È stata condotta un'analisi di correlazione di Spearman per esaminare la relazione tra i punteggi del sentimento degli aspetti e il numero totale di round di revisione.

Risultati Chiave

• Prestazioni del Modello: Il modello LCF-BERT-CDM ha raggiunto la prestazione più elevata con un Macro-F1 score dell'82,65% e un'accuratezza dell'82,72%, superando sia i modelli non-BERT che le altre varianti BERT. Ciò suggerisce che enfatizzare le parole del contesto locale vicino al termine dell'aspetto è critico per la classificazione del sentimento della revisione tra pari.
• Distribuzione del Sentimento: I sentimenti negativi e neutrali predominano in tutti i round di revisione, riflettendo la natura critica della revisione tra pari. Tuttavia, è emerso un trend costante: all'aumentare del numero di round di revisione, la proporzione di sentimenti positivi è cresciuta, mentre i sentimenti negativi sono diminuiti.
• Evoluzione degli Aspetti:
  • Gli aspetti centrali come "Analisi dei Risultati e Valutazione", "Impatto e Valore della Ricerca" e "Metodologia e Modello" hanno mantenuto un alto volume di sentimento durante tutto il processo.
  • Nei round finali di revisione, l'attenzione verso "Struttura e Linguaggio" è aumentata, indicando uno spostamento verso dettagli più fini man mano che i problemi di contenuto principali venivano risolti.
  • Per gli articoli che hanno subito 2 o 3 round, il sentimento positivo è generalmente aumentato con ogni round successivo, sebbene alcuni aspetti (come "Metodologia") abbiano mostrato un calo di positività nel secondo round prima di recuperare nel terzo.
• Correlazione con i Round di Revisione:
  • Esiste una significativa correlazione negativa tra i punteggi del sentimento degli aspetti e il numero totale di round di revisione. Punteggi di sentimento più bassi (più negativi) correlano con un numero maggiore di round.
  • Gli aspetti che mostrano la correlazione più forte con il numero di round di revisione sono "Esperimenti e Operazioni" (EXP), "Impatto e Valore della Ricerca" (IMP) e "Analisi dei Risultati e Valutazione" (RES).
  • Nei round successivi (Round 4+), l'aspetto "Metodologia e Modello" ha mostrato una correlazione più forte con il numero totale di round, suggerendo che problemi metodologici persistenti prolungano significativamente il processo di revisione.

Significatività e Contributi
Il paper rivendica una significatività sia in ambito teorico che pratico:

• Contributo Teorico: Lo studio fa avanzare il campo del mining dei commenti di revisione passando da un'analisi a grana grossa a un'analisi del sentimento a livello di aspetto a grana fine all'interno di un contesto multi-round. Dimostra che il focus dei revisori e le tendenze del sentimento non sono statici ma evolvono dinamicamente attraverso le fasi di revisione, richiedendo un approccio analitico specifico per ogni round.
• Applicazione Pratica: Le scoperte offrono una guida azionabile per gli autori. Identificando che i sentimenti negativi riguardanti esperimenti, analisi dei risultati e significatività della ricerca sono fortemente legati a cicli di revisione prolungati, lo studio suggerisce che gli autori dovrebbero dare priorità a questi aspetti specifici durante la scrittura e la revisione. Affrontare efficacemente queste aree può potenzialmente ridurre il numero di round di revisione e accorciare i tempi di pubblicazione.

Limitazioni
Gli autori riconoscono diverse limitazioni:

1. Ambito dei Dati: Il dataset è limitato agli articoli accettati da Nature Communications, introducendo un potenziale bias di sopravvivenza. I commenti relativi agli articoli rifiutati, che potrebbero contenere pattern di sentimento critici, non sono stati inclusi.
2. Generalizzabilità: Le scoperte sono specifiche per la rivista NC e potrebbero non generalizzarsi completamente ad altre discipline o riviste con diverse politiche di revisione.
3. Prestazioni del Modello: Sebbene il LCF-BERT-CDM sia stato il migliore, il modello incontra ancora difficoltà con le espressioni di sentimento implicite, ed errori possono accumularsi attraverso la pipeline sperimentale multi-step (segmentazione, estrazione degli aspetti, classificazione).
4. Causalità: L'analisi di correlazione non incorpora variabili di controllo, il che significa che le relazioni osservate sono associative piuttosto che strettamente causali.