Aspect-Based Sentiment Evolution and its Correlation with Review Rounds in Multi-Round Peer Reviews: A Deep Learning Approach

Resumo Técnico: Evolução do Sentimento Baseado em Aspectos e sua Correlação com Rodadas de Revisão em Revisões por Pares de Múltiplas Rodadas

Declaração do Problema
Embora a mineração de sentimento em comentários de revisão por pares ofereça insights sobre a avaliação científica, as pesquisas existentes são limitadas por duas restrições primárias: análise de aspectos de grão grosso (ex.: categorias amplas como "inovação" ou "clareza") e uma falta de diferenciação entre múltiplas rodadas de revisão. A maioria dos estudos trata o processo de revisão como um bloco monolítico ou baseia-se na duração total do ciclo de revisão, falhando em capturar as mudanças dinâmicas no foco e nas tendências de sentimento dos revisores à medida que os autores revisam seus manuscritos. Consequentemente, há uma lacuna na compreensão de como os sentimentos de aspectos de grão fino evoluem da submissão até a publicação e como esses sentimentos se correlacionam com o número específico de rodadas de revisão pelas quais um artigo passa.

Metodologia
O estudo emprega uma abordagem baseada em aprendizado profundo para analisar comentários de revisão por pares de múltiplas rodadas da Nature Communications (NC), cobrindo 11.063 artigos aceitos publicados entre 2016 e 2020. A metodologia procede através de quatro etapas principais:

1. Coleta e Pré-processamento de Dados: Os autores coletaram 41.373 arquivos de revisão por pares. Utilizando reconhecimento de regras estruturais e anotação manual, os textos foram segmentados por rodadas de revisão (variando de 1 a 6 rodadas). O ruído foi limpo e as sentenças foram tokenizadas.
2. Identificação de Aspectos: Uma pipeline de extração de aspectos de grão fino foi implementada:
   • Frases nominais foram identificadas usando o toolkit spaCy.
   • O algoritmo Double Propagation (DP) extraiu palavras de aspectos candidatas baseadas em dependências sintáticas (ex.: mod, obj).
   • Palavras de aspectos de alta frequência foram agrupadas usando Affinity Propagation (AP) em vetores Word2Vec de 200 dimensões, resultando em 11 clusters de aspectos distintos (ex.: "Experimentos & Operações", "Análise de Resultados & Avaliação", "Metodologia & Modelo").
3. Construção do Corpus e Classificação de Sentimento:
   • Um corpus anotado manualmente de 5.063 sentenças de revisão foi criado, rotulando os sentimentos dos aspectos como positivos, neutros, negativos ou ambíguos. A consistência entre anotadores foi verificada usando coeficientes Kappa (0,63–0,66).
   • Um experimento comparativo avaliou 14 modelos de aprendizado profundo, incluindo arquiteturas não-BERT (LSTM, MEMNET, IAN) e modelos baseados em BERT (AEN-BERT, LCF-BERT, LCFS-BERT, variantes RoBERTa).
   • O modelo LCF-BERT-CDM (Local Context Focus BERT com Mecanismo de Distância Contextual) foi selecionado como o modelo ideal com base no desempenho.
4. Análise Estatística e de Correlação:
   • O modelo ideal foi utilizado para classificar os sentimentos em todo o corpus.
   • Os scores de sentimento foram calculados tanto ao nível do aspecto quanto ao nível do documento usando uma fórmula de diferença normalizada entre as frequências positivas e negativas.
   • Uma análise de correlação de Spearman foi conduzida para examinar a relação entre os scores de sentimento de aspectos e o número total de rodadas de revisão.

Principais Resultados

• Desempenho do Modelo: O modelo LCF-BERT-CDM alcançou o maior desempenho com um Macro-F1 de 82,65% e uma Acurácia de 82,72%, superando tanto os modelos não-BERT quanto outras variantes BERT. Isso sugere que enfatizar palavras de contexto local próximas ao termo do aspecto é crítico para a classificação de sentimento de revisão por pares.
• Distribuição de Sentimento: Sentimentos negativos e neutros predominaram em todas as rodadas de revisão, refletindo a natureza crítica da revisão por pares. No entanto, uma tendência consistente emergiu: conforme o número de rodadas de revisão aumentava, a proporção de sentimentos positivos subia, enquanto os sentimentos negativos declinavam.
• Evolução de Aspectos:
  • Aspectos centrais como "Análise de Resultados & Avaliação", "Impacto & Valor de Pesquisa" e "Metodologia & Modelo" mantiveram um alto volume de sentimento ao longo do processo.
  • Nas rodadas finais de revisão, a atenção para "Estrutura & Linguagem" aumentou, indicando uma mudança para detalhes mais finos conforme os problemas de conteúdo principais eram resolvidos.
  • Para artigos que passaram por 2 ou 3 rodadas, o sentimento positivo geralmente aumentava a cada rodada subsequente, embora alguns aspectos (como "Metodologia") tenham mostrado uma queda na positividade na segunda rodada antes de se recuperarem na terceira.
• Correlação com Rodadas de Revisão:
  • Existe uma correlação negativa significativa entre os scores de sentimento de aspectos e o número total de rodadas de revisão. Scores de sentimento mais baixos (mais negativos) correlacionam-se com um maior número de rodadas.
  • Os aspectos que mais fortemente se correlacionaram com o número de rodadas de revisão foram "Experimentos & Operações" (EXP), "Impacto & Valor de Pesquisa" (IMP) e "Análise de Resultados & Avaliação" (RES).
  • Em rodadas tardias (Rodada 4+), o aspecto "Metodologia & Modelo" mostrou uma correlação mais forte com o número total de rodadas, sugerindo que problemas metodológicos persistentes prolongam significativamente o processo de revisão.

Significância e Contribuições
O artigo reivindica significância tanto nos domínios teórico quanto prático:

• Contribuição Teórica: O estudo avança o campo da mineração de comentários de revisão ao ir além da análise de grão grosso para a análise de sentimento de nível de aspecto de grão fino dentro de um contexto de múltiplas rodadas. Demonstra que o foco do revisor e as tendências de sentimento não são estáticos, mas evoluem dinamicamente através das etapas de revisão, necessitando de uma abordagem analítica específica por rodada.
• Aplicação Prática: Os achados oferecem orientação acionável para autores. Ao identificar que sentimentos negativos em relação a experimentos, análise de resultados e significância da pesquisa estão fortemente ligados a ciclos de revisão estendidos, o estudo sugere que os autores devem priorizar esses aspectos específicos durante a escrita e revisão. Abordar essas áreas de forma eficaz pode potencialmente reduzir o número de rodadas de revisão e encurtar o cronograma de publicação.

Limitações
Os autores reconhecem diversas limitações:

1. Escopo de Dados: O conjunto de dados é restrito a artigos aceitos da Nature Communications, introduzindo um potencial viés de sobrevivência. Comentários de artigos rejeitados, que poderiam conter padrões de sentimento críticos, não foram incluídos.
2. Generalização: Os achados são específicos para a revista NC e podem não se generalizar totalmente para outras disciplinas ou revistas com políticas de revisão diferentes.
3. Desempenho do Modelo: Embora o LCF-BERT-CDM tenha tido o melhor desempenho, o modelo ainda tem dificuldades com expressões de sentimento implícitas, e erros podem se acumular através da pipeline experimental de múltiplas etapas (segmentação, extração de aspectos, classificação).
4. Causalidade: A análise de correlação não incorpora variáveis de controle, o que significa que as relações observadas são associativas em vez de estritamente causais.