Which Review Aspect Has a Greater Impact on the Duration of Open Peer Review in Multiple Rounds? -- Evidence from Nature Communications

Resumo Técnico: Qual Aspecto de Revisão Tem um Maior Impacto na Duração da Revisão por Pares Aberta em Múltiplas Rodadas?

Definição do Problema
O rápido aumento nas submissões de artigos acadêmicos colocou uma carga significativa sobre o sistema de revisão por pares, levando a durações de revisão cada vez mais longas. Embora a literatura existente tenha analisado extensivamente os comentários de revisão por meio de bibliometria, análise de sentimento e mineração estrutural, a maioria dos estudos trata os comentários de revisão como um texto monolítico ou foca em aspectos de granularidade grosseira (ex: aceitação geral de predição). Crucialmente, há uma falta de pesquisa que conecte os sentimentos de aspectos de revisão de granularidade fina com a duração real do processo de revisão por pares, particularmente através de múltiplas rodadas de revisão e diferentes disciplinas. Essa lacuna limita a capacidade dos autores de realizar revisões direcionadas e dos editores de agilizar a tomada de decisão.

Metodologia
O estudo emprega uma abordagem quantitativa de duas etapas utilizando um corpus estruturado de 41.373 comentários de revisão por pares da Nature Communications (2016–2020).

1. Construção de Dados e Extração de Aspectos:

   • Os autores utilizaram um corpus de revisão por pares de múltiplas rodadas onde os comentários foram segmentados por rodadas de revisão.
   • Extração de Aspectos: O algoritmo Double Propagation (DP) foi utilizado para extraar palavras de aspectos candidatas, seguido pelo agrupamento por Affinity Propagation (AP). Isso resultou em 11 clusters distintos de aspectos de revisão: Definição de Problema/Ideia (PDI), Dados/Conjuntos de Dados (DAT), Tabelas e Figuras (TNF), Metodologia e Modelo (MET), Experimentos e Operações (EXP), Conclusões e Discussões (CON), Índice/Parâmetros (IND), Avaliação e Resultado (RES), Estrutura e Linguagem (SNL), Impacto e Valor de Pesquisa (IMP), e Comparação e Correlação (CMP).
   • Anotação de Sentimento: Um conjunto de dados de 5.063 sentenças contendo aspectos de revisão foi anotado manualmente por três anotadores (positivo, neutro, negativo) com alta concordância entre anotadores (Kappa > 0,6).

2. Classificação de Sentimento:

   • Vários modelos de Análise de Sentimento Baseada em Aspectos (ABSA) foram treinados e avaliados, incluindo variantes de ATAE-LSTM, MEMNET, IAN, AOA, CABASC, AEN_BERT, BERT_SPC e LCF_BERT.
   • O modelo LCF_BERT_CDM (Local Context Focus with Contextual Dynamic Masking) alcançou o melhor desempenho (Acurácia: 81,24%, Macro-F1: 80,77%) e foi selecionado para classificar os sentimentos em todo o corpus.

3. Análise de Correlação:

   • Variáveis: Os scores de sentimento foram calculados para cada cluster de aspecto e para a revisão geral usando uma fórmula que equilibra as contagens positivas, negativas e neutras. A duração da revisão por pares foi definida como a diferença de tempo entre a submissão e a aceitação.
   • Controles: Comprimento do artigo (contagem de palavras), número de autores e número de assuntos foram incluídos como variáveis de controle.
   • Análise: Coeficientes de correlação parcial de Pearson foram computados para analisar a relação entre os scores de sentimento de aspecto e a duração da revisão através de cinco disciplinas de primeiro nível e através de diferentes rodadas de revisão (1ª, 2ª e 3ª).

Principais Resultados

• Correlação Geral: Existe uma correlação negativa fraca, mas estatisticamente significativa, entre o sentimento da revisão e a duração da revisão por pares. Isso indica que artigos com mais sentimentos de aspectos positivos geralmente experimentam durações de revisão mais curtas.
• Diferenças Disciplinares (RQ1):
  • Em todas as disciplinas, os clusters de aspectos Avaliação e Resultado (RES) e Impacto e Valor de Pesquisa (IMP) mostraram consistentemente a correlação negativa mais forte com a duração da revisão.
  • Estrutura e Linguagem (SNL) mostrou a correlação mais fraca, sugerindo que revisões nesta área têm menos impacto no tempo total.
  • Variações específicas foram observadas: Nas Ciências da Saúde, Tabelas e Figuras e Conclusões e Discussões foram mais fortemente correlacionadas com a duração, enquanto Metodologia e Modelo mostrou uma correlação fraca.
• Diferenças Específicas por Rodada (RQ2):
  • A correlação entre sentimento e duração é mais forte na primeira rodada e diminui nas rodadas subsequentes.
  • Foco da Primeira Rodada: Os revisores priorizam Avaliação e Resultado, Experimentos e Operações e Impacto e Valor de Pesquisa. O sentimento negativo nessas áreas durante a rodada inicial estende significativamente o cronograma de revisão.
  • Foco da Segunda/Terceira Rodada: À medida que o processo progride, o foco do revisor muda. Nas rodadas posteriores, Tabelas e Figuras, Comparação e Correlação e Estrutura e Linguagem tornam-se mais fortemente correlacionados com a duração, enquanto o impacto de Avaliação e Resultado e Impacto e Valor de Pesquisa diminui.

Significância e Contribuições
O artigo reivindica significância em três áreas primárias:

1. Conectando Texto ao Processo: Ao contrário de estudos anteriores que trataram os comentários de revisão como texto estático, este trabalho vincula explicitamente os sentimentos de aspectos de granularidade fina à dinâmica temporal do processo de revisão por pares.
2. Granularidade e Especificidade de Rodada: Ao ir além de aspectos de granularidade grosseira e analisar dados de múltiplas rodadas, o estudo identifica que o "caminho crítico" para a duração da revisão muda dependendo do estágio da revisão.
3. Utilidade Prática:
   • Para Autores: Os achados sugerem que, para reduzir o tempo de revisão, os autores devem priorizar revisões de alta qualidade em relação a Avaliação e Resultado e Impacto e Valor de Pesquisa nas rodadas iniciais, e mudar o foco para Tabelas e Figuras e Estrutura e Linguagem nas rodadas posteriores.
   • Para Editores/Revisores: Identificar esses aspectos de alto impacto permite uma tomada de decisão mais direcionada, potencialmente aliviando a carga sobre o sistema de revisão por pares e acelerando a disseminação do conhecimento.

Limitações
Os autores reconhecem algumas restrições:

• Escopo dos Dados: O estudo é limitado à Nature Communications (apenas artigos aceitos) e dados até 2020, excluindo artigos rejeitados e tendências mais recentes.
• Desempenho do Modelo: Embora o LCF_BERT_CDM tenha tido o melhor desempenho, ele depende de uma arquitetura de 2019; modelos mais novos não foram testados.
• Variáveis de Controle: O estudo controlou o comprimento do artigo, contagem de autores e contagem de assuntos, mas não pôde considerar fatores específicos do revisor (ex: expertise, níveis de concordância) devido à confidencialidade dos dados.

Conclusão
O estudo conclui que, embora o sentimento geral se correlacione com a duração da revisão, os aspectos específicos que impulsionam essa duração variam conforme a disciplina e a rodada de revisão. Especificamente, Avaliação e Resultado e Impacto e Valor de Pesquisa são os principais impulsionadores da duração da revisão, particularmente na primeira rodada. A atenção direcionada a esses aspectos por parte de autores e revisores pode potencialmente otimizar o cronograma de revisão por pares.