Which Review Aspect Has a Greater Impact on the Duration of Open Peer Review in Multiple Rounds? -- Evidence from Nature Communications

기술 요약: 다회차 오픈 피어 리뷰의 기간에 더 큰 영향을 미치는 검토 측면은 무엇인가?

문제 제기
학술 논문 제출의 급격한 증가는 피어 리뷰 시스템에 상당한 부담을 주었으며, 이는 리뷰 기간의 지속적인 장기화로 이어지고 있다. 기존 문헌은 계량 정보학, 감성 분석 및 구조적 마이닝을 활용하여 리뷰 코멘트를 광범위하게 분석해 왔으나, 대부분의 연구는 리뷰 코멘트를 하나의 통일된 텍스트로 취급하거나 거친 입도(coarse-grained)의 측면(예: 일반적인 수락 예측)에 집중하였다. 결정적으로, 미세한 수준(fine-grained)의 리뷰 측면 감성과 실제 피어 리뷰 프로세스의 기간 사이를 연결하는 연구, 특히 여러 차례의 리뷰 라운드와 서로 다른 학문 분야를 가로지르는 연구가 부족하다. 이러한 공백은 저자가 타겟팅된 수정을 수행하고 편집자가 의사결정을 신속하게 내리는 데 한계를 준다.

연구 방법론
본 연구는 Nature Communications(2016–2020)에서 추출한 41,373개의 피어 리뷰 코멘트로 구성된 구조화된 코퍼스를 활용하여 2단계 정량적 접근 방식을 채택한다.

1. 데이터 구축 및 측면 추출:

   • 저자들은 리뷰 라운드별로 세분화된 다회차 피어 리뷰 코퍼스를 활용하였다.
   • 측면 추출: 이중 전파(Double Propagation, DP) 알고리즘을 사용하여 후보 측면 단어를 추출한 후, 친화도 전파(Affinity Propagation, AP) 클러스터링을 수행하였다. 이를 통해 11개의 뚜렷한 리뷰 측면 클러스터가 도출되었다: 문제 정의/아이디어(PDI), 데이터/데이터셋(DAT), 표 및 그림(TNF), 방법론 및 모델(MET), 실험 및 운영(EXP), 결론 및 토론(CON), 인덱스/파라미터(IND), 평가 및 결과(RES), 구조 및 언어(SNL), 영향력 및 연구 가치(IMP), 비교 및 상관관계(CMP).
   • 감성 주석(Sentiment Annotation): 5,063개의 문장이 포함된 데이터셋을 세 명의 주석자가 수동으로 주석 처리하였으며(긍정, 중립, 부정), 높은 주석자 간 일치도(Kappa > 0.6)를 보였다.

2. 감성 분류:

   • ATAE-LSTM, MEMNET, IAN, AOA, CABASC, AEN_BERT, BERT_SPC, LCF_BERT 변형 모델을 포함한 다양한 속성 기반 감성 분석(ABSA) 모델을 훈련하고 평가하였다.
   • LCF_BERT_CDM(Local Context Focus with Contextual Dynamic Masking) 모델이 가장 우수한 성능(정확도: 81.24%, Macro-F1: 80.77%)을 달성하였으며, 전체 코퍼스의 감성을 분류하기 위해 선택되었다.

3. 상관관계 분석:

   • 변수: 긍정, 부정, 중립 횟수의 균형을 맞춘 공식을 사용하여 각 측면 클러스터 및 전체 리뷰에 대한 감성 점수를 계산하였다. 피어 리뷰 기간은 투고부터 수락까지의 시간 차이로 정의하였다.
   • 통제 변수: 논문 길이(단어 수), 저자 수, 주제 수를 통제 변수로 포함하였다.
   • 분석: 피어슨 편 상관계수(Pearson partial correlation coefficients)를 계산하여 다섯 가지 1차 학문 분야와 서로 다른 리뷰 라운드(1차, 2차, 3차)에 걸쳐 측면 감성 점수와 리뷰 기간 사이의 관계를 분석하였다.

주요 결과

• 전체 상관관계: 리뷰 감성과 피어 리뷰 기간 사이에는 통계적으로 유의미한 약한 음의 상관관계가 존재한다. 이는 리뷰 측면의 긍정적 감성이 더 많은 논문이 일반적으로 더 짧은 리뷰 기간을 경험함을 나타낸다.
• 학문적 차이 (RQ1):
  • 모든 학문 분야에서 **평가 및 결과(RES)**와 영향력 및 연구 가치(IMP) 클러스터가 리뷰 기간과 가장 강력한 음의 상관관계를 일관되게 보였다.
  • **구조 및 언어(SNL)**는 가장 약한 상관관계를 보여, 이 영역의 수정이 전체 시간에 미치는 영향이 적음을 시사하였다.
  • 특정 변동 사항이 관찰되었다: 보건 과학(Health Sciences) 분야에서는 표 및 그림과 결론 및 토론이 기간과 더 강하게 상관되어 있었던 반면, 방법론 및 모델은 약한 상관관계를 보였다.
• 라운드별 차이 (RQ2):
  • 감성과 기간 사이의 상관관계는 첫 번째 라운드에서 가장 강력하며, 이후 라운드로 갈수록 감소한다.
  • 첫 번째 라운드 집중 영역: 리뷰어들은 평가 및 결과, 실험 및 운영, 영향력 및 연구 가치를 우선시한다. 초기 라운드에서의 이러한 영역에 대한 부정적 감성은 리뷰 타임라인을 크게 연장시킨다.
  • 2차/3차 라운드 집중 영역: 프로세스가 진행됨에 따라 리뷰어의 초점이 이동한다. 후기 라운드에서는 표 및 그림, 비교 및 상관관계, 구조 및 언어가 기간과 더 강하게 상관되는 반면, 평가 및 결과와 영향력 및 연구 가치의 영향력은 감소한다.

의의 및 기여
본 논문은 다음 세 가지 주요 영역에서 의의를 주장한다:

1. 텍스트와 프로세스의 연결: 리뷰 코멘트를 정적인 텍스트로 취급했던 이전 연구들과 달리, 본 연구는 미세한 수준의 측면 감성을 피어 리뷰 프로세스의 시간적 역동성과 명시적으로 연결하였다.
2. 입도 및 라운드 특이성: 거친 입도의 측면을 넘어 다회차 데이터를 분석함으로써, 본 연구는 리뷰 기간의 "임계 경로(critical path)"가 리뷰 단계에 따라 변화함을 식별하였다.
3. 실용적 유용성:
   • 저자를 위한 제언: 리뷰 시간을 단축하기 위해, 저자들은 초기 라운드에서는 평가 및 결과와 영향력 및 연구 가치에 관한 고품질의 수정을 우선시해야 하며, 후기 라운드에서는 표 및 그림과 구조 및 언어로 초점을 전환해야 함을 시사한다.
   • 편집자/리뷰어를 위한 제언: 이러한 고영향력 측면을 식별함으로써 보다 타겟팅된 의사결정이 가능해지며, 이는 잠재적으로 피어 리뷰 시스템의 부담을 완화하고 지식 확산을 가속화할 수 있다.

한계점
저자들은 다음과 같은 제약 사항을 인정한다:

• 데이터 범위: 본 연구는 Nature Communications(채택된 논문만 해당)와 2020년까지의 데이터로 제한되어 있으며, 탈락된 논문이나 최근의 트렌드는 제외되었다.
• 모델 성능: LCF_BERT_CDM이 가장 우수한 성능을 보였으나, 이는 2019년 아키텍처에 의존하고 있으며 더 최신의 모델은 테스트되지 않았다.
• 통제 변수: 연구에서는 논문 길이, 저자 수, 주제 수를 통제하였으나, 데이터 기밀성으로 인해 리뷰어별 요인(예: 전문성, 합의 수준)은 고려할 수 없었다.

결론
본 연구는 전체적인 감성이 리뷰 기간과 상관관계가 있지만, 이 기간을 주도하는 구체적인 측면은 학문 분야와 리뷰 라운드에 따라 다양하다고 결론짓는다. 특히 평가 및 결과와 영향력 및 연구 가치가 리뷰 기간을 주도하는 주요 요인이며, 이는 첫 번째 라운드에서 두드러진다. 저자와 리뷰어가 이러한 측면에 대해 타겟팅된 주의를 기울이는 것은 잠재적으로 피어 리뷰 타임라인을 최적화할 수 있다.