Aspect-Based Sentiment Evolution and its Correlation with Review Rounds in Multi-Round Peer Reviews: A Deep Learning Approach

기술 요약: 다회차 동료 심사에서의 속성 기반 감성 진화 및 리뷰 라운드와의 상관관계

문제 정의
동료 심사(peer review) 의견에서 감성을 추출하는 것은 과학적 평가에 대한 통찰을 제공하지만, 기존 연구는 두 가지 주요 한계점에 의해 제약을 받는다: 즉, 조립한 수준의 속성 분석(예: "혁신성" 또는 "명확성"과 같은 광범위한 범주)과 다회차 리뷰 라운드 간의 차별화 부족이다. 대부분의 연구는 리뷰 과정을 하나의 단일한 블록으로 취급하거나 전체 리뷰 주기 기간에 의존하며, 저자가 원고를 수정함에 따라 변화하는 리뷰어의 초점과 감성 경향의 역동적인 변화를 포착하지 못한다. 결과적으로, 투고부터 출판까지 세밀한 속성 감성이 어떻게 진화하는지, 그리고 이러한 감성이 논문이 거치는 구체적인 리뷰 라운드 수와 어떻게 상관관계를 갖는지에 대한 이해에 공백이 존재한다.

연구 방법론
본 연구는 2016년부터 2020년 사이에 발표된 11,063편의 승인된 논문을 대상으로 Nature Communications(NC)의 다회차 동료 심사 의견을 분석하기 위해 딥러닝 기반 접근 방식을 채택하였다. 방법론은 네 가지 핵심 단계로 진행된다:

1. 데이터 수집 및 전처리: 저자들은 41,373개의 동료 심사 파일을 수집하였다. 구조적 규칙 인식과 수동 주석(manual annotation)을 사용하여, 텍스트를 리뷰 라운드(1~6라운드)별로 분할하였다. 노이즈를 제거하고 문장을 토큰화하였다.
2. 속성 식별: 세밀한 속성 추출 파이프라인을 구현하였다:
   • spaCy 툴킷을 사용하여 명사구를 식별하였다.
   • Double Propagation (DP) 알고리즘을 통해 구문 의존성(예: mod, obj)을 기반으로 후보 속성 단어를 추출하였다.
   • 200차원의 Word2Vec 벡터에 대한 Affinity Propagation (AP)을 사용하여 고빈도 속성 단어를 클러스터링하였으며, 그 결과 11개의 뚜렷한 속성 클러스터(예: "실험 및 작업", "결과 분석 및 평가", "방법론 및 모델")를 도출하였다.
3. 코퍼스 구축 및 감성 분류:
   • 속성 감성을 긍정, 중립, 부정, 또는 모호함으로 레이블링한 5,063개의 리뷰 문장으로 구성된 수동 주석 코퍼스를 생성하였다. 상호 주석자 일치도는 Kappa 계수(0.63–0.66)를 통해 검증되었다.
   • 14개의 딥러닝 모델(비-BERT 아키텍처인 LSTM, MEMNET, IAN 및 BERT 기반 모델인 AEN-BERT, LCF-BERT, LCFS-BERT, RoBERTa 변형 포함)에 대한 비교 실험을 수행하였다.
   • 성능을 바탕으로 LCF-BERT-CDM(Contextual Distance Mechanism이 적용된 Local Context Focus BERT) 모델이 최적의 모델로 선정되었다.
4. 통계 및 상관관계 분석:
   • 최적의 모델을 사용하여 전체 코퍼스의 감성을 분류하였다.
   • 긍정 및 부정 빈도의 정규화된 차이 공식을 사용하여 속성 수준 및 문서 수준에서 감성 점수를 계산하였다.
   • 속성 감성 점수와 총 리뷰 라운드 수 사이의 관계를 조사하기 위해 Spearman 상관관계 분석을 실시하였다.

주요 결과

• 모델 성능: LCF-BERT-CDM 모델은 Macro-F1 점수 **82.65%**와 정확도 82.72%를 기록하며 가장 높은 성능을 달-성하였고, 비-BERT 모델 및 다른 BERT 변형 모델들을 능가하였다. 이는 속성 용어 근처의 로컬 컨텍스트 단어를 강조하는 것이 동료 심사 감성 분류에 결정적임을 시사한다.
• 감성 분포: 모든 리뷰 라운드에 걸쳐 부정적 및 중립적 감성이 우세하게 나타났으며, 이는 동료 심사의 비판적 성격을 반영한다. 그러나 일관된 추세가 관찰되었다: 리뷰 라운드 수가 증가함에 따라 긍정적 감성의 비율은 상승하고 부정적 감성은 감소하였다.
• 속성 진화:
  • "결과 분석 및 평가", "영향력 및 연구 가치", "방법론 및 모델"과 같은 핵심 속성들은 과정 전반에 걸쳐 높은 감성 볼륨을 유지하였다.
  • 최종 리뷰 라운드에서는 "구조 및 언어"에 대한 주의가 증가하였는데, 이는 주요 내용 문제가 해결됨에 따라 더 세부적인 사항으로 초점이 이동했음을 나타낸다.
  • 2회 또는 3회 라운드를 거치는 논문의 경우, 일반적으로 후속 라운드로 갈수록 긍정적 감성이 증가하였으나, 일부 속성(예: "방법론")은 2라운드에서 긍정성이 일시적으로 하락했다가 3라운드에서 회복되는 양상을 보였다.
• 리뷰 라운드와의 상관관계:
  • 속성 감성 점수와 총 리뷰 라운드 수 사이에는 유의미한 음의 상관관계가 존재한다. 낮은 감성 점수(더 많은 부정적 감성)는 더 많은 리뷰 라운드와 상관관계가 있다.
  • 리뷰 라운드 수와 가장 강하게 상관된 속성은 "실험 및 작업"(EXP), "영향력 및 연구 가치"(IMP), 그리고 **"결과 분석 및 평가"(RES)**였다.
  • 후기 라운드(4라운드 이상)에서 "방법론 및 모델" 속성은 총 리뷰 라운드와 더 강한 상관관계를 보였으며, 이는 지속적인 방법론적 문제가 리뷰 과정을 상당히 연장시킨다는 것을 시사한다.

의의 및 기여
본 논문은 이론적 및 실무적 영역 모두에서 다음과 같은 의의를 주장한다:

• 이론적 기여: 본 연구는 단순한 조립한 수준의 분석을 넘어 다회차 맥락 내에서의 세밀한 속성 수준 감성 분석을 수행함으로써 리뷰 코멘트 마이닝 분야를 발전시켰다. 연구자는 리뷰어의 초점과 감성 경향이 정적이지 않고 리뷰 단계에 따라 역동적으로 진화하며, 이에 따라 라운드별 분석 접근 방식이 필요함을 입증하였다.
• 실무적 적용: 본 연구의 결과는 저자들에게 실행 가능한 지침을 제공한다. 실험, 결과 분석, 연구 중요성에 관한 부정적 감성이 연장된 리뷰 사이클과 밀접하게 연결되어 있음을 식별함으로써, 저자들이 집필 및 수정 단계에서 이러한 특정 속성들을 우선순위에 두어야 함을 시사한다. 이러한 영역을 효과적으로 다루는 것은 잠재적으로 리뷰 라운드 수를 줄이고 출판 일정을 단축할 수 있다.

한계점
저자들은 다음과 같은 몇 가지 한계를 인정한다:

1. 데이터 범위: 데이터셋이 Nature Communications의 승인된 논문으로 제한되어 있어 생존 편향(survivorship bias)이 발생할 가능성이 있다. 비판적 감성 패턴을 포함할 수 있는 반려된 논문의 코멘트는 포함되지 않았다.
2. 일반화 가능성: 연구 결과는 NC 저널에 특화되어 있으며, 다른 학문 분야나 다른 리뷰 정책을 가진 저널로 완전히 일반화되지 않을 수 있다.
3. 모델 성능: LCF-BERT-CDM이 가장 우수한 성능을 보였으나, 여전히 암시적 감성 표현을 처리하는 데 어려움이 있으며, 다단계 실험 파이프라인(분할, 속성 추출, 분류)을 통해 오류가 누적될 수 있다.
4. 인과관계: 상관관계 분석에 통제 변수가 포함되지 않았으므로, 관찰된 관계는 엄격한 인과관계라기보다 연관 관계이다.