Impact of large language models on peer review opinions from a fine-grained perspective: Evidence from top conference proceedings in AI

논문 요약: 대규모 언어 모델 (LLM) 이 동료 검토 (Peer Review) 에 미치는 영향에 대한 미세 분석

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 인공지능 (AI) 학계, 특히 NeurIPS 및 ICLR 과 같은 최상위 컨퍼런스의 논문 제출량이 급증하면서 동료 검토 시스템은 검토자 부족, 편향, 검토 품질의 불일치 등의 위기에 직면해 있습니다.
• 도입된 기술: 대규모 언어 모델 (LLM) 의 등장으로 검토자들이 보고서 작성 시 LLM 을 보조 도구로 사용하는 사례가 증가하고 있습니다.
• 문제: 기존 연구들은 LLM 이 동료 검토 점수나 수용률에 미치는 거시적 영향을 조사했으나, LLM 이 동료 검토의 핵심 평가 기능 (Originality, Replicability 등) 을 어떻게 변화시키는지, 그리고 언어적 패턴과 평가 초점의 미세한 변화 (Fine-grained changes) 는 체계적으로 분석되지 않았습니다. 또한, LLM 사용이 검토의 질적 깊이 (심층 비판적 추론) 를 훼손하는지 여부는 명확하지 않습니다.

2. 연구 방법론 (Methodology)

이 연구는 ICLR(2017-2025) 과 NeurIPS(2016-2024) 의 공개된 동료 검토 데이터를 기반으로 미세 분석 (Fine-grained analysis) 을 수행했습니다.

• 데이터 수집 및 전처리:
  • OpenReview 에서 수집된 약 18 만 건의 리뷰 텍스트를 대상으로 합니다.
  • NLTK 를 사용하여 문장을 분할하고, 단어 및 문장 단위로 분석합니다.
• LLM 보조 검토 텍스트 탐지 (LLM-Assisted Detection):
  • Liang et al. [26] 의 최대 우도 추정 (Maximum Likelihood Estimation, MLE) 모델을 활용하여 인간이 작성한 텍스트와 LLM 이 생성/수정한 텍스트를 구분합니다.
  • LLM 이 주로 사용하는 어휘 (Lexicon, 예: 'meticulously', 'seamlessly' 등) 를 필터링하여 초기 선별을 수행한 후, MLE 모델을 통해 LLM 보조 가능성이 높은 리뷰를 식별합니다.
• 세부 분석 차원:
  1. 어휘 및 구문 복잡도 (Lexical & Syntactic Complexity): TAALES(어휘) 와 TAASSC(구문) 도구를 사용하여 단어 다양성, 문장 길이, 명사형 주어 (Nominal subjects) 비율, 부사절 등 5 가지 지표를 분석합니다.
  2. 평가 측면 식별 (Aspect Identification): Yuan et al. 의 모델을 기반으로 각 문장이 언급하는 평가 항목 (Summary, Originality, Soundness, Clarity, Replicability 등 8 가지) 과 긍정/부정 감성을 자동 주석합니다.
  3. 검토자 신뢰도 (Confidence Score) 분석: 검토자가 부여한 신뢰도 점수 (1~5) 에 따른 언어적, 내용적 차이를 비교합니다.

3. 주요 연구 질문 (Research Questions)

1. RQ1: LLM 의 등장 이후 동료 검토 텍스트의 언어적 복잡성과 내용 표현 (Aspect-level) 은 어떻게 변화했는가?
2. RQ2: LLM 보조 리뷰와 비보조 리뷰 간에 어떤 평가 항목이 더 강조되는가?
3. RQ3: LLM 보조 리뷰에서 강조된 평가 항목은 검토자의 점수 부여 및 신뢰도 수준과 어떤 관계가 있는가?

4. 주요 결과 (Key Results)

• 언어적 변화 (RQ1):

  • 길이와 유창성: LLM 등장 이후 리뷰 텍스트의 길이가 길어지고 유창성이 증가했습니다. 특히 ICLR 에서 단어 및 문장 수의 증가가 두드러졌습니다.
  • 복잡도 감소: 어휘적 복잡도는 약간 감소했으나, 명사형 주어 (Nominal subjects) 의 사용은 크게 증가하여 객관적이고 전문적인 어조가 강화되었습니다.
  • 신뢰도와의 상관관계: 신뢰도가 낮은 (Score 1) 검토자들의 리뷰 길이가 LLM 등장 이후 급격히 증가했습니다. 이는 LLM 이 지식 부족을 보완하여 저신뢰도 검토자들이 더 많은 정보를 제공할 수 있게 했음을 시사합니다.

• 평가 초점의 변화 (RQ2):

  • 표면적 요소 강조: LLM 보조 리뷰는 요약 (Summary) 과 명확성 (Clarity) 에 대한 언급 비율이 비보조 리뷰보다 높았습니다.
  • 심층 평가 요소 감소: 창의성 (Originality), 재현성 (Replicability), 심층적 비판적 추론에 대한 언급은 LLM 보조 리뷰에서 유의미하게 감소했습니다.
  • ICLR vs NeurIPS: ICLR 은 이러한 변화가 뚜렷했으나, NeurIPS 는 수용된 논문 위주라 변화가 상대적으로 작았습니다.

• 점수 및 신뢰도와의 관계 (RQ3):

  • 점수 영향: 언급된 평가 항목의 빈도와 최종 점수 간의 상관관계는 매우 약했습니다. LLM 사용이 점수 자체를 결정적으로 바꾸지는 않는 것으로 나타났습니다.
  • 신뢰도 영향: 평가 항목 언급과 검토자 신뢰도 간의 관계도 미미했습니다. 다만, '명확성 (Clarity)' 항목은 신뢰도와 일관되게 부정적 상관관계를 보였는데, 이는 명확성이 부족할 때 LLM 을 사용하더라도 검토자의 불확실성이 커질 수 있음을 시사합니다.

5. 주요 기여 (Key Contributions)

1. 미세 수준의 통계 분석: 기존 연구가 전체 텍스트 수준에서 분석했던 것과 달리, 단어, 문장, 평가 항목 (Aspect) 단위로 LLM 의 영향을 정밀하게 규명했습니다.
2. 평가의 질적 변화 발견: LLM 이 리뷰의 형식적 유창성 (Fluency) 과 구조화는 향상시키지만, 창의성 평가와 재현성 검증과 같은 심층적 비판적 사고 영역에서는 오히려 관심을 낮추는 '대체 효과'가 발생함을 입증했습니다.
3. 신뢰도 격차 해소 효과: LLM 이 신뢰도가 낮은 검토자들의 리뷰 품질 (길이 및 정보량) 을 향상시켜 검토자 간 편차를 줄이는 데 기여할 수 있음을 발견했습니다.

6. 의의 및 시사점 (Significance)

• 이론적 의의: LLM 이 동료 검토 프로세스를 완전히 대체하기보다는 보조 도구로 작용하며, 리뷰의 형식 (Form) 은 개선되지만 내용 (Content) 의 깊이에는 새로운 도전을 제기함을 보여줍니다.
• 실무적 시사점:
  • 학술 컨퍼런스와 저널은 LLM 사용을 완전히 금지하기보다, 지침을 마련하여 요약이나 언어 다듬기에는 허용하되, 핵심 평가 (Originality 등) 에는 인간 검토자의 판단이 필수적임을 명시해야 합니다.
  • LLM 보조 도구 개발 시 단순한 언어 생성이 아닌, 심층적 비판적 사고를 유도하는 기능이 강화되어야 합니다.
  • 검토자의 신뢰도 점수가 낮을 때 LLM 이 도움이 될 수 있으므로, 이를 활용한 검토자 지원 시스템 (예: ICLR 2025 의 피드백 에이전트) 의 도입이 긍정적일 수 있습니다.

결론적으로, 이 연구는 LLM 이 동료 검토의 언어적 스타일을 표준화하고 유창하게 만들었으나, 동시에 창의성과 재현성과 같은 핵심 평가 요소에 대한 관심을 약화시킬 수 있음을 경고하며, 인간과 AI 의 적절한 협업 방안 모색의 필요성을 강조합니다.