How Closely Do LLM Reviews Align with Human Peer Review?

기술 요약: LLM 리뷰와 인간 동료 검토(Peer Review) 간의 정렬

문제 정의
대규모 언의 모델(LLM)이 과학적 리뷰를 생성하는 데 점점 더 많이 배치되고 있으나, 기존의 평가 방식은 서로 다른 모델 제공업체들이 단일 통제된 환경 내에서 컨퍼런스 채택 결정 및 인간 리뷰어의 우선순위 모두와 일치하는지를 판단하는 데 실패하고 있다. 자동화된 리뷰어가 논문의 합격과 불합격을 구분하는 능력이 오랄(Oral) 발표와 포스터(Poster) 발표의 구분과 같은 더 세밀한 인간의 판단과 일치하는지, 혹은 논문의 약점에 관한 동일한 주제적 우선순위를 공유하는지에 대한 이해에 있어 중요한 격차가 존재한다.

연구 방법론
본 연구는 ICLR 2026에서 제출된 300개의 주제 매칭된 논문을 사용하여 통제된 교차 제공업체 평가를 수행하였다. 데이터셋은 100개의 오랄, 100개의 포스터, 100개의 탈락 논문으로 구성되었다. 주제적 일관성을 보장하기 위해, 추상 임베딩(OpenAI text-embedding-3-small)과 일대일 유사도 매칭을 사용하여 오랄 논문을 이와 주제적으로 유사한 포스터 및 탈락 논문과 매칭하였다.

세 가지 최신 LLM을 평가하였다: OpenAI gpt-5.4, Google gemini-3.1-pro-preview, Anthropic claude-opus-4-6. 데이터 누수를 방방지하기 위해, 모델들은 ICLR 2026 제출 기간 이전의 학습 컷오프를 기준으로 선택되었으며, 외부 검색은 비활성화되었다. 각 모델은 결정 정보가 제거된 PDF를 바탕으로 동일한 지침과 표준화된 평점 척도(0–10)를 사용하여 모든 논문을 리뷰하였다.

분석은 세 가지 차원에 집중하였다:

1. 결과 정렬(Outcome Alignment): LLM이 채택된 논문(오랄/포스터)과 탈락된 논문에 대해 체계적으로 다른 점수를 부여하는지, 그리고 오랄과 포스터 카테고리를 구분하는지 여부.
2. 척도 사용(Scale Usage): 제공업체 간 및 인간 기준선에 대한 점수 분포와 특정 권고 척도 사용 방식 비교.
3. 주제적 일치(Thematic Agreement): 임베딩 기반의 주제 클러스터링(UMAP 차원 축소 후 k-means 클러스터링)을 통해 작성된 약점을 분석하여 우선순위가 높은 비판 테마를 식별.

통계적 유의성은 분포 차이에 대한 Mann–Whitney U 검정과 평가자 간 직접 비교를 위한 대응 표본 Wilcoxon 부호 순위 검정을 사용하여 평가되었으며, 다중 비교를 위해 Holm 보정이 적용되었다.

주요 결과

• 광범위한 구분 vs. 세밀한 구분: 세 LLM 모두 탈락 논문에 비해 채택된 논문에 현저히 높은 점수를 부여함으로써 탈락 논문과 채택 논문을 성공적으로 구분하였다. 그러나 세 모델 모두 인간의 리뷰에서 관찰되는 오랄과 포스터 논문 간의 구분을 재현하지 못했다. 인간 리뷰어는 명확한 중앙값 점수 진행(탈락: 4.0 → 포스터: 5.33 → 오랄: 6.5)을 보인 반면, LLM은 포스터와 오랄 카테고리를 구분하는 데 실패하였다.
• 제공업체별 점수 패턴: 점수 부여 행태는 제공업체별로 유의미하게 달랐다. Google Gemini는 16개의 탈락 논문에 8점을 부여하는 것을 포함하여 모든 카테고리에서 체계적으로 높은 점수를 부여하였다. OpenAI와 Claude는 탈락 및 포스터 논문에 대해서는 인간의 점수와 유사했으나, 오랄 논문을 평가할 때는 인간보다 더 비판적(더 낮은 점수 부여)이었다.
• 척도 사용: LLM은 인간에 비해 더 좁은 범위의 평점 척도를 활용하였다. 인간 리뷰어가 사용했던 극단적인 양 끝단(0 또는 10)을 부여한 모델은 없었다.
• 주제적 괴리: 인간과 LLM의 리뷰는 주요 약점 테마(예: 실험적 근거, 이론적 분석)를 공유했으나, 강조점은 달랐다. LLM은 "불충분한 베이스라인 비교"를 주요 약점으로 더 빈번하게 식당하였다. 반면, 인간 리뷰어는 "계산 효율성 및 자원 요구 사항"에 대한 우려를 더 자주 제기하였다.

기여
본 연구는 다음과 같은 세 가지 주요 기여를 한다:

1. 광범위한 채택 결과와 더 세밀한 발표 카테고리 모두에 걸쳐 LLM 생성 피어 리뷰 점수에 대한 통제된 교차 제공업체 평가를 수행하였다.
2. 채택된 논문과 탈락된 논문을 구분하는 능력이 미세한 컨퍼런스 결정이나 동등한 권고 척도 사용과 일치함을 의미하지 않는다는 증거를 제시하였다.
3. 주제적 우선순위를 비교하여, 인간과 LLM 사이의 불일치가 수치적 점수를 넘어 중요하게 여겨지는 구체적인 약점까지 확장됨을 입증하였다.

의의 및 주장
본 논문은 LLM이 반복되는 약점을 식별하고 다양한 관점의 피드백을 제공할 수 있는 보조적 비평의 원천으로서 기능할 수는 있지만, 그 점수와 우선순위를 인간의 피어 리뷰 판단과 동일하게 취급해서는 안 된다고 결론짓는다. 연구 결과는 광범위한 결정 정렬이 미세한 인간의 판단과 일치함을 보장하지 않는다는 점을 시사한다. 따라서 향후 자동화된 리뷰 시스템은 단순히 유창함이나 채택/탈락 구분 능력뿐만 아니라, 안정성, 척도 사용, 근거 기반, 그리고 전문가 평가의 미묘한 구조와의 정렬을 통해 평가되어야 한다. 저자들은 이러한 체계적인 괴리를 인지하지 않은 채 최종 의사결정을 위해 LLM에 의존하는 것에 대해 경고한다.