Re2: A Consistency-ensured Dataset for Full-stage Peer Review and Multi-turn Rebuttal Discussions

이 논문은 AI 분야 동료 검토 시스템의 과부하와 품질 저하 문제를 해결하기 위해, 24 개의 컨퍼런스와 21 개의 워크숍에서 수집된 19,926 건의 초기 제출물, 70,668 건의 검토 의견, 53,818 건의 반박 내용을 포함하는 일관성이 보장된 대규모 데이터셋 'Re2'를 제안하여 저자의 자기 평가 지원과 검토 부담 완화를 목표로 합니다.

핵심

1. 왜 이 프로젝트가 필요했을까요? (문제 상황)

지금 AI 학계는 논문이 너무 많이 쏟아져서 심사위원 (리뷰어) 들이 감당할 수 없을 정도로 바쁩니다. 마치 인기 있는 식당에 손님이 너무 몰려서 요리사들이 지쳐버린 상황과 비슷하죠.

그런데 문제는, 질문이 낮은 논문들이 계속 다시 제출된다는 점입니다. 마치 요리 실력이 부족한 요리사가 "이 요리는 맛없다"는 평가를 받고, 고치지도 않은 채 똑같은 요리를 다시 내는 것과 같습니다.

이걸 해결하기 위해 AI 를 도입하려는데, 기존에 있던 '심사 데이터'가 너무 엉망이었습니다.

• 비유: 요리사 (AI) 를 가르치려고 하는데, 교재가 '처음 제출된 원고'가 아니라 '심사위원의 지적을 받고 고쳐진 최종본'이 섞여 있었습니다. 이러면 AI 는 "어? 이 논문은 처음부터 완벽했나?"라고 착각하게 되죠.
• 또 다른 문제: 대부분의 데이터는 "심사위원이 쓴 한 줄 평"만 있었고, "저자가 반박하고 심사위원이 다시 답하는 대화" 같은 실제 소통 과정은 빠져 있었습니다.

2. Re2 는 무엇인가요? (해결책)

저자들은 **"Re2"**라는 새로운 데이터셋을 만들었습니다. 이는 24 개 이상의 국제 학술대회와 워크숍에서 모은 19,926 편의 논문과 7 만 개 이상의 심사 의견, 그리고 5 만 개 이상의 반박 (Rebuttal) 대화를 담고 있습니다.

이 데이터의 핵심 특징은 세 가지입니다:

① '최초 제출본'만 엄선한 정직한 교재 (일관성)

기존 데이터는 고쳐진 버전이 섞여 있었지만, Re2 는 심사위원이 처음 본 그대로의 논문만 모았습니다.

• 비유: 요리 실력 평가를 할 때, 요리사가 "이 요리는 처음부터 완벽했다"고 거짓말하지 못하게, 처음 내온 요리의 사진만 모아둔 것입니다. 그래서 AI 가 "아, 이 정도 수준이면 고쳐야겠다"는 것을 정확히 배울 수 있습니다.

② 거대한 도서관 (다양성)

ICLR 이라는 한 대회 데이터만 쓰던 과거와 달리, 24 개의 다양한 대회 데이터를 모두 모았습니다.

• 비유: 요리 학교가 한 가지 요리 (예: 김치찌개) 만 가르치던 것을 넘어, 전 세계의 다양한 요리 (한식, 중식, 양식 등) 를 모두 가르치는 거대한 요리 도서관을 만든 것입니다.

③ '대화'를 배우는 교실 (멀티턴 대화)

가장 혁신적인 점은 심사위원과 저자의 '대화'를 학습시킨다는 것입니다.

• 비유: 예전에는 "심사위원이 점수를 매기는 것"만 가르쳤다면, Re2 는 **"심사위원이 "이건 좀 부족해"라고 하면, 저자가 "아니요, 사실은 이렇게 설명할 수 있어요"라고 반박하고, 심사위원이 다시 "오, 그건 좋은 생각이군"이라고 답하는 과정"**까지 모두 포함합니다.
• 이를 통해 AI 는 단순히 점수를 매기는 로봇이 아니라, **저자와 논쟁하며 논문을 다듬어 줄 수 있는 '현명한 조력자'**가 될 수 있게 됩니다.

3. 이걸로 무엇을 할 수 있나요? (효과)

이 Re2 데이터로 훈련된 AI 는 다음과 같은 일을 할 수 있습니다:

1. 저자를 위한 '사전 점검' 도구: 논문을 제출하기 전에 AI 가 "이 부분은 심사위원이 싫어할 것 같아"라고 미리 알려줍니다. 마치 요리사가 손님에게 맛을 보고 "이건 소금기가 좀 더 필요해요"라고 미리 알려주는 것처럼, 논문 품질을 높이고 불필요한 재제출을 줄여줍니다.
2. 심사위원의 '조수': 심사위원이 피곤할 때, AI 가 "이 논문의 핵심은 이거고, 약점은 저거예요"라고 요약해 주거나, 저자의 반박을 분석해 줍니다.
3. 실시간 대화: 저자가 "왜 이 논문을 거절하셨나요?"라고 물으면, AI 가 심사위원의 입장에서 논리적으로 답변을 도와줍니다.

4. 결론

이 논문은 **"학술 심사의 질을 높이고, 모두의 시간을 아껴주기 위해, AI 가 진짜 인간 심사위원처럼 생각하고 대화할 수 있도록 만든 최고의 교재 (Re2)"**를 공개했다는 소식입니다.

앞으로 AI 가 이 데이터를 배워, 저자는 더 좋은 논문을 쓰고, 심사위원은 덜 지치며, 과학 연구가 더 빠르게 발전하는 선순환이 만들어지기를 기대합니다.

기술 요약

논문 요약: Re2 (일관성 보장된 전체 단계 피어 리뷰 및 다턴 반박 토론 데이터셋)

1. 문제 정의 (Problem)

학술 연구, 특히 AI 및 컴퓨터 과학 분야에서 논문 제출 건수의 급증은 리뷰어 부족과 리뷰 품질 저하를 초래하고 있습니다. 이러한 과부하의 주요 원인 중 하나는 저자들이 제출 전 자신의 작업을 객관적으로 평가하고 개선할 수 있는 효과적인 도구가 부족하여, 기준 미만의 원고가 반복적으로 재제출되는 현상입니다.

대형 언어 모델 (LLM) 은 저자의 사전 자기 평가 도구 및 리뷰어 보조 도구로서 큰 잠재력을 가지고 있지만, 기존 피어 리뷰 데이터셋은 다음과 같은 한계로 인해 모델 학습의 상한선을 제한하고 있습니다:

• 데이터 다양성 부족: 대부분의 데이터셋이 소수의 컨퍼런스 (주로 ICLR) 에 국한되어 있습니다.
• 일관성 및 품질 문제: 기존 데이터셋의 많은 부분이 저자가 리뷰 피드백을 반영하여 수정한 '수정본 (Revised Version)'을 포함하고 있어, 실제 리뷰어가 처음 제출된 원고 (Initial Submission) 에 대해 작성한 코멘트와 매칭되지 않는 불일치 문제가 발생합니다.
• 반박 (Rebuttal) 및 토론 지원 부족: 대부분의 데이터셋이 정적인 리뷰 생성에 집중하여, 저자와 리뷰어 간의 상호작용이 포함된 '다턴 (Multi-turn) 대화' 형태의 반박 및 토론 데이터를 체계적으로 지원하지 못합니다.

2. 방법론 (Methodology)

저자들은 위 문제들을 해결하기 위해 OpenReview 플랫폼에서 수집한 Re2라는 대규모 데이터셋을 제안했습니다. 데이터 수집 및 처리 과정은 다음과 같습니다:

• 데이터 수집 및 전처리:

  • 2017 년부터 2025 년까지 24 개의 컨퍼런스와 21 개의 워크숍 (총 45 개 venue) 에서 공개된 데이터를 수집했습니다.
  • 초기 제출본 보장: 각 컨퍼런스의 제출 마감일을 기준으로 'Revision History' 페이지에서 마감일 직전의 최신 버전 (초기 제출본) 을 스크래핑하여, 리뷰 코멘트와 원고의 일관성을 확보했습니다.
  • 포맷 통일: PDF 를 Doc2X 를 통해 LaTeX 및 Markdown 형식으로 변환하여 연구 커뮤니티의 접근성을 높였습니다.
  • 다양한 포맷 처리: 45 개 venue 의 서로 다른 리뷰 데이터 포맷에 맞춰 컨퍼런스 - 연도 쌍별로 맞춤형 추출 로직을 구현했습니다.

• 데이터셋 구성:

  1. Re2-Review: 19,926 개의 초기 제출 원고와 70,668 개의 인간 리뷰어 코멘트로 구성. (수락 예측, 점수 예측, 리뷰 생성 등 정적 태스크 지원)
  2. Re2-Rebuttal: 14,830 개의 초기 제출 원고와 53,818 개의 반박 및 토론 데이터를 포함.
     • 다턴 대화 구조화: OpenReview 의 문자 수 제한으로 인해 분할된 저자의 여러 응답을 하나의 턴으로 병합하고, 불필요한 알림 (Reminder) 메시지는 제거하여 일관된 대화 흐름을 만듭니다.
     • 글로벌 응답 처리: 여러 리뷰어에게 공통적으로 적용되는 저자의 '글로벌 응답 (Global Response)'을 대화의 적절한 위치에 문맥 정보로 삽입하여 논리적 일관성을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 최대 규모의 일관성 보장 데이터셋: Re2 는 현재까지 가장 큰 규모 (19,926 개 원고, 70,668 개 리뷰, 53,818 개 반박) 이며, 가장 다양한 컨퍼런스를 포괄하고 초기 제출본의 일관성을 보장하는 유일한 데이터셋입니다.
2. 동적 상호작용 지원 (Multi-turn Paradigm): 정적인 리뷰 생성을 넘어, 반박 및 토론 과정을 '리뷰어 - 저자 간의 다턴 대화'로 모델링하여 대화형 LLM 어시스턴트 학습을 가능하게 했습니다.
3. 포괄적인 리뷰 단계 커버리지: 초기 제출, 리뷰, 점수/신뢰도, 반박, 토론, 점수 변경, 메타 리뷰, 최종 결정 등 전체 리뷰 파이프라인을 아우르는 데이터를 제공합니다.
4. 실험적 유효성 입증: 제안된 데이터셋을 통해 언어 모델의 피어 리뷰 및 반박 능력을 향상시키는 것을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

저자들은 Re2 데이터셋을 사용하여 4 가지 태스크 (수락/점수 예측, 리뷰 생성, 반박 - 토론 대화) 에 대해 LLaMA-3.1-8B 와 Qwen2.5-7B 모델을 미세 조정 (Fine-tuning) 하고 평가했습니다.

• 수락 및 점수 예측:
  • 제로샷 (Zero-shot) 상태의 LLM 은 모든 논문을 수락하는 경향 (편향) 을 보였으나, Re2 로 미세 조정된 모델은 인간의 리뷰어 판별 기준을 더 잘 학습하여 정확도, 정밀도, 재현율, F1 점수 및 MAE/MSE(점수 예측 오차) 에서 유의미한 개선을 보였습니다.
• 리뷰 생성:
  • 미세 조정된 모델은 BLEU, ROUGE-L, BERTScore, EmbedCos 등 모든 지표에서 제로샷 버전 및 기존 베이스라인 모델 (DeepReviewer 등) 을 크게 능가했습니다. 특히 생성된 리뷰가 실제 인간 리뷰어의 언어 구조와 의미적 유사성이 높음을 확인했습니다.
• 반박 - 토론 대화:
  • 언어적/의미적 유사성: 미세 조정된 모델이 모든 지표에서 우수한 성능을 보였습니다.
  • LLM-as-Judge 평가: 정확성, 실용성, 완전성, 명확성, 품질 등 5 가지 차원에서 평가 시, 미세 조정된 모델이 제로샷 버전보다 일관되게 높은 점수를 받아, Re2 데이터셋이 대화형 리뷰 어시스턴트 학습에 효과적임을 입증했습니다.

5. 의의 및 결론 (Significance)

• 학술 커뮤니티의 부담 완화: Re2 기반의 LLM 도구를 통해 저자는 제출 전 자기 평가를 통해 원고 품질을 높일 수 있어 불필요한 재제출을 줄이고, 리뷰어의 업무 부담을 경감할 수 있습니다.
• 차세대 리뷰 시스템의 기반: 정적인 분석을 넘어 동적인 상호작용 (반박 및 토론) 을 지원하는 데이터셋은 차세대 AI 기반 피어 리뷰 시스템 개발의 핵심 인프라가 될 것입니다.
• 한계 및 향후 과제: 현재 데이터셋은 텍스트와 표 위주로 구성되어 있으며, 그림이나 수식과 같은 시각적 요소를 포함하지 않습니다. 향후 비전 - 언어 모델 (Vision-Language Models) 과의 통합을 통해 더 풍부한 의미 분석이 가능할 것으로 기대됩니다.

이 논문은 Re2 를 통해 피어 리뷰 자동화 연구의 데이터 품질과 다양성 문제를 해결하고, 저자와 리뷰어 간의 상호작용을 포함한 종합적인 AI 리뷰 시스템 개발의 토대를 마련했다는 점에서 중요한 의의를 가집니다.