Commitment Checklist: Auditing Author Commitments in Peer Review

이 논문은 ICLR-2025 와 EMNLP-2024 의 리뷰 데이터를 대규모로 분석하여 약 25% 의 저자 약속이 이행되지 않았음을 발견하고, 이를 감시하기 위해 LLM 기반의 '저자 약속 체크리스트' 도입을 제안합니다.

핵심

🍔 "햄버거 주문과 실제 제공"의 비유

想像해 보세요. 당신이 햄버거 가게에 갔습니다.
**심사자 (리뷰어)**는 "이 햄버거는 치즈가 너무 적고, 감자튀김도 없네요. 치즈를 더 넣고 감자튀김도 추가해 주시면 사드리겠습니다."라고 말합니다.

**저자 (연구자)**는 급하게 "네! 치즈를 두 배로 넣고, 감자튀김도 꼭 추가해서 최종 메뉴판에 올리겠습니다!"라고 약속합니다.

이때 가게 주인 (학술 대회 주최자) 은 이 약속을 믿고 "좋습니다, 합격입니다!"라고 말합니다. 하지만 나중에 완성된 햄버거를 받아보면, 치즈는 그대로고 감자튀김은 아예 없습니다.

지금까지의 학술계는 이 햄버거가 실제로 완성되었는지, 약속대로 치즈와 감자튀김이 들어갔는지 확인하는 절차가 거의 없었습니다. "합격만 되면 끝!"인 셈이죠.

이 논문은 바로 **"약속한 햄버거 (연구 결과) 가 실제로 만들어졌는지 확인하는 시스템"**을 제안합니다.

---

🔍 연구자들이 발견한 놀라운 사실

저자들은 ICLR, EMNLP 같은 주요 학술 대회에서 수천 편의 논문과 저자들의 '약속 목록 (리뷰어 답변)'을 분석했습니다.

1. 약속은 정말 많아요: 논문 한 편당 평균 4~12 개씩의 약속을 합니다. (예: "새로운 실험을 할게요", "코드를 공개할게요", "오타를 고칠게요" 등)
2. 하지만 절반은 안 지켜져요: 놀랍게도 약속한 것 중 약 **25%**는 최종 논문에서 사라졌습니다.
   • 특히 치즈와 감자튀김 (새로운 실험, 데이터) 같은 중요한 약속이 가장 많이 빠졌습니다.
   • "코드를 못 공개했어요", "이론 증명이 안 됐어요" 같은 중요한 약속들이 그냥 잊혀진 경우가 많았습니다.
3. 왜 안 지켜질까요?
   • 단순히 게으름 때문만은 아닙니다. 시간이 너무 부족하거나, 실험 결과가 안 좋게 나와서 약속대로 할 수 없었던 경우도 많습니다.
   • 하지만 중요한 건, 안 했다고 해서 아무 말 없이 그냥 넘어갔다는 점입니다.

---

🤖 AI 가 해결사? (LLM 을 활용한 감사)

수천 편의 논문을 사람이 일일이 확인하는 건 불가능합니다. 그래서 연구자들은 **AI(대형 언어 모델)**를 활용했습니다.

• AI 의 역할: "리뷰어에게 '코드를 공개한다'고 약속했나요?"라고 물어보고, 최종 논문을 읽어보며 "아, 여기 코드 링크가 있네요!" 혹은 "아, 여기는 없네요?"라고 자동으로 체크합니다.
• 성공률: AI 가 사람의 판단과 거의 비슷하게 (약 75~78% 정확도) 약속을 지키는지 확인해 낼 수 있었습니다.
• 비용: 논문 한 편을 확인하는 데 드는 비용은 **약 3 센트 (한화 40 원 정도)**로, 매우 저렴합니다.

---

📝 제안: "약속 체크리스트 (Author Commitment Checklist)"

이 논문이 제안하는 핵심 솔루션은 **'약속 체크리스트'**입니다.

이것은 저자를 처벌하기 위한 감시 카메라가 아니라, **잊지 않도록 도와주는 '기억력 보조 도구'**입니다.

어떻게 작동할까요?

1. 자동 생성: 논문이 최종 출판 (카메라레디) 되기 전, AI 가 리뷰어와의 대화에서 나온 모든 약속을 뽑아내어 체크리스트를 만들어줍니다.
2. 저자의 확인: 저자는 이 리스트를 보고 하나씩 확인합니다.
   • ✅ 약속 지켰다: "네, 3 페이지 표 1 에 실험 결과가 있습니다."
   • ❌ 약속 못 지켰다: "죄송합니다. 실험 결과가 안 좋아서 못 했습니다. 그 이유를 부록에 적었습니다."
   • ⚠️ AI 가 잘못 봤다: "AI 가 실수한 것 같습니다. 여기 있습니다."
3. 투명성 확보: 이렇게 하면, "약속은 했지만 안 했다"는 사실을 숨기지 않고 왜 안 했는지를 명확히 기록하게 됩니다.

---

💡 왜 이것이 중요할까요?

이 시스템은 **"약속을 지키지 못해도 괜찮다"**는 것을 인정하면서도, **"약속을 안 했다고 아무 말도 안 하는 것"**은 막아줍니다.

• 신뢰 회복: 심사자들이 "내 조언이 진짜 반영되었나?"라고 의심하지 않아도 됩니다.
• 부정 방지: "코드를 공개할게요"라고 말만 하고 실제로는 안 공개하는 '허위 약속'을 줄여줍니다.
• 건강한 연구 문화: 연구자들이 점수를 따기 위해 무리하게 약속을 하는 것을 줄이고, 진짜 중요한 부분에만 집중하게 돕습니다.

🚀 결론

이 논문은 학술계의 **'약속 문화'**를 더 투명하고 정직하게 만들자는 제안입니다. 마치 햄버거 가게가 "치즈를 더 넣겠다"고 약속했다면, 실제로 치즈가 들어갔는지, 아니면 안 들어갔는지 그 이유를 메뉴판에 적어주는 것과 같습니다.

**"약속은 지키는 것이 미덕이지만, 지키지 못했을 때는 그 이유를 솔직하게 말하는 것도 미덕"**이라는 메시지를 전달하며, AI 를 이용해 이를 자연스럽게 실현할 수 있음을 증명했습니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 학술지 및 컨퍼런스 (Peer Review) 의 반박 (Rebuttal) 단계에서 저자들은 리뷰어의 피드백에 대응하여 최종 논문 (Camera-ready version) 에 실험 추가, 코드 공개, 내용 명확화 등의 구체적인 약속 (Commitments) 을 합니다.
• 핵심 문제: 논문이 채택된 후, 이러한 약속이 실제로 이행되었는지 확인하는 공식적인 메커니즘이 부재합니다. 현재는 프로그램 위원회나 리뷰어가 채택된 논문을 다시 검토하지 않으며, 기술적으로 모든 제안 사항을 반영할 의무가 없습니다.
• 영향: 이로 인해 리뷰어의 피드백이 무시되거나, 저자가 채택을 위해 약속만 하고 이행하지 않는 '신뢰도 하락' 및 '학술적 무결성 훼손' 문제가 발생합니다.
• 현황: 수만 건의 약속을 수동으로 추적하는 것은 불가능하며, 기존 체크리스트는 제출 시점의 약속을 장려할 뿐, 채택 후 이행 여부를 강제하지는 못합니다.

2. 방법론 (Methodology)

저자들은 대규모 데이터를 기반으로 저자 약속의 이행 여부를 자동화하여 감사 (Audit) 하는 프레임워크를 제안했습니다.

• 데이터 수집:
  • ICLR 2025 (7,192 편) 및 EMNLP 2024 (1,050 편) 의 논문과 해당 반박서 (Rebuttal) 데이터를 수집했습니다.
  • ICLR 은 오픈리뷰 (OpenReview) 를 통해 공개된 데이터를, EMNLP 는 NLPeer-v2 를 통해 수집된 채택된 논문의 반박서를 사용했습니다.
• 약속 추출 및 분류 (Commitment Extraction):
  • LLM 활용: 반박서 텍스트에서 저자가 한 명시적인 약속 (실험 추가, 코드 공개, 수정 등) 을 원문 그대로 (verbatim) 추출합니다.
  • 정렬: 추출된 약속을 해당 리뷰어 코멘트와 매칭하여 구조화된 목록을 생성합니다.
• 이행 여부 검증 (Verification):
  • 추출된 각 약속과 최종 논문 (Camera-ready) 을 LLM 에 입력하여 이행 여부를 이진 분류 (이행됨/미이행됨) 합니다.
  • LLM 은 구체적인 근거 (섹션, 표, 그림 등) 를 제시하며 판단합니다.
• 인간 검증:
  • 추출된 600 건의 사례를 인간 어노테이터에게 검증하여 LLM 의 정확도를 평가했습니다.

3. 주요 결과 및 분석 (Key Results & Analysis)

• 약속의 양:
  • ICLR 2025 는 논문당 평균 11.78 건, EMNLP 2024 는 평균 4.11 건의 약속이 있었습니다. ICLR 은 특히 약속이 많고 복잡한 편입니다.
• 이행률 (Fulfillment Rates):
  • 전체 약속의 약 **73~76%**는 이행되었으나, **약 25%**는 이행되지 않았습니다.
  • 이행되지 않은 주요 유형:
    • 고위험/고난이도 (Quadrant I): 실험/비교 결과 누락 (가장 흔함), 이론/증명 누락. (시간/자원 부족이 주원인)
    • 고위험/저난이도 (Quadrant II): 코드/데이터 미공개, 개념 명확화 누락. (부주의로 인한 것으로 보임)
    • 저위험/저난이도 (Quadrant III): 오타 수정, 구조 조정 누락.
• LLM 검증 정확도:
  • 인간 어노테이터 간의 합의율 (Reference Acceptance Rate) 이 약 72.86% 였으며, LLM (Claude-Sonnet-4.5, Gemini-2.5-Pro 등) 은 **74~78%**의 유사한 정확도를 보였습니다.
  • 이는 LLM 기반 자동 감시가 인간 수준의 신뢰도를 가질 수 있음을 시사합니다.
• 비용 분석:
  • 논문당 LLM 토큰 사용 및 비용은 약 0.0278 USD로, 컨퍼런스 예산에 비해 무시할 수 있을 정도로 저렴하여 대규모 배포가 경제적입니다.

4. 제안 솔루션: 저자 약속 체크리스트 (Author Commitment Checklist, ACC)

연구팀은 LLM 기반 감시의 기술적 타당성을 바탕으로 ACC를 제안합니다.

• 목적: 저자를 처벌하기 위한 것이 아니라, **투명성 (Transparency)**과 **책임성 (Accountability)**을 높이기 위함입니다.
• 작동 방식:
  1. 추출: 반박서에서 약속을 자동 추출합니다.
  2. 자가 검증: 최종 논문 제출 전, 저자가 LLM 도구를 통해 약속 이행 여부를 확인하고 체크리스트를 작성합니다.
  3. 보고: 이행된 경우 근거를 제시하고, 이행되지 않은 경우 (실험 실패, 자원 부족 등) 그 이유를 명시적으로 기록합니다.
  4. 선택적 감사: 컨퍼런스에 따라 조직자가 이를 확인하거나, 고위험 미이행 건에 대해 후속 조치를 취할 수 있습니다.
• 디자인 원칙:
  • 투명성 우선: 약속이 이행되지 않은 경우에도 '왜' 이행되지 않았는지 명시하도록 유도합니다.
  • 부담 최소화: 저자의 추가적인 업무 부담을 줄이면서 실수 (Negligence) 를 방지합니다.
  • 고위험 항목 강조: 실험 누락이나 코드 미공개 등 과학적 무결성에 중요한 항목을 우선적으로 관리합니다.

5. 의의 및 기여 (Significance & Contributions)

• 실증적 연구: 컨퍼런스 반박서와 최종 논문 간의 약속 이행 여부를 대규모로 분석한 최초의 경험적 연구입니다.
• 기술적 타당성 증명: LLM 을 활용한 약속 감시가 기술적, 경제적, 정확도 측면에서 현실적으로 배포 가능함을 입증했습니다.
• 프로세스 개선:
  • 저자의 무의식적 약속 위반 (실수) 을 방지하고, 의도적인 약속 위반에 대한 투명성을 확보합니다.
  • 리뷰어와 저자 간의 '점수 거래' (Score-driven negotiation) 를 줄이고, 과학적 근거에 기반한 건설적인 피드백 문화를 조성합니다.
• 학술적 무결성 강화: 출판된 논문이 리뷰 과정에서 약속된 개선 사항을 실제로 반영했는지 보장함으로써 동료 검토 시스템의 신뢰도를 높입니다.

6. 한계점 (Limitations)

• 데이터 범위: ICLR 과 EMNLP 두 컨퍼런스만 분석하여 다른 분야나 저널에 대한 일반화에는 주의가 필요합니다.
• LLM 오차: LLM 의 추출 및 검증 오류 가능성 (위양성/위음성) 이 존재하며, 인간 간에도 합의가 100% 가 아닌 모호한 경우가 있습니다.
• 행동 변화: ACC 도입으로 인해 저자들이 약속을 회피하거나 모호하게 표현하는 '2 차 효과'가 발생할 수 있어 장기적인 관찰이 필요합니다.

결론

이 논문은 동료 검토 과정에서 발생하는 '약속과 이행의 괴리'를 해결하기 위해 LLM 기반의 자동 감사 도구와 **저자 약속 체크리스트 (ACC)**를 제안합니다. 이는 저자를 감시하는 도구가 아니라, 연구의 투명성을 높이고 과학적 소통의 질을 개선하기 위한 실용적인 프레임워크입니다.