Policies Permitting LLM Use for Polishing Peer Reviews Are Currently Not Enforceable

1. 문제 제기 (Problem)

최근 과학 학술지 및 컨퍼런스 (ICML, ICLR 등) 는 동료 검토 (Peer Review) 과정에서 LLM(대형 언어 모델) 의 사용을 규제하는 정책을 도입했습니다. 주요 정책은 두 가지로 나뉩니다.

1. 전면 금지 (No-LLM-use): 검토자가 LLM 을 전혀 사용할 수 없음.
2. 정제만 허용 (Polishing-only): 검토자가 작성한 원고의 문법, 흐름, 명확성 개선을 위해 LLM 을 사용할 수 있으나, 핵심 논증과 내용은 인간이 작성해야 함.

이러한 정책의 집행은 **AI 텍스트 감지기 (Detector)**에 의존하고 있습니다. 그러나 현재 감지 기술이 '인간이 작성하고 LLM 이 정제한 (Human-written AI-polished)' 리뷰와 '완전히 AI 가 생성한 (Fully AI-generated)' 리뷰를 구별할 수 있는지, 그리고 정책 위반을 정확히 식별할 수 있는지에 대한 검증은 부족했습니다. 특히, 오탐지 (False Positive) 가 발생할 경우 학술적 부정행위로 잘못 고발되는 심각한 문제가 발생할 수 있습니다.

2. 방법론 (Methodology)

2.1 데이터셋 구축

저자들은 인간과 AI 의 협력 수준을 다양하게 시뮬레이션한 50,156 개의 동료 검토 리뷰로 구성된 대규모 데이터셋을 구축했습니다.

• 기반 데이터: Pre-ChatGPT 시대 (2013~2017) 의 인간 작성 리뷰 (PeerRead 데이터셋) 를 사용.
• 시뮬레이션된 5 가지 수준:
  1. AI-BP (Basic Prompts): 논문과 가이드라인만 입력받아 LLM 이 생성한 리뷰 (완전 AI 생성).
  2. AI-EP (Elaborate Prompts): 가이드라인과 인터넷상의 검토 팁을 추가하여 생성한 리뷰 (완전 AI 생성).
  3. AI-HI (Human Input): 인간이 작성한 리뷰의 핵심 평가 포인트를 추출하여 LLM 에게 상세화하도록 지시한 리뷰 (혼합).
  4. H-AI (Human-written AI-polished): 인간이 작성한 리뷰를 LLM 으로 문법/흐름만 다듬은 리뷰 ('정제만 허용' 정책 하에서 허용되는 유일한 형태).
  5. Humanized: AI 생성 리뷰를 'Humanizer' 도구를 통해 인간처럼 변조하여 탐지를 회피하려는 시뮬레이션.
• 모델 다양성: GPT-4o, Llama-3.3, GPT-5, Gemini-2.5, Qwen 등 최신 모델과 다양한 프롬프트를 사용하여 'Hard Subset'을 구성하여 평가의 엄격성을 높였습니다.

2.2 평가 대상 감지기

최신 5 가지 AI 텍스트 감지기를 평가했습니다.

• 상용 감지기: Pangram (Pangram Labs), GPTZero (3 클래스 분류: AI, Mixed, Human).
• 오픈소스/Zero-shot 감지기: LogLikelihood, Fast-DetectGPT, Binoculars (점수 기반 이진 분류).
• 평가 지표:
  • TPR (True Positive Rate): AI 생성 리뷰를 올바르게 탐지하는 비율.
  • FPR (False Positive Rate): 인간 작성 (또는 정책 준수) 리뷰를 잘못 AI 로 분류하는 비율.
  • Context 활용: 논문 원고 (Manuscript) 를 컨텍스트로 추가하여 감지 성능 향상 여부 분석.

2.3 추가 분석 전략

• 논문 컨텍스트 활용: 원고 내용을 감지 모델에 입력하여 조건부 확률 (Perplexity) 계산 또는 생성된 참조 리뷰와의 유사도 (Similarity) 를 측정.
• 지도 학습 (Supervised Learning): 스타일론 (Stylometric) 특징과 RoBERTa 기반의 분류기를 훈련하여 도메인 특화 감지 가능성 탐구.
• Humanization 영향: 변조 도구를 사용한 경우의 감지 성능 변화 분석.

3. 주요 결과 (Key Results)

3.1 감지기의 한계와 오탐지 문제

• 완전 AI 생성 리뷰 탐지: 상용 감지기 (Pangram, GPTZero) 는 완전 AI 생성 리뷰 (AI-BP, AI-EP) 를 95% 이상 높은 정확도로 탐지했습니다.
• 허용된 정제 리뷰 (H-AI) 의 오탐지: 가장 치명적인 문제는 정책이 허용하는 '인간 작성 + LLM 정제' 리뷰를 감지기가 AI 생성으로 잘못 분류한다는 점입니다.
  • Pangram: H-AI 리뷰의 **3.1%**를 'AI'로 분류.
  • GPTZero: H-AI 리뷰의 **3.4%**를 'AI'로 분류.
  • 이는 대규모 컨퍼런스 (예: NeurIPS 2025, 75,000 개 리뷰) 에서 수천 건의 잘못된 부정행위 고발을 의미합니다.
• 오픈소스 감지기: 성능이 현저히 낮았으며, 최신 모델로 생성된 리뷰 탐지율이 70% 미만으로 떨어졌습니다.

3.2 컨텍스트 및 유사도 기반 접근법의 실패

• 논문 원고 활용: 원고 내용을 컨텍스트로 추가하면 오픈소스 감지기의 탐지율은 소폭 향상되었으나, 오탐지율 (FPR) 이 더욱 급증하여 실용성이 떨어졌습니다.
• 참조 리뷰 유사도: AI 생성 참조 리뷰와의 유사도를 측정하는 방식은 개별 리뷰 수준에서 신뢰할 수 있는 분류를 제공하지 못했습니다. AI 정제 리뷰와 완전 AI 생성 리뷰의 유사도 분포가 중첩되어 구분이 불가능했습니다.

3.3 지도 학습의 일반화 실패

• 훈련 데이터에 포함된 모델로 평가할 때는 높은 성능을 보였으나, 훈련 데이터에 없는 **새로운 LLM 모델 (Hold-out)**이 등장하면 성능이 급격히 저하되거나 오탐지율이 비정상적으로 높아졌습니다. 이는 LLM 의 빠른 발전 속도를 따라잡기 어렵다는 것을 의미합니다.

3.4 Humanization (변조) 의 영향

• AI 생성 리뷰를 'Humanizer'로 변조하면 감지 성능이 크게 떨어집니다.
• 흥미롭게도, 인간이 작성한 정제 리뷰 (H-AI) 를 변조 도구로 거치면 GPTZero 의 오탐지율이 65.6% 까지 치솟았습니다. 이는 변조 도구가 오히려 인간의 글을 AI 가 쓴 것처럼 보이게 만든다는 것을 시사합니다.

3.5 의도치 않은 콘텐츠 추가

• LLM 에게 '정제'만 요청했음에도 불구하고, 프롬프트에 원고 (Manuscript) 를 포함하거나 내용 보존 지시를 명시하지 않을 경우, LLM 이 새로운 기술적 내용을 임의로 추가하는 경우가 많았습니다. 이러한 리뷰는 감지기에 의해 'AI 생성'으로 더 자주 분류되었습니다.

4. 주요 기여 (Key Contributions)

1. 대규모 벤치마크 데이터셋: 다양한 인간-AI 협력 수준을 시뮬레이션한 5 만 개 이상의 동료 검토 리뷰 데이터셋을 공개했습니다.
2. 정책 집행의 불가능성 입증: 현재 존재하는 어떤 감지 기술 (상용/오픈소스/지도학습/컨텍스트 활용) 도 '정제만 허용' 정책을 신뢰할 수 있게 집행할 수 없음을 실증했습니다. 오탐지율이 정책 집행에 필요한 기준 (거의 0% 에 가까운 FPR) 을 훨씬 초과합니다.
3. AI 사용 추정치에 대한 경고: AI 감지기를 기반으로 한 최근의 "ICLR 2026 리뷰의 21% 가 AI 생성"과 같은 주장들은, 혼합형 (Human-AI) 리뷰를 완전 AI 생성으로 잘못 분류하여 정책 위반 규모를 과장했을 가능성이 높음을 지적했습니다.
4. 실무적 인사이트: 리뷰어가 LLM 을 사용할 때 원고 파일을 업로드하거나 명확한 '내용 보존' 지시를 하지 않으면, 의도치 않게 새로운 내용이 생성되어 감지될 위험이 있음을 경고했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 LLM 을 활용한 동료 검토 정제 (Polishing) 를 허용하는 현행 정책이 기술적으로 집행 불가능함을 강력하게 주장합니다.

• 정책적 함의: '정제만 허용' 정책은 현재 감지 기술로는 실행할 수 없으므로, 학술계는 정책 수정 (예: 전면 금지 또는 감지 기술의 획기적 발전 전까지의 유예) 을 고려해야 합니다.
• 사회적 영향: AI 감지기를 통한 학술 부정행위 고발은 오탐지 위험이 매우 높으므로, 이러한 주장과 데이터 해석에 신중을 기해야 합니다.
• 향후 연구: 현재 감지 기술의 한계를 인정하고, 더 정교한 도메인 특화 기술 개발이나 정책적 대안 모색이 시급함을 시사합니다.

결론적으로, 현재의 기술 수준에서는 '인간이 쓰고 AI 가 다듬은' 리뷰와 'AI 가 쓴' 리뷰를 구분하여 정책을 집행하는 것은 불가능하며, 이를 강행할 경우 많은 정직한 연구자들이 부당하게 처벌받을 위험이 있습니다.