Detecting AI-Generated Content in Academic Peer Reviews
본 연구는 ICLR 과 Nature Communications 의 동료 검토 데이터를 분석한 결과, 2022 년 이후 AI 생성 콘텐츠의 탐지율이 급격히 증가하여 2025 년에는 ICLR 검토의 약 20% 와 Nature Communications 검토의 약 12% 가 AI 에 의해 작성된 것으로 분류됨을 보여주며, 이는 학술 평가에 대한 AI 의 영향력을 시사합니다.
최근 챗GPT 같은 AI 가 글을 잘 쓰게 되면서, "과연 논문 심사도 AI 가 대신 쓰고 있는 건 아닐까?"라는 의문이 생겼습니다. 하지만 심사자는 익명이고, "저는 AI 를 썼습니다"라고 밝히는 경우가 거의 없어서 직접 확인하기 어렵습니다.
그래서 연구자들은 **"AI 가 쓴 글과 사람이 쓴 글을 구별해내는 AI 탐정 (검출기)"**을 만들었습니다.
2. 실험 방법: 과거의 교본으로 미래를 예측하다
연구진은 다음과 같은 과정을 거쳤습니다.
교본 만들기 (2021 년 데이터): 먼저 2021 년에 쓰인 진짜 논문 심사글과, AI 가 만든 가짜 심사글을 섞어서 AI 탐정에게 가르쳤습니다. (이때 탐정은 2021 년 스타일의 글만 보았습니다.)
실전 테스트 (2022~2025 년 데이터): 그다음, 이 탐정을 2022 년부터 2025 년까지의 최신 심사글에 적용해 봤습니다. 마치 **"2021 년에 배운 요리법으로 2025 년의 요리를 맛보고, 이게 AI 가 만든 요리인지 사람이 만든 요리인지 맞히는 게임"**과 같습니다.
3. 주요 발견: "초기에는 조용하다가, 갑자기 폭증했다"
두 가지 다른 곳 (ICLR 이라는 컴퓨터 과학 회의와 Nature Communications 이라는 과학 저널) 에서 실험한 결과는 놀라울 정도로 비슷했습니다.
2022~2023 년 (조용한 시기): AI 가 쓴 글은 거의 찾아볼 수 없었습니다. (약 0%~0.1%)
비유: 마치 "새로운 요리법이 대중화되기 전, 아무도 그 요리를 시키지 않던 시기"입니다.
2024 년 (변화의 시작): AI 가 쓴 글이 조금씩 보이기 시작했습니다.
2025 년 (폭발적인 증가):
ICLR (컴퓨터 학회): 심사의 약 **20%**가 AI 가 쓴 것으로 판명되었습니다. (10 개 중 2 개가 AI!)
Nature Communications (과학 저널): 심사의 약 **12%**가 AI 가 쓴 것으로 판명되었습니다.
비유: "2024 년 중반부터 AI 요리사가 갑자기 식당에 쏟아져 들어와서, 이제 메뉴판의 1/5~1/10 이 AI 요리로 채워진 셈"입니다.
특히 Nature Communications 의 경우, 2024 년 3 분기와 4 분기 사이에 AI 사용량이 급격히 늘었습니다. 이는 2024 년 5 월에 AI 모델 (ChatGPT-4o) 이 일반인에게 공개된 시점과 맞물려 있습니다.
4. 연구의 의미와 한계: "완벽한 AI 는 아니지만, 경고 신호는 확실하다"
이 연구가 말해주는 것: 학술계의 심사가 예전처럼 모두 사람이 꼼꼼히 읽고 쓴 것이 아니라, AI 가 도와주거나 아예 대신 쓴 경우가 급격히 늘고 있다는 강력한 증거입니다.
주의할 점 (연구의 한계):
반쪽짜리 AI: 연구에서 잡힌 것은 "AI 가 거의 다 쓴 글"입니다. 사람이 핵심 아이디어를 쓰고 AI 가 문장만 다듬은 '혼합형' 글은 잡히기 어려울 수 있습니다. 그래서 실제 AI 사용률은 이보다 더 높을 가능성이 큽니다.
단일 모델: 연구진이 만든 AI 탐정은 특정 AI 모델 (DeepSeek) 로 훈련되었습니다. 다른 AI 가 쓴 글은 잘 못 찾을 수도 있습니다.
5. 결론: 앞으로 어떻게 해야 할까?
이 연구는 **"AI 가 학술 심사에 침투하고 있다"**는 사실을 숫자로 보여줍니다.
비유: 마치 "요리 대회에 심사위원들이 AI 레시피를 몰래 가져와서 제출하기 시작했다"는 것과 같습니다.
제안: 이제 학계는 이 현상을 무시할 수 없습니다. AI 가 쓴 글을 어떻게 구분할지, AI 를 쓸 때 어떻게 공개할지, 그리고 심사의 신뢰성을 어떻게 유지할지에 대한 새로운 규칙 (정책) 이 필요하다는 경고를 보내고 있습니다.
한 줄 요약:
"과거에는 AI 가 논문 심사에 거의 없었지만, 2024 년 이후로 AI 가 쓴 심사가 급격히 늘어났습니다. 이제 학계는 이 'AI 심사의 시대'를 어떻게 관리할지 고민해야 합니다."
논문 요약: 학술 동료 검토에서의 AI 생성 콘텐츠 탐지
1. 문제 정의 (Problem)
대규모 언어 모델 (LLM) 의 급속한 발전은 학술 출판 및 동료 검토 (Peer Review) 과정에 중대한 영향을 미치고 있습니다. 그러나 다음과 같은 주요 문제들이 존재합니다:
투명성 부재: 동료 검토는 익명으로 진행되며, 검토자가 AI 도구를 사용했는지 명시할 의무가 없어 AI 생성 또는 AI 보조 콘텐츠의 실제 유무를 파악하기 어렵습니다.
신뢰성 위협: AI 가 생성한 검토 내용은 학술적 평가의 무결성, 신뢰성, 투명성을 훼손할 수 있으며, 편집자의 감독을 복잡하게 만듭니다.
실증 데이터 부족: AI 가 동료 검토에 어떻게 등장하고 진화해 왔는지에 대한 체계적인 실증적 증거가 부족합니다.
이 연구는 이러한 문제를 해결하기 위해 과거 데이터로 학습된 탐지 모델을 미래의 검토 데이터에 적용하여, AI 생성 콘텐츠의 시간적 출현과 확산 추세를 분석하는 것을 목표로 합니다.
2. 방법론 (Methodology)
가. 데이터 수집 및 구성
대상: 두 가지 대표적인 학술 출판Venue인 ICLR(연간 컨퍼런스 기반) 과 Nature Communications (NC)(연속 저널 기반) 의 동료 검토 데이터를 사용했습니다.
샘플링: 연도별 비교를 위해 매년 약 500 편의 논문을 무작위 표본 추출하여 각 논문의 모든 검토 텍스트를 포함시켰습니다 (연간 약 2,000 개 검토 텍스트).
데이터 분할:
학습 데이터: 2021 년 데이터만 사용.
평가 데이터: 2022 년~2025 년 데이터.
합성 데이터 (Synthetic Reviews): AI 생성 리뷰를 만들기 위해 DeepSeek Reasoner API를 활용했습니다. 실제 2021 년 리뷰의 길이, 어조, 구조 분포에 맞춰 프롬프트를 설계하여 실제와 유사한 합성 리뷰를 생성했습니다.
나. 탐지 모델 (Detection Model)
작업: 이진 분류 (Binary Classification) 문제 (Human-written vs. AI-generated).
아키텍처: 리뷰 텍스트의 길이가 평균 447 토큰, 최대 2,000 토큰 이상으로 길기 때문에, 긴 시퀀스를 처리할 수 있는 Longformer를 백본 (Backbone) 으로 사용했습니다.
학습 전략:
LoRA (Low-Rank Adaptation): 과적합을 방지하고 파라미터 효율성을 높이기 위해 사전 학습된 가중치는 고정하고 소수의 추가 파라미터만 미세 조정 (Fine-tuning) 했습니다.
시간적 일반화 (Temporal Generalization): 2021 년 데이터로 학습된 모델을 2022~2025 년 데이터에 적용하여, 모델이 시간이 지남에 따라 변하는 작성 스타일을 어떻게 감지하는지 평가했습니다.
3. 주요 결과 (Key Results)
가. ICLR (컨퍼런스) 결과
2022~2023 년: AI 생성으로 분류된 리뷰 비율이 거의 0% 에 가까웠음 (2022 년 0.10%, 2023 년 0.00%).
2024 년: 급격한 증가 시작 (7.32%).
2025 년: 약 20% (392/1,961) 의 리뷰가 AI 생성으로 분류됨.
나. Nature Communications (저널) 결과
연간 추이: 2022~2023 년에는 미미한 수준이었으나, 2024 년 (1.74%) 에 이어 2025 년에 **약 12.32%**로 크게 증가했습니다.
분기별 분석 (Quarterly Analysis): 2024 년 3 분기에서 4 분기 사이 가장 급격한 증가가 관찰되었습니다. 이는 2024 년 5 월 OpenAI 가 GPT-4o 를 공개한 시점과 연관이 있을 것으로 추정됩니다.
다. 모델 성능
학습 데이터 (2021 년) 에서는 완벽한 분류 성능 (100% 정확도) 을 보였으나, 이는 학습 데이터와 합성 데이터의 명확한 구별 가능성에 기인한 것으로 해석됩니다.
평가 데이터 (2022~2025) 에서는 시간이 지날수록 AI 생성으로 분류되는 비율이 꾸준히 증가하는 경향을 보였습니다.
4. 주요 기여 (Key Contributions)
시간적 동역학 분석: 학술 동료 검토에서 AI 생성 콘텐츠가 2022 년 이전에는 거의 존재하지 않았으나, 2024 년 이후 급격히 확산되었다는 체계적인 실증적 증거를 제시했습니다.
다양한 Venue 비교: 컨퍼런스 (ICLR) 와 저널 (NC) 두 가지 다른 검토 프로세스에서 일관된 증가 추세가 관찰됨을 확인하여, 이 현상이 특정 플랫폼에 국한되지 않는 보편적인 현상임을 입증했습니다.
계절적/분기적 통찰: NC 데이터를 분기별로 분석하여 AI 사용 증가가 갑작스러운 사건이 아니라, 2024 년 하반기에 가속화되는 점진적 추세임을 규명했습니다.
데이터 기반 프레임워크: AI 사용 공개가 어려운 상황에서, 역사적 데이터를 기반으로 한 탐지 모델을 통해 대규모 데이터셋에서 AI 사용 추세를 추정하는 방법론을 제시했습니다.
5. 의의 및 한계 (Significance & Limitations)
의의:
이 연구는 학술계의 동료 검토 시스템이 AI 의 영향으로 빠르게 변화하고 있음을 경고합니다.
약 20% 에 달하는 AI 생성/보조 리뷰는 학술적 평가의 신뢰성, 책임성, 그리고 편집 감독의 확장 가능성에 심각한 도전을 제기합니다.
향후 학술 정책 (Policy) 및 투명성 가이드라인 수립에 중요한 데이터적 근거를 제공합니다.
한계:
이진 분류의 단순화: 실제 리뷰는 인간이 작성하고 AI 가 다듬는 '하이브리드' 형태일 수 있으나, 연구는 이를 단순한 '인간 vs AI'로 분류하여 AI 보조의 실제 비율을 과소평가했을 가능성이 있습니다.
합성 데이터 편향: 학습에 사용된 합성 데이터가 하나의 모델 (DeepSeek) 로 생성되었기 때문에, ChatGPT 나 Gemini 등 다른 모델로 생성된 리뷰나 미래 모델에 대한 탐지기의 일반화 성능은 불확실합니다.
표본 크기: ICLR 과 Nature Communications 의 일부 데이터만 분석했으므로, 다른 학문 분야 (생물학, 의학 등) 로의 일반화에는 추가 검증이 필요합니다.
결론적으로, 이 논문은 AI 도구의 학술적 사용이 비공식적으로 급증하고 있음을 보여주며, 이에 대한 지속적인 연구와 규범적 대응의 필요성을 강력히 시사합니다.