Attitudes and Perceptions Toward the Use of Artificial Intelligence Chatbots for Peer Review in Medical Journals: A Large-Scale, International Cross-Sectional Survey

본 연구는 의료 학술지 동료 심사자들이 인공지능 챗봇에 대한 높은 친숙도를 보이지만 윤리적 우려와 신뢰 문제로 실제 활용은 제한적이며, 향후 도입을 위해 교육과 가이드라인 마련이 필요함을 밝힌 대규모 국제 설문조사 결과입니다.

핵심

🍳 요리 대회와 AI 보조 심사위원

상상해 보세요. 세계적인 요리 대회가 열렸습니다. 수많은 요리사들이 요리를 만들고, 그 요리를 맛보고 점수를 매기는 **심사위원 (Peer Reviewers)**들이 있습니다. 보통은 경험 많은 셰프들이 직접 맛보고 "이건 너무 짜다", "재료가 신선하지 않다"라고 평가하죠.

이제 이 대회에 **새로운 보조 심사위원 (AI 채팅봇)**이 등장했습니다. 이 AI 는 아주 똑똑해서, 레시피의 계산 실수를 찾아내거나, 문장을 다듬어 주고, 참고 자료를 확인하는 일을 아주 빠르게 해낼 수 있습니다.

연구자들은 이 AI 가 심사 과정에 들어오면 어떨지 궁금해서, 전 세계의 심사위원 1,260 명에게 "이 새로운 보조 심사위원에 대해 어떻게 생각하나요?"라고 물어보았습니다.

🔍 조사 결과: "알기는 하지만, 아직 손대지 않음"

1. AI 는 잘 알지만, 심사에는 안 써요

   • 심사위원들 대부분 (86%) 이 이 AI 보조 심사위원의 존재를 알고 있고, 일상생활에서 (예: 요리 레시피를 찾을 때) 사용해 본 적이 많습니다.
   • 하지만, 실제 요리 대회 (논문 심사) 에서는 아직 70% 이상이 AI 를 쓰지 않습니다. "아직은 내 손으로 직접 맛을 봐야겠다"는 마음이 강하기 때문입니다.

2. 교육은 없는데, 배우고 싶어요

   • 대회를 주관하는 측 (병원이나 대학) 에서 "AI 를 어떻게 써야 하는지" 가르쳐 주는 수업은 거의 없습니다 (약 70% 가 없음).
   • 하지만 심사위원들은 "우리가 이걸 어떻게 써야 할지 가르쳐 주면 좋겠다"라고 매우 적극적으로 원하고 있습니다.

3. 두려움과 우려가 큽니다

   • AI 가 요리를 평가할 때, **어떤 재료는 좋아하고 어떤 재료는 싫어하는 '선입견 (편향)'**이 생길까 봐 가장 걱정합니다 (80% 이상).
   • 또한, "이 점수가 AI 가 매긴 건데, 정말 믿을 수 있을까?"라는 신뢰 문제도 큰 걸림돌입니다.

💡 결론: "도구는 좋지만, 아직 준비가 필요해"

이 연구의 결론은 간단합니다.

"심사위원들은 AI 라는 새로운 주방 도구가 있다는 건 잘 알고 있지만, 아직은 그걸로 실제 요리를 심사하는 데는 손을 대지 않고 있어요."

사람들은 AI 가 도와주면 좋겠지만, 도구가 잘못되면 요리의 맛 (연구의 진실성) 이 망가질까 봐, 그리고 누가 그 맛을 책임질지 모르겠어서 두려워하고 있습니다.

따라서, AI 를 심사 과정에 본격적으로 도입하기 전에 어떻게 쓰는지 교육을 잘하고, 어떤 문제가 생길지 미리 막는 안전장치를 마련해야 한다는 메시지가 담겨 있습니다.

한 줄 요약:

"AI 는 똑똑한 조수지만, 아직은 우리가 직접 요리를 심사하는 '주방장'의 자리를 완전히 대신할 수는 없어요. 먼저 안전하고 올바르게 쓰는 법을 배워야 합니다."

기술 요약

제시된 논문 "의료 저널의 동료 검토 (Peer Review) 에 대한 인공지능 챗봇 사용에 대한 태도와 인식: 대규모 국제적 횡단면 조사"에 대한 기술적 요약은 다음과 같습니다.

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 생성형 인공지능 (Generative AI) 의 일종인 AI 챗봇 (AICs) 이 학술적 동료 검토 과정에서 방법론적 문제 식별, 참고문헌 검증, 언어 명확성 개선 등의 작업을 보조하는 도구로 점차 고려되고 있습니다.
• 문제점: 이러한 잠재적 이점에도 불구하고, AIC 의 신뢰성, 윤리적 함의, 투명성에 대한 우려가 존재합니다. 특히 의료 저널의 동료 검토자들이 AIC 의 역할과 영향력을 어떻게 인식하고 있는지에 대한 실증적 증거는 매우 부족합니다.
• 연구 목적: 의료 저널 동료 검토자들의 AIC 친숙도, 인식된 이점과 한계, 윤리적 우려, 그리고 동료 검토에서의 미래 역할에 대한 기대를 규명하는 것입니다.

2. 연구 방법론 (Methodology)

• 연구 설계: 횡단면 온라인 설문 조사 (Cross-sectional online survey).
• 대상 및 표본 추출:
  • PubMed 에 등재된 MEDLINE 색인 논문 (2 개월 기간) 의 저자 정보를 R 기반 접근법을 통해 추출하여 총 72,851 명의 저자에게 이메일로 초대장을 발송했습니다.
  • 설문 응답자 중 스스로를 '동료 검토자'로 식별한 대상이 최종 분석 대상이 되었습니다.
• 설문 도구: AIC 에 대한 친숙도와 동료 검토에서의 이점/한계에 대한 인식을 평가하는 29 개 항목의 설문지 (SurveyMonkey 플랫폼 사용).
• 데이터 수집 기간: 2025 년 4 월 28 일부터 6 월 16 일까지 (중간 2 회 리마인더 이메일 발송).

3. 주요 결과 (Key Results)

• 응답 현황: 총 1,260 명의 응답자가 설문을 완료했습니다.
• 친숙도 및 사용 현황:
  • 응답자의 대다수 (86.2%) 가 AIC 에 익숙하며, 일반적 목적으로 ChatGPT 와 같은 도구를 사용한 경험이 87.7% 에 달했습니다.
  • 그러나 동료 검토 과정에서 AIC 를 사용한 경험은 70.3% 가 없었다고 보고하여 실제 업무 적용은 제한적인 것으로 나타났습니다.
• 교육 및 훈련:
  • 응답자의 69.5% 는 소속 기관에서 동료 검토를 위한 AIC 사용 교육이 제공되지 않는다고 답했습니다.
  • 그럼에도 불구하고 60.7% 는 이러한 교육에 대한 관심을 표명했습니다.
• 인식 및 우려:
  • AIC 의 이점에 대한 인식은 엇갈렸으나, 우려는 광범위하게 공유되었습니다.
  • 주요 우려 사항: 알고리즘 편향 (Algorithmic bias, 80.3%), 신뢰 및 사용자 수용성 문제 (73.3%) 가 가장 큰 걸림돌로 지적되었습니다.

4. 주요 기여 및 결론 (Key Contributions & Conclusions)

• 실증적 데이터 제공: 의료 분야 동료 검토자들의 AIC 수용 태도에 대한 대규모 국제적 데이터를 최초로 제공하여, 현재 높은 친숙도와 낮은 실제 활용 사이의 간극 (Gap) 을 명확히 했습니다.
• 교육의 필요성 강조: 기관 차원의 체계적인 교육 부재를 지적하고, 이에 대한 높은 수요를 확인함으로써 향후 가이드라인 및 교육 프로그램 개발의 필요성을 제기했습니다.
• 구현 전제 조건: AIC 의 광범위한 도입 전에는 윤리, 데이터 프라이버시, 연구 무결성 (Research Integrity) 관련 우려를 해결해야 함을 강조했습니다.

5. 의의 및 시사점 (Significance)

이 연구는 의료 학술 출판 생태계에서 AI 기술의 통합이 단순히 기술적 가능성의 문제를 넘어, 신뢰, 윤리, 그리고 교육이라는 인간 중심의 과제를 해결해야 함을 시사합니다. 의료 저널 편집자와 출판사들은 동료 검토의 질을 유지하면서도 혁신을 수용하기 위해, 알고리즘 편향을 완화하고 투명성을 확보하는 구체적인 정책과 교육 시스템을 마련해야 할 시점임을 보여줍니다.