Faster science, penalties in evaluation, and concerns on quality and impact: Researchers' use and perceptions of preprints

본 논문은 미국과 캐나다의 생명의과학 연구자들이 신속한 학술 정보 공유를 위해 프리프린트를 활발히 활용하고 있지만, 공식 평가에서의 불이익 우려와 질적 신뢰도에 대한 우려로 인해 문화적 정착이 더뎌지고 있으며, 이를 해결하기 위해 평가 체계의 개선과 새로운 품질 관리 메커니즘의 도입이 시급함을 시사합니다.

핵심

📝 핵심 주제: "과학의 속도를 높이려면, 하지만 안전장치는?"

과거 과학 논문은 **'공인된 식당 (저널)'**에서 요리사가 요리를 만들고, **'미식가 심사단 (동료 심사)'**이 맛을 본 뒤에만 손님에게 나왔습니다. 하지만 최근에는 요리사가 요리를 **'요리 시연장 (프리프린트)'**에 바로 올려놓고, 누구나 먼저 맛보고 피드백을 주기도 합니다.

이 연구는 **"과학자들이 이 '요리 시연장'을 어떻게 생각하고 있을까?"**를 조사한 결과입니다.

1. 왜 과학자들은 '요리 시연장'을 이용할까요? (속도 vs 대화)

대부분의 과학자들은 이 시스템을 '속도' 때문에 사용합니다.

• 비유: "요리 실력이 검증되기 전에, 내 요리를 먼저 보여줘서 '내가 먼저 이 요리를 개발했다!'라고 주장하고 싶어요. 그리고 다른 사람들이 빨리 맛보고 알려주길 바래요."
• 현실: 연구자들은 논문이 심사받기까지 1 년 이상 걸리는 것을 기다리기 싫어합니다. 그래서 결과를 빨리 공유하고, 자신의 아이디어를 먼저 주장하기 위해 프리프린트를 올립니다.
• 하지만: 정작 "서로 요리법을 논의하고 고쳐보자 (오픈 피어 리뷰)"는 목적보다는, "내 요리를 빨리 알리자"는 목적의식이 훨씬 강했습니다.

2. 사람들은 어떻게 신뢰할까요? (명성이라는 필터)

심사단 (동료 심사) 을 거치지 않았으니, 요리가 정말 맛있는지, 위생적인지 알 수 없습니다. 이때 과학자들은 **'유명 셰프 (저자)'**를 보고 판단합니다.

• 비유: "이 요리를 한 사람이 '미슐랭 3 스타 셰프'라면 믿고 먹겠지. 하지만 이름도 모르는 신인 요리사라면, 위생 문제가 있을까 봐 꺼려할 거야."
• 현실: 연구자들은 논문 내용 자체를 꼼꼼히 보기보다, **저자의 이름과 소속 (명성)**을 보고 "이 사람은 신뢰할 만하니까 믿고 읽자"라고 판단합니다.
• 문제점: 유명한 교수나 큰 기관의 연구자는 유리하지만, 젊은 연구자나 작은 기관의 연구자는 아무리 좋은 요리 (연구) 를 해도 무시당할 수 있습니다.

3. 경력에 어떤 영향을 줄까요? (보너스 vs 페널티)

프리프린트는 과학자에게 **'양날의 검'**과 같습니다.

• 장점 (보너스): 동료들과의 네트워크를 넓히고, 인용 횟수를 늘리는 데 도움이 됩니다. 젊은 연구자들에게는 특히 유리합니다.
• 단점 (페널티): 하지만 **'승진 심사'나 '연구비 지원 심사'**를 하는 심사위원들은 프리프린트를 **'아직 검증되지 않은 요리'**로 봅니다.
  • "이 사람은 아직 검증되지 않은 요리를 내놨네? 위험하니까 점수를 깎아야겠다."
  • "심사위원은 30 명이나 되는 후보자의 요리 시연장을 다 맛볼 시간이 없으니, 검증된 식당 (저널) 에서 나온 요리만 믿고 뽑겠다."
• 결과: 젊은 연구자들은 프리프린트를 올리면 더 빨리 알려지지만, 정작 승진이나 연구비 심사에서는 불이익을 받을까 봐 두려워합니다.

4. 가장 큰 걱정: 가짜 요리와 AI

과학자들은 프리프린트가 **'가짜 뉴스'**나 **'사기'**를 퍼뜨릴까 봐 가장 걱정합니다.

• 비유: "심사도 안 받은 요리를 사람들이 '진짜 맛집'으로 믿고 먹다가 배탈이 날 수 있어요. 특히 요즘은 AI 가 가짜 요리를 대량으로 만들어 올릴 수 있으니 더 위험해요."
• 현실: 과학적 진실성이 떨어지거나, AI 가 만들어낸 엉터리 논문이 퍼져서 대중의 과학에 대한 신뢰가 무너질까 봐 걱정합니다.

🎯 결론: 어떻게 해결할까요?

이 연구는 프리프린트 생태계가 **'속도'**만 쫓다가 **'신뢰'**를 잃고 있다고 경고합니다.

1. 평가 시스템 고치기: 대학과 연구소는 "검증되지 않았으니 점수 깎기"가 아니라, 프리프린트도 연구 성과로 인정해 주는 시스템을 만들어야 합니다.
2. 신뢰할 수 있는 표시 만들기: 유명 셰프 이름만 보고 판단하지 않도록, **"이 요리는 위생 기준을 통과했다"**는 식의 새로운 품질 인증 시스템 (예: 데이터 공개 여부, 방법론 투명성 등) 이 필요합니다.
3. AI 관리: AI 가 만든 가짜 논문이 넘치지 않도록 감시 장치가 필요합니다.

한 줄 요약:

"과학자들은 '빨리' 공유하고 싶지만, **'검증되지 않은 것'**을 믿기 싫어합니다. 그래서 유명인만 믿고, 젊은이는 불이익을 받습니다. 이제는 '속도'와 '안전'을 모두 잡을 수 있는 새로운 규칙이 필요합니다."

기술 요약

논문 요약: 프리프린트 (Preprint) 의 사용, 인식 및 학술 평가에서의 영향

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 과학 커뮤니케이션의 패러다임 변화로 프리프린트 생태계가 급격히 확장되었으나, 특히 생물의학 (Biomedicine) 분야에서 학계 구성원들의 태도와 실제 활용 양상은 아직 충분히 규명되지 않았습니다.
• 핵심 문제:
  • 신뢰성 vs. 속도: 프리프린트는 동료 검토 (peer review) 를 거치지 않아 과학적 진실성 (fraud, misinformation) 에 대한 우려가 존재하는 반면, 연구 발견의 신속한 공유를 가능하게 합니다.
  • 평가 시스템의 괴리: 프리프린트가 연구 성과로 인정받지 못하거나, 오히려 경력 평가 (승진, 채용, 연구비 지원) 에서 불이익 (penalty) 으로 작용할 수 있다는 인식이 존재합니다.
  • 질적 평가의 부재: 동료 검토가 없는 상황에서 연구자들이 프리프린트의 신뢰도를 어떻게 평가하는지, 그리고 AI 생성 콘텐츠의 등장으로 인한 새로운 위협에 대한 대응 방안이 미흡합니다.

2. 연구 방법론 (Methodology)

• 연구 대상: 미국과 캐나다의 생물의학 분야 학자 1,758 명 (유효 응답자).
  • 표본 추출: iCite(NIH) 와 Web of Science 의 1,300 만 건 이상의 출판 기록을 기반으로 이메일 주소를 추출하여 28 만 1,940 명에게 설문조사를 발송했습니다. (응답률 2.7%, 완료율 32.0%)
  • 인구통계: 미국 (83.7%), 캐나다 (16.3%) 거주자, 교수직 (정교수 53.3%, 부교수 25.4%, 조교수 8.6%) 및 연구원, 박사과정 학생 등 다양한 직급 포함.
• 데이터 수집: 2025 년 3 월부터 5 월까지 Qualtrics 를 통해 온라인 설문조사 실시.
• 분석 기법:
  • 서열 로지스틱 회귀분석 (Ordinal Logistic Regression): 학급, 성별, 국가, 학문 분야에 따른 프리프린트 사용 (읽기, 인용, 제출) 및 인식 차이를 분석.
  • 연역적 내용 분석 (Deductive Content Analysis) 및 감성 분류: 424 개의 자유 응답 텍스트를 '품질', '영향', '경력 개발'이라는 3 가지 주제 프레임워크에 따라 코딩하고 감성 (긍정/중립/부정) 을 분류.

3. 주요 연구 결과 (Key Results)

가. 사용 동기와 패턴: "속도"가 "대화"를 압도

• 활발한 참여: 응답자의 56.6% 가 월 1~5 건의 프리프린트를 읽었으며, 43.3% 가 제출 경험이 있음.
• 주된 동기: 프리프린트 제출 및 인용의 가장 큰 동기는 **'신속한 전파 (Timeliness)'**와 **'지식 공유 가속화'**였음.
• 부족한 대화: '개방형 동료 검토 (Open peer review)'나 '커뮤니티 피드백'은 제출 동기의 최하위 순위 (74.4% 가 중요하지 않다고 응답) 였음. 이는 프리프린트가 학술적 대화를 위한 도구라기보다는 연구 우선순위 확보와 가시성 확보를 위한 전략적 도구로 사용됨을 시사.

나. 신뢰성 평가: 저명성 (Reputation) 에 의존한 휴리스틱

• 품질 불확실성: 동료 검토가 부재하여 품질에 대한 우려가 큼. 특히 자료 (데이터, 코드) 의 공개 부족이 큰 걸림돌로 작용.
• 저명성 필터링: 품질을 판단할 수 없는 상황에서 연구자들은 **저자의 명성 (Author Reputation)**을 주요 판단 기준 (Heuristic) 으로 활용함.
  • 익숙하거나 유명한 저자가 포함된 경우 읽거나 인용할 확률이 높음.
  • 여성 연구자는 남성보다 저자 목록을 더 중요하게 여김.
  • 문제점: 이는 초기 경력 연구자 (Junior Scholars) 를 불리하게 만들고, 기존 권위 있는 연구자에게 유리한 '매키투 효과 (Matthew Effect)'를 강화할 수 있음.

다. 학술 평가에서의 '페널티'와 '장벽'

• 네트워킹 자산 vs. 경력 리스크: 프리프린트는 협업과 인용 증가에 긍정적이지만, 승진 (Tenure) 및 채용 평가에서는 부정적으로 인식됨.
  • 21.5% 의 응답자가 프리프린트가 경력에 해롭다고 봄 (초기 경력 연구자에서 더 두드러짐).
  • 평가자 (Gatekeepers) 의 태도: 연구비 심사위원 및 채용 위원회 구성원 중 50% 이상이 프리프린트를 동등한 연구 성과로 인정하지 않거나, 기존 저널 출판보다 낮은 점수를 매김.
  • 이유: 심사 효율성과 리스크 관리 차원에서 검증된 저널 출판물을 선호하며, 프리프린트 검토에 소요되는 시간과 불확실성을 기피함.

라. 사회적 영향 및 AI 위협

• 긍정적 인식: 연구 접근성 향상, 출판 비용 절감, 피드백 가속화.
• 부정적 인식: 허위 정보 (Misinformation) 와 사기성 연구 확산에 대한 우려가 가장 큼.
  • 특히 인공지능 (AI) 을 이용한 대량 생성 논문으로 인한 과학적 진실성 훼손과 대중의 과학에 대한 신뢰 하락을 심각한 위협으로 인식.

4. 주요 기여 및 시사점 (Contributions & Significance)

• 실증적 증거 제공: 북미 생물의학 학자들의 프리프린트 사용, 인식, 평가 체계를 포괄적으로 분석한 대규모 실증 연구.
• 구조적 모순 규명: 프리프린트 생태계가 '속도'를 추구하지만, 학계 평가 시스템은 여전히 '검증된 품질' (동료 검토) 에 의존하여 초기 경력 연구자를 배제하는 구조적 장벽이 존재함을 규명.
• 새로운 위험 요소 제시: AI 생성 콘텐츠의 등장으로 인해 프리프린트의 품질 관리와 신뢰성 확보가 더욱 시급해졌음을 강조.

5. 결론 및 제언 (Conclusion & Recommendations)

• 시스템의 진화 필요: 프리프린트 생태계가 단순히 '빠른 배포'를 넘어 '진정한 학술적 대화'를 장려하는 방향으로 진화해야 함.
• 평가 체계 개편: 학술 평가 (채용, 승진, 연구비) 에서 프리프린트를 공정하게 평가할 수 있는 새로운 프레임워크가 필요하며, '검증된 저널 출판'에만 의존하는 관행이 개선되어야 함.
• 품질 관리 메커니즘 도입: 저자 명성에만 의존하는 필터링을 보완하기 위해 **확장 가능한 품질 요약 프레임워크 (Scalable Quality Summarization Framework)**가 필요함.
  • 방법론적 투명성 (Methodological Transparency) 과 자료 (데이터/코드) 가용성을 신호 (Signaling) 할 수 있는 메커니즘이 도입되어야 신뢰성 문제를 해결하고 초기 경력 연구자의 불이익을 완화할 수 있음.

이 연구는 프리프린트가 과학 가속화의 핵심 도구임에도 불구하고, 현재의 평가 문화와 품질 관리 부재로 인해 그 잠재력이 제한받고 있음을 지적하며, 이를 해결하기 위한 제도적·기술적 혁신의 필요성을 강력히 주장합니다.