Diagnosing event dependence in computer-generated-content retraction metadata, 2010–2025
이 연구는 2010년부터 2025년까지 컴퓨터 생성 콘텐츠로 태그된 철회 메타데이터의 급격한 상승이 원고 내 생성형 AI의 실제 유병률을 반영하기보다는 소수 출판사들의 정리 프로그램에 의해 주도된 것임을 입증하며, 따라서 이러한 수치는 생성형 AI의 인과적 효과를 추론하는 데 부적합하다는 것을 보여준다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
학술 출판의 세계에서 철회(retraction)는 출판된 논문을 신뢰할 수 없다는 공개적인 인정이다. 그것은 정직한 실수든, 불완전한 연구든, 혹은 의도적인 부정행위든 간에 무언가 잘못되었다는 신호이자 교정이다. 수십 년 동안 연구자들과 사서들은 철회 건수가 늘어나는 것이 더 많은 잘못된 과학이 발표되고 있음을 의미한다고 가정하며, 철회 수를 연구 진실성을 가늠하는 대략적인 척도로 사용해 왔다. 그러나 이러한 가정은 중요한 세부 사항을 간과하고 있다. 철회는 단순히 실수의 기록일 뿐만 아니라, 발견의 기록이기도 하다는 점이다. 높은 철회 수는 저널이 문제를 더 잘 찾아내고 해결하고 있다는 것을 의미할 수도 있지, 단지 더 많은 문제를 출판하고 있다는 것만을 의미하지 않는다. 이러한 구분은 알고리즘이 실제처럼 보이지만 내용은 터무니없는 가짜 논문을 만들어내는 컴퓨터 생성 콘텐츠를 다룰 때 특히 까다로워진다. 이러한 논문들이 적발될 때, 출판사들에 의해 대량으로 한꺼번에 삭제되는 경우가 많으며, 이는 마치 새로운 부정행위가 범람하는 것처럼 보일 수 있는 데이터의 급격한 급증을 초래하지만, 실제로는 단 한 번의 정리 작업일 수 있다.
티키 연구소(Tyche Institute)의 안톤 소콜로프(Anton Sokolov)가 수행한 최근 연구는 바로 이 현상을 조사하며, 2010년부터 2025년까지의 기간에 초점을 맞춘다. 연구자는 전 세계의 철회 통지문을 선별하여 모아놓은 큐레이션 컬렉션인 리트랙션 워치(Retraction Watch) 데이터베이스의 동결된 스냅샷을 검토했다. 총 약 61,000건의 철회 건수 중에서, 연구자는 "컴퓨터 보조(computer-aided)" 또는 "컴퓨터 생성(computer-generated)" 콘텐츠로 구체적으로 태그된 9,102개의 기록을 분리해 냈다. 이 태그들은 무작위로 생성된 헛소리를 만드는 초기 시스템부터 논문 전체를 작성하는 현대의 인공지능 도구에 이르기까지 광범위한 이슈를 포괄한다. 목표는 세상에 얼마나 많은 가짜 논문이 존재하는지를 세는 것이 아니라, 철회 숫자가 실제로 무엇을 나타내는지 이해하는 것이었다. 철회를 누가 발행했는지, 언제 발생했는지, 그리고 어떻게 그룹화되었는지를 면밀히 살펴봄으로써, 이 연구는 철회 건수의 극적인 증가는 과학계 전반에 걸친 꾸준하고 광범위한 AI 생성 부정행위 때문이 아니라, 소수의 주요 출판사가 실시한 특정 대규모 정리 프로그램에 의해 주도되었음을 밝혀냈다.
데이터는 지난 10년 동안의 지형 변화를 명확하게 보여준다. 2010년에서 2019년 사이, 컴퓨터 생성 콘텐츠는 철회의 아주 작은 부분만을 차지했으며, 매년 1% 미만의 사례로 나타났다. 상황은 2020년부터 급격히 변했다. 2023년에는 컴퓨터 생성 콘텐츠로 태그된 철회의 비중이 약 42%로 급증했다. 이어지는 해인 2024년과 2025년에도 그 비중은 각각 약 23%와 24%로 높게 유지되었다. 언뜻 보기에 이 수치들은 AI가 생성한 논문이 과학 문헌을 휩쓸며 전 세계적으로 거대한 폭발을 일으키고 있음을 시사한다. 그러나 연구자가 이 논문들을 제거하는 책임이 누구에게 있는지 더 깊이 들여다보았을 때, 다른 이야기가 드러났다. 높은 수치는 다양한 출판사가 독립적으로 문제를 발견한 결과가 아니었다. 대신, 몇몇 특정 출판사들이 수천 편의 논문을 한꺼번에 제거하기 위해 대규모의 조직적인 노력을 기울인 결과였다.
예를 들어, 2023년에는 단 하나의 출판사 계보가 모든 컴퓨터 생성 콘텐츠 철회의 98%를 공급했다. 2024년과 2025년에도 그 수치는 80% 이상을 유지했으며, 이는 서로 다른 해에 활동한 두 개의 서로 다른 출판사 그룹에 의해 주도되었다. 연구에서 이 선도적인 출판사들의 기록을 계산에서 제외했을 때, 컴퓨터 생성 콘텐츠 철회의 연간 비중은 급격히 떨어졌다. 2023년에는 41%에서 단 0.32%로 떨어졌다. 2024년과 2025년에도 남은 비중은 이와 유사하게 0.6%와 1.4% 근처에서 맴돌았다. 이 패턴은 헤드라인에 나오는 수치들이 매년 얼마나 많은 나쁜 과학이 쓰이고 있는지를 측정하는 것이 아니라, 특정 출판사가 특정 해에 얼마나 많은 논문을 철회하기로 결정했는지를 측정하는 것임을 나타낸다. 연구는 이러한 사건들이 종종 단 하나의 저널이나 심지어 단 하루의 메타데이터 입력에 집중되어 있음을 발견했으며, 이는 이들이 확산된 체계적 문제가 아니라 조직적인 정리 캠페인이었음을 더욱 확인시켜 주었다.
또한 연구는 이러한 컴퓨터 생성 콘텐츠 철회를 표절, 중복 논문, 또는 동료 심사(peer review) 훼손과 같은 다른 흔한 논문 철회 사유들과 비교했다. 이러한 다른 카테고리들 역시 특정 영역에 집중되어 있는 것으로 알려져 있음에도 불구하고, 컴퓨터 생성 콘텐츠 태그는 훨씬 더 밀집되어 있었다. 다른 유형의 철회들은 많은 출의 출판사와 저널에 퍼져 있었던 반면, 컴퓨터 생성 태그는 어떤 해에든 한두 개의 출판사에 의해 압도적으로 지배되었다. 이러한 극단적인 집중은 데이터가 과학계 전반의 AI 생성 텍스트의 실제 유병률을 반영하는 것이 아니라, 몇몇 대형 조직의 행정적 조치를 반영하고 있음을 시사한다. 연구는 또한 철회에 대한 구체적인 사유가 정리 작업을 수행하는 출판사가 누구냐에 따라 달라졌다고 언급했는데, 어떤 해에는 "논문 공장(paper mill)" 태그가 높게 나타났고 다른 해에는 다른 라벨이 나타나는 등, 이는 데이터를 특정 출판사의 전략과 더욱 밀접하게 연결시켰다.
궁극적으로, 이 연구는 이러한 철회 수치를 해석할 때 주의를 기울여야 한다고 결론짓는다. 이 수치들은 출판사가 문제 있는 작업물을 성공적으로 식별하고 제거했음을 보여주는 훌륭한 집행 및 정리의 기록이다. 그러나 이것이 저자들이 논문을 쓰는 데 인공지능을 얼마나 자주 사용하는지를 직접적으로 측정하는 것은 아니며, 그러한 부정행위의 비율이 도처에서 상승하고 있다는 것을 증명하는 것도 아니다. 단일 연도의 높은 철회 수는 단순히 한 출판사가 조사된 백로그(backlog)를 마침내 처리했거나 수천 편의 논문을 한꺼번에 제거하기로 결정했음을 의미할 수 있다. 연구 진실성의 진정한 상태를 이해하려면, 단순한 총량을 넘어 누가 숫자를 세고 있는지, 그들이 데이터를 어떻게 그룹화하는지, 그리고 그 급증이 새로운 부정행위의 물결인지 아니면 성공적인 교정의 물결인지를 고려해야 한다. 이 연구 결과는 과학적 지표의 세계에서, 큰 숫자가 항상 큰 문제를 의미하는 것은 아니며, 때로는 그것이 단지 대규모 정리 작업을 의미할 수도 있음을 상기시킨다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.