Computer-generated content and the AI/ML retraction record, 2018– 2026: a characterization study

기술 요약: 컴퓨터 생성 콘텐츠와 AI/ML 철회 기록 (2018–2026)

문제 정의
과학 출판 생태계는 2022년 대규모 언어 모델(LLM)의 보급과 함께 가속화된 컴퓨터 생성 콘텐츠(CGC)의 확산이라는 급변하는 연구 진실성 문제를 직면하고 있다. Retraction Watch는 철회된 논문에 대한 큐레이션된 공개 기록을 유지하고 있으나, AI/ML 관련 철회의 구체적인 특성이 배포 전후의 윈도우를 가로질러 체계적으로 규명된 바는 없다. AI/ML에 '관한' 논문과 AI에 의해 '생성된' 관련 분야의 논문을 구분하는 데 있어 결정적인 방법론적 격차가 존재한다. 또한, 기존의 필터들은 광범위한 컴퓨터 과학 메타데이터를 특정 AI/ML 증거와 혼동하여, AI 관련 부정행위의 유병률에 대해 과도한 주장을 할 가능성이 있다. 본 연구는 AI/ML 도메인에 특화된 가시적 철회 기록을 증거의 정밀도에 따라 계층화하여 규명하는 필요성을 다룬다.

방법론
본 연구는 Nekropolis 코퍼스 v0.2(파일 entries-v0.2.jsonl)에 보존된 Retraction Watch 데이터베이스의 결정론적 슬라이스를 활용한다. 이 데이터셋은 AI, 머신러ing, 데이터 과학 및 컴퓨터 과학 키워드와 주제 범주를 대상으로 하는 재현 중심의 휴리스틱을 통해 필터링된 13,502개의 고유 철회 기록으로 구성된다.

주요 방법론적 구성 요소는 다음과 같다:

• 정밀도 계층화(Precision Tiering): 재현율과 정밀도 사이의 절충안을 관리하기 위해, 모든 기록은 AI/ML 증거의 강도에 따라 다음과 같은 계층이 할당된다:
  1. 고정밀 AI/ML: 제목에 명확한 용어(예: "neural network", "large language model")가 포함됨.
  2. 방법론 또는 시스템 인접: 제목에 계산적 용어(예: "algorithm", "automation")가 포함됨.
  3. 학술지 또는 메타데이터 AI/ML: 초록, 키워드 또는 학술지 명칭에서 증거 발견.
  4. 광범위한 컴퓨터 과학 메타데이터: 광범위한 범주(예: "Computer Science", "Data Science")에 근거한 수용.
  5. 검토 필요(Review-needed): 휴리스틱에는 일치하나 결정론적 규칙에는 실패한 행(rows).
• 원인 분류 체계(Cause Taxonomy): 소스에서 명시한 이유와 구별되는 프로젝트 추론 원인 레이블(inferred_cause)이 각 기록에 할당된다. 이 분류 체계에는 computer-generated-content(컴퓨터 생성 콘텐츠), compromised-peer-review(동료 검토 훼손), plagiarism-or-attribution(표절 또는 속성 문제), editorial-or-publisher-process(편집 또는 출판 프로세스) 등의 카테고리가 포함된다.
• 시계열 분석: 기록들을 상위 Crossref 데이터와 결합하여 철회 날짜와 출판-철회 간의 시차를 분석하며, 2018–2026 윈도우에 집중한다.
• 보고 표준: 발견 파이프라인의 투명성을 확보하기 위해 전체 포괄적 슬라이스(13,502개 기록)와 보수적인 고정밀 제목 수준 서브셋(3,243개 기록) 모두에 대해 수치와 백분율을 보고한다.

주요 기여

1. 결정론적 슬라이스 정의: 특정 코퍼스 커밋과 SHA-256 해시에 기반하여, AI/ML 관련 철회에 특화된 13,502개 기록의 재현 가능한 슬라이스를 정의한다.
2. 계층화된 특성 규명: 증거 계층에 따른 최초의 원인 분포 분석을 제공하며, 고정밀 제목에서 광범위한 메타데이터로 갈수록 특정 원인의 유병률이 어떻게 변화하는지 밝힌다.
3. 시계열 코호트 분석: LLM 배포 타임라인에 따른 CGC 철회의 출현을 매핑하여, 특정 정점과 출판 지연을 식별한다.
4. 방법론적 위치 설정: 재현 중심의 슬라이스가 명시적인 계층화 및 보수적인 원인 라벨링과 결합될 때, 그 간극을 숨기지 않고 결과로서 보고한다면 연구 진실성 연구의 정당한 대상이 될 수 있음을 논한다.

결과

• 컴퓨터 생성 콘텐츠의 지배력: 전체 13,502개 기록 슬라이스 전반에 걸쳐, **컴퓨터 생성 콘텐츠(CGC)**가 가장 큰 단일 추론 원인으로 나타났으며, 이는 **4,704개 기록(34.8%)**을 차지한다. 이는 compromised-peer-review(22.0%), plagiarism-or-attribution(18.6%), editorial-or-publisher-process(13.7%)를 상회한다.
• 계층 간 일관성: CGC의 지배력은 정밀도 계층 전반에서 유지된다:
  • 고정밀 제목 수준 서브셋: 41.8%
  • 광범위한 CS 메타데이터 계층: 32.7%
  • 방법론 인접 계층: 38.4%
  • 참고: venue-or-metadata-AI/ML 계층은 예외적으로, 학술대회 프로시딩의 대량 철회로 인해 editorial-or-publisher-process(91.2%)가 지배적이다.
• 시계열 패턴: CGC 철회는 2020년 이전에는 미미했다. 2021–2022년에 급격히 상승하여, 대규모 출판사 주도의 대량 철회(예: Hindawi/Wiley)와 맞물려 **2023년(2,705개 기록)**에 정점에 달했다. 2024년에는 감소(487개)했으나 2018–2020년 기준치보다 여전히 한 자릿수 이상 높았으며, 2025년에는 다시 1,000개로 상승했다.
• 출판 지연: 알려진 출판 연도가 있는 4,704개 CGC 기록 중, 84%가 2021년에서 2023년 사이에 출판되었다. 출판에서 철회까지의 중앙값 지연은 짧으며, 56.6%가 출판 후 0~1년 이내에 철회되었다.
• 출판사 집중도: Hindawi가 슬라이스의 36.4%(4,919개 기록)를 차지하며, IEEE(12.2%)와 IOS Press(10.4%)가 그 뒤를 이었다. 본 연구는 이것이 오로지 사전 출판 실패율의 척도라기보다는 활발한 사후 출판 진실성 조치의 결과임을 언급한다.

의의 및 주장
본 논문은 자신의 발견을 경험적이고 제한적인 것으로 명시적으로 규정한다. AI/ML 연구가 다른 분야보다 본질적으로 더 결함이 있다고 주장하거나, 광범위한 문헌의 기초 발생률을 추정하지 않는다.

• 발견의 성격: 본 연구는 총 생성 콘텐츠의 양을 추정하는 것이 아니라, 무엇이 철회되었고 그 이유가 어떻게 명명되었는지라는 가시적 표면을 규명한다.
• 향후 연구를 위한 기질(Substrate): 주요 의의는 생성(generation)을 원인으로 명시하는 명확하고 기계 판독 가능한 철회 통지가 이제 AI/ML 철회 기록에서 가장 큰 단일 카테고리가 되었음을 입증하는 데 있다. 이는 향후 연구 진실성 작업, 정책 개발, 탐지 방법 평가를 위한 필수적인 "기질"을 제공한다.
• 한계: 저자들은 "컴퓨터 생성 콘텐츠" 레이블이 통지에서 생성을 명시적으로 언급할 때만 할당되므로, 완화된 사례들을 과소 집계할 수 있음을 인정한다. 반대로, 명시된 사례들이 더 쉽게 식별되기 때문에 과대 대표될 수도 있다. 본 연구는 개별적인 부정행위를 판정하는 것이 아니라 공공 통지의 분포를 보고하는 것이다.

결론적으로, 본 논문은 컴퓨터 생성 콘텐츠가 AI/ML 도메인의 공공 기록 내에서 철회의 지배적인 원인이 되었음을 입증하며, 이러한 변화는 대규모 언어 모델의 배포 타임라인과 직접적으로 상관관계가 있음을 보여준다.