Measuring research data reuse in scholarly publications using generative artificial intelligence: Open Science Indicator development and preliminary results

"생성형 인공지능을 활용한 학술 출판물의 연구 데이터 재사용 측정: 오픈 사이언스 지표 개발 및 예비 결과"에 대한 상세한 기술 요약은 다음과 같습니다.

1. 문제 제기

과학계는 대규모로 연구 데이터의 재사용을 정확하게 측정하는 데 오랫동안 어려움을 겪어 왔습니다.

• 현재 방법의 한계:
  • 설문조사: 자가 보고식 설문조사는 높은 재사용률 (52~54%) 을 나타내지만, 주관적이며 확장성이 부족합니다.
  • 문헌계량학: 전통적인 인용 분석은 공식적인 데이터셋 인용 (예: DOI) 에 의존합니다. 그러나 이러한 인용은 일관되게 구현되지 않으며, 많은 재사용된 데이터셋 (예: 유전 서열) 은 영구 식별자가 부재합니다. 문헌계량학적 접근법은 현재 재사용률을 9~16% 로만 제시하고 있어, 보고된 행동과 감지된 지표 사이에 상당한 격차가 존재합니다.
  • 기존 NLP: 이전의 자동화 시도 (예: SciBERT 사용) 는 유망한 결과를 보였으나, 데이터의 생성, 재사용, 단순 참조를 구분하는 세밀함을欠하거나, 데이터가 어떻게 그리고 왜 재사용되었는지에 대한 맥락을 포착하지 못하는 경우가 많았습니다.
• 격차: 텍스트 내 데이터 재사용을 감지하고, 특정 데이터셋을 식별하며, 재사용의 맥락을 이해할 수 있는 자동화되고 확장 가능한 지표가 시급히 필요합니다. 이를 통해 오픈 사이언스 정책의 영향에 대한 더 정확한 그림을 제공할 수 있습니다.

2. 방법론

저자들 (PLOS 및 DataSeer) 은 학술 논문에서 데이터 생성 및 재사용을 분석하기 위해 생성형 AI(LLM) 파이프라인을 개발했습니다.

A. 지표 정의

문헌 검토와 이해관계자 (기부자, 기관, 연구자) 와의 협의를 통해 저자들은 지표에 대한 세 가지 핵심 요구사항을 정의했습니다.

1. 논문이 연구 데이터를 재사용하는지 식별합니다.
2. 어떤 특정 데이터셋이 재사용되었는지 식별합니다.
3. 데이터가 어떻게 또는 왜 재사용되었는지 (맥락적 추론) 식별합니다.

B. 모델 개발 및 아키텍처

• 기반 모델: 팀은 Qwen3-32B(대형 언어 모델) 를 미세 조정했습니다.
• 훈련 데이터: 인간 전문가가 주석 달기를 수행한 1,732 편의 PLOS 논문으로 구성된 큐레이션 데이터셋입니다. 주석에는 데이터 생성/재사용에 대한 부울 (boolean) 레이블과 인용, 접속 번호, URL, DOI 추출이 포함되었습니다.
• 훈련 전략:
  • 기법: 최종 헤드를 제외한 모든 선형 계층에 적용된 저랭크 적응 (LoRA).
  • 최적화: 2 단계 훈련 프로세스:
    1. 자기 증류 (Self-Distillation): 검증 실행에서 높은 보상 (≥0.9) 을 받은 완성에 대한 미세 조정.
    2. 강화 학습 (RL): 모델을 정제하기 위한 그룹 상대 정책 최적화 (GRPO) 사용.
• 보상 함수: 다음을 강제하기 위한 곱셈 보상 함수 $r(p, c, y) = f(c) \times e(p, c) \times v(c, y)$가 설계되었습니다.
  1. 형식 ($f$): 유효한 JSON 구조.
  2. 근거 ($e$): 환각 현상 금지; 출력은 소스 텍스트에 의해 지원되어야 함.
  3. 정확도 ($v$): 인간 주석과의 일치.
• 추론 파이프라인:
  • 논문은 markitdown 및 Docling을 사용하여 마크다운 형식으로 변환되었습니다.
  • 긴 논문 (25k 토큰 초과) 은 초록과 참고문헌을 보존하면서 잘라냈습니다.
  • Pass@3 전략: 각 논문마다 모델이 세 가지 완성을 생성했습니다. 검증자 모델 (기반 Qwen3-32B) 이 이를 순위 매겼으며, 가장 높은 순위를 받은 완성이 선택되었습니다.

C. 평가

모델은 296 편의 논문으로 구성된 홀드아웃 테스트 세트에서 평가되었습니다.

• 성능: 모델은 부울 필드에서 높은 정확도를 달성했습니다 (새로운 데이터 생성에 대한 Pass@1 89.8%, 재사용에 대해 79.4%) 그리고 특정 식별자 추출에 대해 강력한 F1 점수를 보였습니다 (예: 새로운 데이터 인용에 대한 0.997 F1).
• 비교: 다른 테스트된 오픈 모델 (GLM-5, gpt-oss-120b, Deepseek-R1) 보다 우수한 성과를 거두었습니다.

3. 주요 결과

모델은 2024 년 1 분기에 출판된 4,475 편의 PLOS 논문을 분석했습니다.

• 전체 재사용률: 논문의 **43%**가 기존 데이터를 재사용하는 것으로 나타났습니다. 이는 문헌계량학적 추정치 (9~16%) 보다 훨씬 높으며, 자가 보고식 설문 데이터 (>50%) 에 더 가깝습니다.
• 데이터 생성: 논문의 **59%**가 새로운 데이터를 생성했습니다.
• 중복: 논문의 11% 는 새로운 데이터를 생성하면서도 기존 데이터를 재사용했습니다.
• 비데이터 논문: 논문의 10% 는 데이터를 생성하거나 재사용하지 않았습니다 (순수 시뮬레이션이나 체계적 검토를 제외하는 더 엄격한 정의로 인해 이전 PLOS 지표보다 높은 비율입니다).

지역 및 학문 분야별 세부 분석

• 지역:
  • 아시아 - 태평양: 가장 높은 재사용률 (46%).
  • 아프리카: 가장 낮은 재사용률 (31%) 이며, 새로운 데이터 생성 비율이 더 높습니다 (66%). 저자들은 이것이 데이터 주권 문제나 "헬리콥터 과학"과 관련될 수 있다고 제안합니다.
  • 북미, 라틴아메리카, 유럽: 재사용률이 39~42% 로 집중되었습니다.
• 학문 분야:
  • 사회과학: 가장 높은 재사용률 (50%).
  • 자연과학: 높은 재사용 (47%) 이지만, 데이터 생성 또는 재사용이 전혀 없는 논문의 비율도 가장 높았습니다 (18%).
  • 생명과학: 가장 높은 새로운 데이터 생성 (76%) 이지만 가장 낮은 재사용률 (37%) 입니다.

4. 주요 기여

1. 새로운 지표: 단순 인용 계수를 넘어 텍스트의 의미 분석으로 확장 가능한 데이터 재사용 측정이 가능한 최초의 LLM 기반 지표를 개발했습니다.
2. 맥락적 이해: 이전 방법들과 달리, 이 접근법은 재사용의 이유 (어떻게/왜) 를 추출하여 영향 평가에 대한 더 풍부한 메타데이터를 제공합니다.
3. 성능 검증: 미세 조정된 LLM 이 복잡한 연구 관행을 감지하는 데 높은 정확도를 달성하여 전통적인 문헌계량학 및 초기 NLP 모델을 능가함을 입증했습니다.
4. 정의 정제: "데이터 생성" (물리적 세계 정보를 디지털로 이동) 과 "재사용" 사이의 구분을 명확히 하여, 이전 PLOS 오픈 사이언스 지표 (생성률 98% 보고) 의 과대평가를 수정했습니다.

5. 중요성 및 함의

• 오픈 사이언스 영향 재평가: 이 연구 결과는 데이터 공유 및 오픈 사이언스 정책의 긍정적 영향이 전통적 지표에 의해 현재 과소평가되고 있음을 시사합니다. 43% 의 재사용률은 문헌계량학이 포착하지 못하는 활기찬 데이터 재사용 생태계를 나타냅니다.
• 정책 및 기금: 이 도구는 기부자 (예: 마이클 J. 폭스 재단) 와 정책 입안자에게 데이터 공유 의무의 하류 효과를 모니터링할 수 있는 확장 가능한 메커니즘을 제공하며, 준수(공유) 측정을 넘어 영향(재사용) 측정으로 전환합니다.
• 인용 관행: 이 연구는 연구자들이 종종 데이터 사용을 공식 인용 표준에 부합하지 않는 방식으로 기술함을 강조하며, 구조화된 메타데이터에만 의존하기보다 AI 기반 콘텐츠 분석의 필요성을 뒷받침합니다.
• 향후 방향: 저자들은 자신의 데이터와 타인의 데이터를 재사용하는 것 사이의 구분과 다양한 저널 및 학문 분야에 대한 광범위한 검증 필요성에 관한 한계를 지적했습니다.

결론적으로, 본 논문은 생성형 AI가 연구 데이터 재사용의 실제 보편성과 본질을 모니터링하는 데 실행 가능하고 우수한 도구임을 입증하여, 오픈 사이언스 이니셔티브의 성공을 평가하는 더 정확한 기반을 제공합니다.