A Large-Scale, Cross-Disciplinary Corpus of Systematic Reviews

[기술 요약] Webis-SR4ALL-26: 대규모 교차 학문적 체계적 문헌고찰 코퍼스

1. 문제 정의 (Problem Statement)

체계적 문헌고찰(Systematic Review, SR)은 특정 연구 질문에 답하기 위해 기존 문헌을 투명하고 체계적으로 수집, 선택, 합성하는 핵심적인 연구 방법론입니다. 그러나 기존의 SR 관련 벤치마크 데이터셋들은 다음과 같은 한계가 있습니다.

• 학문적 편향성: 대부분의 기존 데이터셋이 의생명과학(Biomedical) 분야에 집중되어 있어, 다른 과학 분야(사회과학, 컴퓨터 과학 등)의 검색 및 스크리닝 모델을 평가하기 어렵습니다.
• 규모의 제한: 데이터셋의 규모가 작아 대규모 언어 모델(LLM) 학습이나 광범위한 메타 과학(Meta-science) 분석에 활용하기에 부족합니다.
• 구조화된 데이터 부족: 검색 전략(Boolean query), 선정/제외 기준(Inclusion/Exclusion criteria) 등 SR의 핵심 방법론적 요소들이 구조화되어 있지 않습니다.

2. 연구 방법론 (Methodology)

본 논문은 이러한 문제를 해결하기 위해 Webis-SR4ALL-26 코퍼스를 구축하였으며, 다음과 같은 3단계 파이프라인을 거쳤습니다.

① 데이터 수집 및 필터링 (Data Collection & Filtering):

• OpenAlex 데이터베이스를 활용하여 "systematic review"라는 용어가 포함된 485,446개의 후보 레코드를 수집했습니다.
• 중복 제거, 영어 문서 필터링, DOI 존재 여부 확인, 제목 기반 휴리스틱(업데이트 논문 제외 등)을 통해 최종적으로 301,871개의 고유한 SR을 확보했습니다.
• 이 코퍼스는 OpenAlex의 분류를 따라 27개의 과학 분야를 아우릅니다.

② 전문(Full-text) 획득 및 문서 파싱 (Full-Text Acquisition & Parsing):

• OpenAlex의 PDF 링크를 통해 72,678개의 전문을 확보했습니다.
• PaddleOCR-VL(0.9B 파라미터 비전-언어 모델)을 사용하여 복잡한 과학 논문 레이아웃(다단 구성, 표, 수식 등)을 마크다운(Markdown) 형식으로 정밀하게 파싱했습니다.

③ 구조화된 정보 추출 (Structured Information Extraction):

• Verify-Then-Repair 파이프라인: LLM(Qwen3-32B)을 사용하여 연구 목적, 연구 질문, 검색 전략, 선정/제외 기준 등을 추출했습니다.
• 검증 메커니즘: 추출된 값이 실제 문서 내에 존재하는지 확인하는 '문자열 매칭' 단계와, 추출된 내용이 문맥적으로 타당한지 검증하는 'MiniCheck(LLM 기반 검증기)' 단계를 거칩니다. 만약 검증에 실패하면 'Repair Pass'를 통해 재시도하여 정밀도(Precision)를 극대화했습니다.

3. 주요 기여 (Key Contributions)

• 대규모 교차 학문적 코퍼스: 30만 개 이상의 SR과 27개 학문 분야를 포함하는 전례 없는 규모의 데이터셋을 구축했습니다.
• 다층적 데이터 구조: 단순 메타데이터를 넘어, 논문 간 인용 관계(Reference lists), 구조화된 방법론 필드(Criteria, Objectives), 그리고 실행 가능한 검색 전략(Normalized Boolean queries)을 포함합니다.
• 검색 전략 정규화: 다양한 데이터베이스(Scopus, PubMed 등)의 고유 문법을 OpenAlex API에서 실행 가능한 표준 Boolean 표현식으로 변환하는 기술을 제공합니다.

4. 실험 결과 (Results)

연구진은 구축된 코퍼스의 유용성을 증명하기 위해 검색 전략 정규화 및 실행(Retrieval Demonstration) 실험을 수행했습니다.

• 실험 설계: 추출된 검색 전략을 정규화하여 OpenAlex에서 실행한 후, 결과 집합을 해당 논문의 실제 인용 문헌(Reference list)과 비교했습니다.
• 결과:
  • Boolean Query 기반 검색: 재현율(Recall) 0.245, 정밀도(Precision) 0.014
  • Keyword List 기반 검색: 재현율(Recall) 0.180, 정밀도(Precision) 0.016
• 결론: Boolean 쿼리를 정규화하여 사용하는 것이 키워드 방식보다 재현율 측면에서 더 우수한 성능을 보임을 확인했습니다.

5. 연구의 의의 (Significance)

• 검색 및 스크리닝 자동화 연구: 다양한 학문 분야의 검색 패턴과 선정 기준을 학습시키고 평가할 수 있는 강력한 벤치마크를 제공합니다.
• 메타 과학(Meta-science) 분석: 학문 분야별, 시간 흐름에 따른 SR 작성 관행(검색 전략의 진화 등)을 비교 분석할 수 있는 토대를 마련했습니다.
• 개방형 인프라: 코퍼스, 전처리 파이프라인, 코드를 모두 공개함으로써 SR 자동화 및 증거 합성(Evidence synthesis) 분야의 후속 연구를 촉진합니다.