Large-scale dataset of automatically classified rhetorical sections in scientific papers

기술 요약: 과학 논문의 자동 분류된 수사적 섹션에 관한 대규모 데이터셋

문제 제기
과학 논문은 내용의 구체적인 의사소통 목적을 위해 내용을 조직하는 수사적 구조(예: 서론, 방법, 결과, 고찰)를 따르며, 흔히 IMRaD 형식을 준수한다. 이러한 구조를 대규모로 분석하는 것은 과학적 글쓰기 패턴과 담론에 대한 세밀한 연구를 가능하게 할 수 있지만, 수백만 편의 논문을 수동으로 주석 처리하는 것은 불가능하다. 기존의 자동화된 접근 방식들은 상당한 한계에 직면해 있다: 종종 수백 편의 논문이라는 작은 데이터셋에서 평가되며, 백만 단위 코퍼스에 대한 일반화 능력이 부족하고, 비공개 코드를 사용하는 경우가 많아 재현이 불가능하다. 또한, 기존 방법론들은 학문 분야, 출판사 및 문서 구조에 따른 섹션 헤더의 다양성을 처리하는 데 어려움을 겪는다.

방법론
저자들은 1,560만 편의 오픈 액세스 과학 논문을 포함하는 Semantic Scholar Open Research Corpus (S2ORC)의 규모와 특성에 맞게 설계된 규칙 기반 분류 알고리즘을 개발했다. 이 파이프라인은 GROBID를 통해 파싱된 구조화된 XML 문서를 처리한다.

핵심 방법론은 2단계 라벨링 전략을 포함한다:

1. 정확한 매칭 (Exact Matching): 첫 번째 단계는 표준 용어를 가진 일반적인 섹션 제목(예: "methods", "results")에 대해 사전과의 정확한 문자열 매칭을 사용하여 표준적인 헤더를 포착한다.
2. 정규 표현식 (Regular Expressions): 두 번째 단계는 더 넓은 의미적 변형을 식별하기 위해 정규 표현식 패턴을 사용하며(예: "study design"을 "methods"로 매핑), 오탐지를 방기하기 위해 지나치게 일반적인 용어는 제외한다.

초기 단계 이후, 시스템은 라벨링되지 않은 두 헤더 사이의 라벨링되지 않은 행에 해당 레이블을 할당하기 위해 **라벨 전파(label propagation)**를 적용하며, 이는 해당 행이 이전 섹션에 속한다는 가정을 바탕으로 한다. 비핵심 헤더(예: 그림 캡션)에 대한 특수 처리가 포함되어 있으며, 표준 사전에 일치하지 않지만 구조적 단서(예: 번호가 매겨진 헤더)를 통해 식별되는 주요 상위 레벨 섹션을 위한 "development" 레이블도 포함된다.

품질 보장을 위해 데이터셋은 필터링 과정을 거친다:

• 논문은 반드시 최소 두 개의 식별된 섹션을 보유해야 한다.
• 단일 섹션이 논문에서 차지할 수 있는 최대 비율에 대한 임계값이 적용되며, 이는 라벨 전파가 실패했을 가능성이 높은 논문(예: 본문의 대부분이 서론으로 잘못 라벨링된 경우)을 걸러내기 위해 사분위 범위(IQR) 규칙($k=0.50$)을 활용한다.

최종 데이터셋은 동일한 레이블을 가진 연속된 행의 텍스트를 결합하여 섹션 수준의 항목을 생성한다. 저자들은 투명성, 제어 가능성 및 계산 효율성을 보장하기 위해 머신러러닝이나 대규모 언어 모델(LLM) 대신 규칙 기반 방법을 명시적으로 선택했으며, 이 방법의 성능이 전체 맥락의 의미론적 분석 없이 헤더 텍스트만을 사용할 때 도달 가능한 천장치에 근접하는 것으로 나타났음을 언급했다.

주요 기여

• 데이터셋 규모: 저자들은 초기 분류된 S2OR de S2ORC 코퍼스의 86%에 해당하는 1,350만 편의 논문에 대한 섹션 수준 주석 데이터셋을 제시하며, 이는 기존 데이터셋보다 두 자릿수 더 많은 논문을 포함한다.
• 검증: 본 연구는 인간 주석가(100편)와 LLM 기반 주석(1,000편)을 모두 사용하여 종합적인 검증을 제공한다.
• 오픈 사이언스: 기존의 노력들과 달리, 분류 파이프라인의 코드와 전체 데이터셋이 공개되어 있어 재현과 확장이 가능하다.
• 학문 분야 집중: 이 데이터셋은 주로 STEM 분야(약 75%)를 다루며, 의학(25.6%), 생물학, 공학 분야를 강력하게 나타낸다.

결과

• 일치도 점수: 규칙 기반 분류기는 인간 주석가와 0.5848의 Krippendorff's Alpha 일치도를 달려 성취했다. 이는 독립적인 인간 전문가 간의 일치도(0.6092) 및 인간과 LLM 간의 일치도(0.6293)와 매우 유사한 수준이다.
• 섹션별 성능:
  • 높은 성능: 알고리즘은 표준 IMRaD 섹션에서 강력한 성능을 보인다. "Methods"(F1 = 0.79)와 "Conclusion"(F1 = 0.91)의 경우, 규칙 기반 접근 방식은 인간 전문가와 밀접하게 일치한다. "Introduction"은 높은 재현율(0.89)을 보이며, "Methods"와 "Results"는 높은 정밀도(0.86)를 보인다.
  • 과제: "Lit review"와 "Development" 카테고리에서는 성능이 저하된다. "Lit review" 레이블은 비표준적이고 기술적인 제목들로 인해 낮은 재현율(0.09)로 고전한다. "Development" 레이블은 높은 재현율(0.79)을 보이지만 낮은 정밀도(0.12)를 보이는데, 이는 구조적 경계는 포착하지만 인간이 다르게 분류할 수 있는 섹션(예: 방법 또는 결과로 분류될 수 있는 섹션)을 과도하게 포착함을 나타낸다.
• 검증 지표: LLM의 실행 간 일치도는 0.9261인 반면, 인간의 주석자 간 일치도는 0.61로, 이는 고도로 교육받은 원어민 사이에서도 수사적 분류의 내재적 주관성과 복잡성을 강조한다.

의의 및 주장
본 논문은 규모, 검증 및 공개 가능성을 결합함으로써 과학 문헌의 수사적 구조를 분석하기 위한 기존 도구의 핵심적인 격차를 해결한다고 주장한다. 저자들은 이 데이터셋이 섹션 수준에서의 과학적 담론에 대한 대규모 계산 연구, 학문 분야별 글쓰기 관습의 조사, 그리고 과학적 커뮤니케이션의 변화 추적을 가능하게 한다고 단언한다.

저자들은 이 데이터셋이 IMRaD와 유사한 구조를 가진 경험적 논문에 가장 적합하며, 인문학 및 사회과학 논문의 조직적 미묘함이나 비표준적 문서 유형을 완전히 포착하지 못할 수 있다고 겸허히 언급한다. 그들은 규칙 기반 접근 방식이 정확성, 투명성 및 자원 효율성 사이의 최적의 균형을 제공하며, 핵심적인 경험적 섹션에 대해 인간 전문가와 대등한 성능을 달성한다고 강조한다.