💻 computer science

Digging Up Citations: FOSSIL, a Dataset and Workflow for Reference Extraction in Law and the Humanities

이 논문은 법학 및 인문학 연구에서 각주 기반 인용 추출을 개선하기 위해 설계된 다국어 데이터셋이자 부수적인 워크플로인 FOSSIL을 소개하며, 전문화된 파이프라인이 표준 도구에 비해 추출 품질을 거의 두 배로 높인다는 점을 입증하는 동시에 교차 참조 및 혼합 콘텐츠 각주를 처리하는 데 있어 여전히 남아 있는 과제들을 강조한다.

원저자: Luca Foppiano, Christian Boulanger

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Luca Foppiano, Christian Boulanger

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대한 도서관을 정리하려고 노력하고 있다고 상상해 보세요. 자연과학(생물학이나 물리학 등)의 책들은 매우 깔끔하고 예측 가능한 구조를 가지고 있습니다. 본문 이야기는 장(chapter)에 담겨 있고, 모든 "출처 주석"은 맨 뒷부분에 번호가 매겨진 깨끗한 목록으로 따로 모여 있습니다. 이는 마치 요리법에서 재료 목록이 조리법과는 별도로 분리되어 있는 것과 같습니다. 컴퓨터는 이러한 요리법을 읽는 데 매우 능숙합니다.

하지만 법학 및 인문학(역사, 철학, 문학 등)의 경우, "출처 주석"이 매우 지저분합니다. 주석들이 본문 안에 파묻혀 있으며, 저자의 개인적인 생각, 설명, 혹은 상호 참조와 함께 섞여 있습니다. 이는 마치 "밀가루 두 컵(지난 화요일에 시장에서 산 것, 4페이지 참조)을 넣으며 저으세요"와 같이, 재료가 문장 속에 숨겨져 있는 요리법과 같습니다.

**"Digging Up Citations: FOSSIL"**이라는 제목의 이 논문은 법학 및 인문학 서적에 숨겨진 이러한 '재료'들을 찾아내고 정리하는 더 나은 방법을 구축하는 것에 관한 것입니다.

다음은 이들이 수행한 작업을 쉬운 비유를 들어 설명한 내용입니다.

1. 문제점: "블랙박스"와 "지저분한 지하실"

저자들은 기존의 컴퓨터 프로그램(모델)들이 깔끔한 "자연과학" 스타일로 학습되었다고 설명합니다. 이 프로그램들이 법학 및 인문학의 각주를 읽으려고 하면, 데이터가 뒤섞여 있기 때문에 혼란을 겪게 됩니다.

또한, 강력한 AI 도구들(거대 상업용 챗봇 등)이 때때로 이를 파악해낼 수는 있지만, 이는 위험합니다. 그것들은 마치 내일 당장 폐업하여 당신의 데이터를 가지고 사라질지도 모르는 회사로부터 최첨단 굴착기를 빌려 쓰는 것과 같습니다. 저자들은 오픈 소스이며, 무료이고, 영구적으로 소유할 수 있는 도구를 원했습니다.

2. 해결책: "FOSSIL" 프로젝트

연구팀은 이 인용구들을 발굴하기 위한 완전한 툴킷을 만들었습니다. 그들은 이 데이터셋을 FOSSIL(Footnote-based Open-access SSH Scientific Instance Labels)이라고 부릅니다. 이것은 컴퓨터가 지저한 각주를 읽는 법을 배울 수 있도록 돕는, 방대한 양의 체계적인 "전후(before and after)" 사례 모음이라고 생각하면 됩니다.

그들은 네 가지 주요 요소를 구축했습니다:

디지털 작업대 (PDF-TEK Editor): 인간과 컴퓨터가 나란히 협업할 수 있는 웹 도구입니다. 한쪽에는 원본 PDF를, 다른 한쪽에는 구조화된 데이터를 보여주어 사람들이 실수를 바로잡고 컴퓨터에게 무엇을 찾아야 할지 가르칠 수 있게 합니다.
훈련 매뉴얼 (워크플로우): 전문가와 학생을 포함한 7명의 팀이 데이터를 어떻게 정제하고 라벨을 붙였는지에 대한 단계별 가이드입니다.
보물 창고 (데이터셋): 법학, 역사, 사회과학 분야의 학술 논문 96편을 수집했습니다. 이 논문들에는 각주 속에 숨겨진 7,600개 이상의 참조 문헌이 포함되어 있습니다. 결정적으로, 이 데이터는 "오픈 라이선스"이므로 누구나 법적 문제 없이 사용할 수 있습니다.
특화된 엔진 (Grobid Specialization): 기존의 오픈 소스 도구인 Grobid(표준적인 도서 스캐너와 같은 역할)를 가져와서, 법학 및 인문학의 지저분한 각주에 집중할 수 있도록 "특화된 렌즈"를 장착했습니다.

3. 과제: 왜 이렇게 어려운가?

논문은 이 분야의 각주가 까다로운 이유를 설명합니다. 각주는 한 번에 다섯 가지 역할을 수행하기 때문입니다:

단순한 의견 (인용 없음).
저자에 대한 약력 정보.
깔끔하게 정리된 도서 목록.
이전 각주를 가리키는 "참조" 노트 (예: "주석 5 참조").
위의 요소들이 혼합된 혼란스러운 형태.

이는 어떤 봉투에는 편지가, 어떤 봉투에는 수표가, 어떤 봉투에는 사진이 들어있고, 또 어떤 봉투에는 이 세 가지가 섞여 있으며, 심지어 서로 다른 언어와 필체로 쓰인 우편물 더미를 분류하려는 것과 같습니다.

4. 결과: "누락"에서 "발견"으로

연구팀은 새로운 특화 엔진을 기존의 표준 버전과 테스트했습니다.

기존 방식: 표준 도구는 매우 까다로웠습니다. 인용구를 찾아낸다면서는 거의 완벽한 정확도(precision)를 보였지만, 표준적인 과학 인용구와 모양이 다르다는 이유로 실제 인용구의 **70~80%**를 놓치는 낮은 재현율(recall)을 보였습니다. 이는 금화만 감지하고 은화는 무시하는 금속 탐지기와 같았습니다.
새로운 방식: 특화된 "FOSSIL" 버전은 두 배 더 많은 참조 문헌을 찾아냈습니다.
- 출판 연도 발견율이 **21%**에서 **71%**로 상승했습니다.
- 저자 이름 발견율이 **23%**에서 **60%**로 상승했습니다.
- 전반적인 추출 품질이 거의 두 배로 향상되었습니다 (점수가 0.36에서 0.72로 상승).

5. 결론

논문은 이 문제를 해결하기 위해 단순히 표준 도구의 설정을 "조정"하는 것만으로는 부족하며, 법학 및 인문학 각주의 복잡한 현실에 특화되어 훈련된 도구가 필요하다고 결론짓습니다.

FOSSIL은 이제 하나의 디딤돌입니다. 이는 적절한 데이터와 특화된 워크플로우가 있다면 컴퓨터가 마침 finally 이 복잡한 각주들을 정확하게 읽기 시작할 수 있음을 증명합니다. 저자들은 이를 더 많은 언어로 확장하고, "주석 5 참조"를 원래의 주석 5와 자동으로 연결하는 것과 같은 더 어려운 문제들을 다룰 계획입니다.

요약하자면, 그들은 학술적 각주의 진흙 속에 묻혀 있던 인용구들을 파내기 위해 더 나은 삽과 지도를 만든 것입니다.

기술 요약: FOSSIL – 법학 및 인문학 분야의 참조 추출을 위한 데이터셋 및 워크플로우

문제 제기
인용 추출에 관한 연구는 광범위하게 이루어져 왔으나, 기존 모델들은 주로 자연과학 분야에서 전형적으로 나타나는 문서 끝부분의 구조화된 참고문헌(bibliographies)에 최적화되어 있다. 이와 대조적으로, 법학과 인문학의 학술 연구는 각주를 활용하여 서술적 논평, 해설, 상호 참조와 함께 서지 데이터를 삽입하는 데 크게 의존한다. 이러한 혼재된 구조는 매우 이질적인 콘텐츠를 생성하며, 이는 표준적인 패턴 기반 파싱(parsing)을 어렵게 만든다. 거대언어모델(LLM)은 이러한 비구조화된 데이터를 처리하는 데 유망함을 보여주지만, 폐쇄형 모델은 재현성 문제와 인프라 의존성 문제를 겪으며, 오픈 웨이트(open-weight) 대안 모델들은 상당한 하드웨어 자원을 요구한다. 또한, 사회과학 및 인문학(SSH) 문헌을 위한 전문적인 골드 스탠더드(gold-standard) 데이터셋이 부족하여, LLM 기반 접근 방식의 평가와 고전적인 지도 학습 기반 시퀀스 레이블러(sequence labeller)의 훈련 모두에 어려움을 겪고 있다.

방법론
저자들은 PDF 논문을 구조화된 TEI-XML로 파싱하기 위해 일련의 특화된 머신러닝 모델 캐스케이드(cascade)를 사용하는 Grobid 아키텍처에 기반한 워크플로우를 제안한다. 본 방법론은 네 가지 통합된 구성 요소로 이루어진다:

주석 도구 (PDF-TEI Editor): 반복적이고 협업적인 주석 작업을 지원하는 오픈 소스 웹 기반 애플리케이션이다. 동기화된 듀얼 패널 PDF/XML 뷰, 내장된 TEI 스키마 검증, 역할 기반 액세스 제어, 그리고 추출 백엔드(현재 Grobid 및 LLaMore)를 통합할 수 있는 플러그인 아키텍처를 특징으로 한다.
주석 워크플로우: 7명의 주석가(시니어 연구자 및 디지털 인문학 전공 학생 포함)로 구성된 팀이 참여하는 5단계 프로세스이다. 워크플로우는 최신 Grobid 모델을 이용한 사전 주석(pre-annotation) 단계부터 수정, 검증, 시니어 검증, 그리고 살아있는 주석 가이드(living annotation guide)로의 피드백 통합 단계로 진행된다. 이 과정에서는 96개의 문서에 대해 194회의 쌍별 비교(pairwise comparisons)를 수행하였으며, 평균 크리펜도르스 알파( $\alpha$ ) 값 0.917을 달ai하였다.
데이터셋 구축 (FOSSIL): 연구팀은 FOSSIL(Footnote-based Open-access SSH Scientific Instance Labels)을 구축하였다. 이는 법학, 인문학, 역사학 및 사회과학 분야의 38개 저널에서 추출한 96개의 학술 논문으로 구성된 개방형 라이선스 다국어 데이터셋(1959–2025)이다. 코퍼스에는 약 2,400개의 각주 블록(서술적 블록 약 500개, 서지적 블록 약 1,900개)이 포함되어 있으며, 여기에는 7,600개 이상의 개별 참조가 들어 있다. 주석은 Grobid 캐스케이드와 정렬된 세 가지 레이어(논문 분절, 참조 분절, 인용 파싱)로 조직된다.
모델 특화: 저자들은 표준 캐스케이드의 나머지 파이프라인을 재사용하면서, (논문 분절부터 시작하여) 모델을 점진적으로 교체하는 Grobid의 특화된 "flavor"를 구현하였다. 이러한 설계는 특정 구성 요소에 대한 표적 평가를 가능하게 한다.

주요 기여
본 논문은 네 가지 주요 기여를 제시한다:

PDF-TEI Editor: 협업형 TEI-XML 주석을 위한 프로덕션 준비 단계의 오픈 소스 웹 도구.
문서화된 워크플로우: 에디터와 Grobid를 통합하여 다역할 팀에 의해 실행되는 재현 가능한 주석 프로토콜.
FOSSIL 데이터셋: 다양한 언어(영어, 포르투갈어, 이탈리아어, 독일어)와 인용 양식을 아우르는, 법학 연구를 위해 설계된 최초의 개방형 라이선스 대규모 리소스.
Grobid 특화: 각주가 많은 문서를 위해 Grobid의 도메인 특화 적응을 입증한 개념 증명(proof-of-concept) 베이스라인.

결과
저자들은 5-겹 교차 검증(5-fold cross-validation)과 4개의 학술 논문에 대한 엔드 투 엔드(end-to-end) 테스트를 사용하여 특화된 파이프라인을 기본 Grobid 설정과 비교 평가하였다.

논문 분절 (Article Segmentation): 특화된 모델은 전체 F1 점수 81.08(정밀도: 82.91, 재현율: 79.41)을 달성하였다. <body> (86.85)와 <page> (90.12)에 대해서는 강력한 성능을 보였으나, 물리적 페이지 공간의 중첩으로 인해 분류 모호성이 발생하는 <footnote> (54.95)와 <front> (34.54)에서는 낮은 성능을 보였다.
엔드 투 엔드 추출: 기본 Grobid 모델은 주요 필드(저자 성, 저널 제목, 발행 연도)에 대해 높은 정밀도(0.89–0.94)를 보였으나, 매우 낮은 재현율(0.21–0.27)을 기록하여 F1 점수가 0.35에서 0.42 사이로 나타났다. 이는 각주 기반 인용 양식과의 근본적인 불일치를 나타낸다.
특화된 성능: 특화된 "footnotes-ref" flavor는 이러한 불균형을 실질적으로 교정하였다. 모든 필드에서 재현율이 크게 개선되었으며(예: 저자 성 재현율 0.23에서 0.60으로 상승, 발행 연도 0.21에서 0.71로 상승), 정밀도는 수용 가능한 수준을 유지하였다. 결과적으로 마이크로 평균 F1 점수는 0.36에서 0.72로 거의 두 배 가까이 상승하였다. 가장 큰 폭의 향상은 발행 연도 추출(F1 0.35 $\rightarrow$ 0.80)에서 관찰되었는데, 이는 가변적인 날짜 표기법과 약어 형식을 더 잘 처리했기 때문으로 분석된다.

의의 및 주장
본 논문은 FOSSIL이 법학 연구 및 각주 중심의 인용 관행을 위해 특별히 설계된 규모의 최초의 개방형 라이선스 리소스라고 주장한다. 평가는 Grobid의 시퀀스 레이블링 모델을 도메인 특화함으로써 인용 파싱을 실질적으로 개선할 수 있음을 확인시켜 주었으며, 이는 기존 도구들의 주요 실패 지점인 극도로 낮은 재현율 문제를 해결한다.

저자들은 표준 모델의 낮은 재현율이 사후 처리(post-processing)만으로는 해결될 수 없으며, 따라서 본 논문에서 제시된 데이터셋과 워크플론의 기여가 필수적이라고 단언한다. 특화된 모델이 상당한 성과를 보여주었으나, 저자들은 특히 상호 참조 해결(cross-reference resolution) 및 혼합 콘텐츠 각주와 관련하여 여전히 상당한 "여지(headroom)"가 남아 있음을 겸허히 언급하였다. 향도 작업으로는 데이터셋을 추가 언어 및 법적 전통으로 확장하고, 상호 참조 해결을 다루며, LLM의 LoRA 기반 미세 조정(fine-tuning) 및 엔드 투 엔드 신경망 아키텍처를 탐구하는 것이 제안되었다.