Benchmarking Large Language Models on Reference Extraction and Parsing in the Social Sciences and Humanities

논문 개요: 사회과학 및 인문학 (SSH) 분야에서의 대규모 언어 모델 (LLM) 기반 참고문헌 추출 및 파싱 벤치마킹

이 논문은 사회과학 및 인문학 (SSH) 분야의 학술 문헌에서 참고문헌 (Bibliographic Reference) 을 추출하고 구조화하는 작업에 있어 기존 시스템의 한계를 지적하고, 최신 대규모 언어 모델 (LLM) 의 성능을 평가한 벤치마킹 연구를 제시합니다.

1. 문제 정의 (Problem)

• 기존 평가의 한계: 기존의 참고문헌 추출 및 파싱 평가는 주로 영어로 된, 문서 말미에 깔끔하게 정리된 참고문헌 목록에 집중되어 있습니다. 이는 SSH 분야의 실제 환경을 제대로 반영하지 못합니다.
• SSH 의 복잡성: SSH 문헌에서는 다음과 같은 특성으로 인해 처리가 매우 어렵습니다.
  • 다국어성: 문서 내 여러 언어가 혼용됨.
  • 주석 (Footnote) 의존: 참고문헌이 본문 말미가 아닌 주석에 위치하는 경우가 많음.
  • 이질적인 형식: 역사적 관습, 약어, 생략, 다양한 스타일 가이드에 따른 불규칙한 형식.
• 기술적 장벽: 이러한 환경은 참고문헌의 범위 탐지 (Extraction) 와 구조화된 필드 (저자, 제목, 출판연도 등) 추출 (Parsing) 모두에서 기존 Supervised 모델의 성능 저하를 초래합니다.

2. 방법론 (Methodology)

2.1. 벤치마크 데이터셋 (Datasets)
SSH 의 실제 상황을 반영하기 위해 세 가지 상보적인 데이터셋을 통합하여 평가했습니다.

• CEX: 27 개 학문 분야에 걸친 영어 학술지 논문 (1,581 페이지, 5,160 개 참고문헌). 통제된 환경의 기준선으로 사용.
• EXCITE: 독일어 및 영어 사회과학 논문 (351 개 문서, 10,171 개 참고문헌). 문말 참고문헌, 주석 전용, 혼합 형식 등 다양한 레이아웃과 독일어 특유의 약어 (Ebd., a.a.O.) 를 포함.
• LinkedBooks: 인문학 (베네치아 역사학) 중심의 데이터. 다국어 (이탈리아어 72.3%, 영어 18.3% 등) 와 다양한 스타일, 1 차/2 차 자료 혼합 등 높은 변이성을 가짐.

2.2. 평가 과제 (Tasks)
점진적으로 난이도가 높은 세 가지 과제를 수행했습니다.

1. 참고문헌 추출 (Reference Extraction): 문서 내에서 참고문헌의 범위를 탐지하여 텍스트로 분리 (구조화 전).
2. 참고문헌 파싱 (Reference Parsing): 추출된 문자열을 구조화된 JSON (저자, 제목, 연도 등) 으로 변환.
3. 종단간 문서 파싱 (End-to-end Document Parsing): 원본 PDF/텍스트에서 추출과 파싱을 모두 수행하여 구조화된 레코드 생성.

2.3. 비교 대상 시스템 (Systems)

• Baseline: GROBID (기존의 강력한 Supervised Pipeline).
• LLMs: DeepSeek-V3.1, Mistral-Small-3.2-24B, Gemma-3-27B-it, Qwen3-VL (4B~32B 변형).
• 평가 방식: 모든 LLM 이 엄격한 JSON 스키마를 준수하도록 프롬프트를 구성하고, GROBID 출력도 동일한 스키마로 매핑하여 비교했습니다.

2.4. 성능 향상 전략

• LoRA (Low-Rank Adaptation): SSH 특유의 파싱 스타일에 맞춰 경량 파라미터 미세조정 수행.
• 세그멘테이션 (Segmentation): 긴 문서를 페이지 단위나 의미 단위로 분할하여 처리하는 파이프라인 전략 적용.

3. 주요 결과 (Key Results)

3.1. 오프더셸 (Off-the-shelf) LLM vs. GROBID

• 추출 (Extraction): 모델 용량이 일정 수준 이상이면 LLM 들은 거의 완벽한 성능을 보임. 추출 자체는 LLM 이 매우 안정적임.
• 파싱 (Parsing) 및 종단간 (End-to-End):
  • CEX (영어, 통제된 환경): GROBID 가 여전히 우세함 (훈련 데이터와의 분포 일치).
  • EXCITE & LinkedBooks (다국어, 주석, 복잡한 레이아웃): LLM 들이 GROBID 를 능가하거나 동등한 성능을 보임. 특히 DeepSeek-V3.1과 Qwen3-VL-32B가 다국어 및 주석 기반 레이아웃에서 뛰어난 강건성 (Robustness) 을 입증.
  • GROBID 의 취약점: 언어가 영어를 벗어나거나 주석이 많은 경우 성능이 급격히 저하됨.

3.2. 모델 크기 및 아키텍처 영향

• 추출 작업에서는 모델 크기의 영향이 적으나, 구조화된 출력 (JSON) 을 생성하는 파싱 작업에서는 모델 크기가 중요함.
• 작은 모델 (예: Qwen3-VL-4B) 은 긴 문맥에서 JSON 파싱 오류 (Structural errors) 가 빈번하게 발생했으나, 대형 모델 (32B 이상) 은 이를 극복함.

3.3. LoRA 미세조정 효과

• SSH 특화 데이터 (약 1,800 개) 로 LoRA 를 적용한 결과, 모든 데이터셋에서 성능이 향상됨.
• 특히 LinkedBooks와 같은 SSH 중심 데이터셋에서 미세조정된 모델은 베이스 모델 대비 약 10% 이상의 F1 점수 향상을 보임.
• LoRA 는 다국어 및 다양한 스타일에 대한 적응력을 크게 높여줌.

3.4. 세그멘테이션 전략

• 단일 호출 (Single-call): 긴 문서 처리 시 JSON 출력 오류 발생률이 높음.
• 적응형 파이프라인 (Adaptive Pipeline): 문서 추출 후 파싱을 분리하거나 페이지 단위로 분할하는 방식이 종단간 성능을 가장 크게 향상시킴. 오류를 국소화하고 구조화된 출력의 안정성을 확보함.

4. 핵심 기여 (Key Contributions)

1. SSH 특화 통합 벤치마크: CEX, EXCITE, LinkedBooks 를 아우르는 최초의 통합 벤치마크를 구축하여, 다국어, 주석, 이질적 형식을 가진 SSH 문헌 처리를 평가할 수 있는 표준을 제시함.
2. GROBID 대 LLM 비교 분석: SSH 환경에서 LLM 이 기존 Supervised 모델 (GROBID) 보다 분포 변화 (Distribution Shift) 에 더 강건함을 실증적으로 입증.
3. 실용적 개선 전략 검증: LoRA 미세조정과 세그멘테이션/파이프라이닝이 SSH 처리의 견고성과 실용성을 어떻게 높이는지 정량화함.
4. 하이브리드 배포 가이드라인: 효율성과 신뢰성을 균형 있게 맞추기 위한 라우팅 (Routing) 전략 제안.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 SSH 분야의 디지털화 및 인용 색인 구축을 위한 핵심 기술적 장벽을 해결하는 데 중요한 통찰을 제공합니다.

• 하이브리드 접근법의 필요성: 모든 문서를 하나의 모델로 처리하는 것보다, **라우팅 (Routing)**을 통해 구조화된 영어 문서는 빠른 GROBID 로, 다국어나 복잡한 주석이 포함된 문서는 적응된 LLM 으로 분산 처리하는 것이 최적의 전략임을 제안합니다.
• SSH 의 특수성 대응: LLM 은 학습 데이터의 편향 없이도 다양한 역사적 스타일과 다국어 환경에 대한 일반화 능력이 뛰어나 SSH 데이터 처리에 특히 적합합니다.
• 미래 방향: LoRA 를 참고문헌 파싱뿐만 아니라 레이아웃 분석, 추출 등 전체 파이프라인에 적용하여 SSH 특유의 불규칙성에 대한 내성을 더욱 강화할 것을 제안합니다.

결론적으로, 이 논문은 LLM 이 SSH 학문 분야의 인용 처리 인프라를 구축하는 데 있어 기존 시스템을 대체하거나 보완할 수 있는 강력한 대안이 될 수 있음을 보여주며, 이를 위한 구체적인 기술적 로드맵을 제시합니다.