Benchmarking Large Language Models on Reference Extraction and Parsing in the Social Sciences and Humanities

Probleemstelling

Het referentie-extractie- en parsingsysteem is fundamenteel voor citatie-indexering en het bouwen van wetenschappelijke kennisgrafieken. Bestaande evaluaties en benchmarks zijn echter sterk vertekend: ze richten zich voornamelijk op schone, Engelstalige bibliografieën aan het einde van documenten. Dit ondervertegenwoordigt de Sociale Wetenschappen en Geesteswetenschappen (SSH), waar citaties vaak:

• Meertalig zijn.
• In voetnoten voorkomen (in plaats van alleen in een bibliografie).
• Gebruiken van afkortingen en ellipsen.
• Volgen van heterogene historische conventies die variëren per periode, venue en nationale traditie.

Deze kenmerken maken het extraheren (detecteren van referentiestrings) en parsen (herstellen van gestructureerde velden zoals auteur, titel, jaar) extreem fragiel. Daarnaast bestaat er een evaluatiekloof: bestaande datasets missen vaak de complexiteit van real-world SSH-documenten (zoals PDF's met complexe lay-outs), waardoor de prestaties van systemen in de praktijk worden overschat.

Methodologie

De auteurs introduceren een unificerend benchmarkkader dat is ontworpen voor SSH-realistische omstandigheden.

1. Dataset:
Drie complementaire datasets worden gebruikt:

• CEX: Engelstalige journalartikelen uit 27 disciplines (gecontroleerde omgeving).
• EXCITE: Voornamelijk Duitse en Engelse documenten met een mix van citatie-regimes (einde-sectie, alleen voetnoten, en gemengd).
• LinkedBooks: Een humanities-dataset met sterke stilistische variatie en meertaligheid (voornamelijk Italiaans en Engels), met referenties uit voetnoten en bibliografieën.

2. Taken:
Drie taken van toenemende complexiteit worden geëvalueerd:

• Referentie-extractie: Detectie en delimitatie van referentiestrings in de tekst.
• Referentie-parsing: Het converteren van een string naar gestructureerde JSON-data (auteur, titel, etc.).
• End-to-end document parsing: Het uitvoeren van extractie én parsing direct vanuit het ruwe PDF-bestand.

3. Systemen:

• Baseline: GROBID, een sterke supervised pipeline (Deep Learning sequence labelling), die de standaard is voor PDF-naar-TEI conversie.
• LLMs: Een reeks moderne Large Language Models, waaronder DeepSeek-V3.1, Mistral-Small-3.2-24B, Gemma-3-27B-it en de Qwen3-VL-familie (variërend van 4B tot 32B parameters).
• Evaluatieprotocol: Alle LLMs moeten strikte JSON-output genereren volgens een vast schema. De evaluatie gebruikt fuzzy matching (Levenshtein) voor string-overeenkomst en micro/macro-F1 scores voor veldniveaubewerking.

4. Verbeterstrategieën:

• LoRA (Low-Rank Adaptation): Parameter-efficiënt fine-tuning van lokale LLMs op een kleine SSH-supervisie-set (1.832 instances) om de prestaties te verhogen.
• Segmentatie-strategieën: Vergelijking van "single-call" (hele document) versus "adaptive pipeline" (pagina-gebaseerde segmentatie en extractie-vóór-parsing) om de robuustheid te testen.

Belangrijkste Bijdragen

1. Unificerend SSH-benchmark: Een nieuw framework dat extractie, parsing en end-to-end parsing evalueert over drie diverse datasets met een gedeeld schema, specifiek gericht op de uitdagingen van SSH-literatuur.
2. Vergelijking Supervised vs. LLM: Een transparante, zij-aan-zij vergelijking tussen GROBID en moderne LLMs, waarbij wordt aangetoond waar LLMs concurrerend of superieur zijn onder distributieveranderingen (meertaligheid, voetnoten).
3. Kwantificering van Praktische Levers: Het meten van de impact van LoRA-adaptatie en documentsegmentatie, wat leidt tot consistente verbeteringen in robuustheid.
4. Hybride Deploymentsadvies: Een actiegericht advies voor het implementeren van een "routing"-systeem dat de snelheid van traditionele systemen combineert met de flexibiliteit van LLMs.

Resultaten

• Extraheren vs. Parsen:
  • Extraheren: LLMs satureren snel; zodra ze een bepaalde capaciteit hebben, is span-detectie zeer betrouwbaar (F1 > 0.90). Het verschil tussen modellen is hier klein.
  • Parsen & End-to-end: Dit blijft de bottleneck. Hier presteren LLMs beter dan GROBID op SSH-datasets (EXCITE, LinkedBooks), vooral bij meertaligheid en voetnoten. GROBID presteert het beste op CEX (in-distribution Engels), maar degradeert sterk bij distributieveranderingen.
• Modelgrootte en Architectuur: Na een bepaalde drempel heeft modelgrootte minder invloed op extractie, maar is het cruciaal voor het behoud van gestructureerde output bij lange, ruisige inputs. Grotere modellen (bijv. Qwen32B, DeepSeek) zijn robuuster dan kleinere varianten (Qwen4B), hoewel architectuur en instructie-tuning ook een grote rol spelen.
• LoRA Effect: LoRA-finetuning levert consistente winsten op, met name op SSH-datasets. Op LinkedBooks resulteerde dit in een stijging van ongeveer 10% in Micro-F1. Het gebruik van een "training-style" prompt (korter) werkt goed na fine-tuning, maar voor zeer variabele humanities-referenties blijven gedetailleerde few-shot prompts soms nuttiger.
• Segmentatie: Voor end-to-end parsing is segmentatie cruciaal. Een tweestaps-pipeline (eerst extraheren per pagina, dan parsen) presteert aanzienlijk beter dan een "single-call" aanpak, omdat het de kans op fouten in lange JSON-outputs verkleint.
• Foutanalyse: De meest voorkomende fouten zijn "minor errors" (veldverzuim of lokale formatting) in plaats van structurele fouten. GROBID faalt echter vaker bij complexe voetnotestructuren dan LLMs.

Betekenis en Conclusie

Het paper concludeert dat er geen "one-size-fits-all" oplossing is voor SSH-citatieverwerking. De meest pragmatische aanpak is een hybride deployment via routing:

1. Gebruik GROBID voor goed gestructureerde, Engelstalige PDF's met bibliografieën aan het einde (snel en betrouwbaar).
2. Routeer documenten met risicofactoren (meertaligheid, voetnoten, complexe lay-outs) naar task-geadaptede LLMs (bij voorkeur met LoRA en segmentatie).

Deze aanpak maximaliseert zowel doorvoer als betrouwbaarheid in grote SSH-collecties. De resultaten onderstrepen dat LLMs, vooral wanneer ze zijn aangepast, superieure generalisatie bieden voor de complexe en heterogene wereld van de sociale en geesteswetenschappen, waar traditionele systemen vaak falen.