💻 computer science

Digging Up Citations: FOSSIL, a Dataset and Workflow for Reference Extraction in Law and the Humanities

Dit artikel introduceert FOSSIL, een meertalige dataset en een bijbehorende workflow die ontworpen zijn om de extractie van voetnoot-gebaseerde citaties in juridische en geesteswetenschappelijke wetenschap te verbeteren, waarbij wordt aangetoond dat een gespecialiseerde pijplijn de extractiekwaliteit bijna verdubbelt ten opzien van standaardtools, terwijl tegelijkertijd de resterende uitdagingen bij het verwerken van kruisverwijzingen en voetnoten met gemengde inhoud worden belicht.

Oorspronkelijke auteurs: Luca Foppiano, Christian Boulanger

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Luca Foppiano, Christian Boulanger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek probeert te organiseren. In de Natuurwetenschappen (zoals biologie of natuurkunde) hebben boeken een zeer nette, voorspelbare structuur: het hoofdverhaal zit in de hoofdstukken, en alle "bronvermeldingen" zijn weggestopt in een overzichtelijke, genummerde lijst helemaal achterin. Het is als een recept waarbij de ingrediënten apart van de bereidingsinstructies worden vermeld. Computers zijn erg goed in het lezen van deze recepten.

In de Rechtswetenschappen en de Geesteswetenschappen (geschiedenis, filosofie, literatuur) zijn de "bronvermeldingen" echter rommelig. Ze zitten begraven in de tekst zelf, vaak in de onderste marges (voetnoten), vermengd met de persoonlijke gedachten, verduidelijkingen en kruisverwijzingen van de auteur. Het is als een recept waarbij de ingrediënten in de zinnen verborgen zitten, zoals: "Voeg twee koppen bloem toe (die ik op dinsdag op de markt heb gekocht, zie pagina 4) terwijl je roert."

Dit artikel, getiteld "Digging Up Citations: FOSSIL," gaat over het bouwen van een betere manier om die verborgen ingrediënten in boeken uit de Rechten en de Geesteswetenschappen op te sporen.

Hier is de onderverdeling van wat ze hebben gedaan, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Black Box" en de "Rommelige Kelder"

De auteurs leggen uit dat bestaande computerprogramma's (modellen) zijn getraind op de nette "Natuurwetenschappelijke" stijl. Wanneer ze proberen de voetnoten van de Rechten en de Geesteswetenschappen te lezen, raken ze in de war omdat de data door elkaar staat.

Ze merken ook op dat krachtige AI-tools (zoals grote commerciële chatbots) dit soms wel kunnen ontrafelen, maar dat ze riskant zijn. Ze zijn als het huren van een hypermoderne graafmachine van een bedrijf dat morgen failliet kan gaan, waarbij ze je data met zich mee nemen. De auteurs wilden een tool die open is, gratis is en voor altijd bij hen blijft.

2. De Oplossing: Het "FOSSIL"-project

Het team heeft een complete toolkit ontwikkeld om deze citaties op te graven. Ze noemen de dataset FOSSIL (Footnote-based Open-access SSH Scientific Instance Labels). Denk aan dit als een enorme, georganiseerde collectie "voor en na" voorbeelden die computers leren hoe ze rommelige voetnoten moeten lezen.

Ze hebben vier hoofdzaken gebouwd:

Een Digitale Werkbank (PDF-TEI Editor): Een webtool waarmee mensen en computers zij aan zij kunnen werken. Het toont de originele PDF aan de ene kant en de gestructureerde data aan de andere kant, waardoor mensen fouten kunnen herstellen en de computer kunnen leren waar hij naar moet zoeken.
Een Trainingshandleiding (De Workflow): Een stapsgewijze handleiding over hoe een team van zeven mensen (inclusen experts en studenten) de data heeft schoongemaakt en gelabeld.
De Schatkist (De Dataset): Ze hebben 96 academische artikelen verzameld uit de rechten, geschiedenis en sociale wetenschappen. Deze artikelen bevatten meer dan 7.600 referenties die verborgen zitten in voetnoten. Cruciaal is dat deze data onder een "open licentie" valt, wat betekent dat iedereen het kan gebruiken zonder juridische problemen.
Een Gespecialiseerde Motor (Grobid Specialisatie): Ze hebben een bestaande open-source tool genaamd Grobid (die als een standaard bibliotheekscanner werkt) genomen en deze voorzien van een "gespecialiseerde lens" om zich specifelijk te concentreren op de rommelige voetnoten van de Rechten en de Geesteswetenschappen.

3. De Uitdaging: Waarom is dit zo moeilijk?

Het artikel legt uit dat voetnoten in deze vakgebieden lastig zijn omdat ze vijf verschillende dingen tegelijk doen:

Alleen een opmerking (geen citatie).
Een biografie over de auteur.
Een schone lijst van boeken.
Een "zie ook"-notitie die naar een eerdere voetnoot verwijst (zoals "Zie voetnoot 5").
Een chaotische mix van al het bovenstaande.

Het is alsof je probeert een stapel post te sorteren waarbij sommige enveloppen brieven bevatten, sommige cheques, sommige foto's, en sommige een mix van alle drie, en dat allemaal in verschillende talen en handschriften.

4. De Resultaten: Van "Ontbrekend" naar "Gevonden"

Het team heeft hun nieuwe gespecialiseerde motor getest tegenover de oude, standaardversie.

De Oude Manier: De standaardtool was erg kieskeurig. Hij was bijna perfect in het identificeren van een referentie als hij er een vond (hoge precisie), maar hij miste 70-80% van de werkelijke referenties omdat ze er niet uitzagen als standaard wetenschappelijke citaties (lage recall). Het was als een metaaldetector die alleen piept voor gouden munten, maar zilveren munten negeert.
De Nieuwe Manier: De gespecialiseerde "FOSSIL"-versie vond twee keer zoveel referenties.
- Het ging van het vinden van slechts 21% van de publicatiedatums naar het vinden van 71%.
- Het ging van het vinden van 23% van de auteursnamen naar het vinden van 60%.
- Over het algal was de kwaliteit van de extractie bijna verdubbeld (de score ging van 0,36 naar 0,72).

5. De Conclusie

Het artikel concludeert dat je niet zomaar de instellingen van een standaardtool kunt "tweakken" om dit probleem op te lossen; je hebt een tool nodig die specifiek is getraind op de rommelige realiteit van voetnoten in de Rechten en de Geesteswetenschappen.

FOSSIL is nu een opstapje. Het bewijst dat je met de juiste data en een gespecialiseerde workflow computers eindelijk accuraat de complexe voetnoten kunnen laten lezen. De auteurs zijn van plan dit uit te breiden naar meer talen en nog moeilijkere problemen aan te pakken, zoals het automatisch koppelen van "Zie voetnoot 5" terug naar de oorspronkelijke voetnoot 5.

Kortom: Ze hebben een betere schep en een kaart gebouwd om citaties op te graven die voorheen begraven lagen in de modder van academische voetnoten.

Technische Samenvatting: FOSSIL – Een Dataset en Workflow voor Referentie-extractie in de Rechtswetenschap en de Geesteswetenschappen

Probleemstelling
Citatie-extractie is uitgebreid onderzocht, maar bestaande modellen zijn voornamelijk geoptimaliseerd voor de gestructureerde, aan het einde van het document staande bibliografieën die typerend zijn voor de natuurwetenschappen. In tegen plaatsen leunen wetenschappelijke publicaties in de rechtswetenschap en de geesteswetenschappen zwaar op voetnoten om bibliografische gegevens te verweven met commentaar, verduidelijkingen en kruisverwijzingen. Deze verweving creëert hoogst heterogene inhoud die weerstand biedt aan standaard patroongebaseerde parsing. Hoewel Large Language Models (LLM's) veelbelovend zijn voor het afhandelen van dergelijke ongestructureerde data, lijden gesloten modellen aan reproduceerbaarheidsproblemen en infrastructurele afhankelijkheden, terwijl open-weight alternatieven aanzienlijke hardwarebronnen vereisen. Bov�elijk ontbreekt het het vakgebied aan gespecialiseerde, "gold-standard" datasets voor literatuur in de sociale wetenschappen en geesteswetenschappen (SSH), wat zowel de evaluatie van LLM-gebaseerde benaderingen als de training van klassieke gesuperviseerde sequentie-labelers belemmert.

Methodologie
De auteurs stellen een workflow voor die geworteld is in de Grobid-architectuur, die gebruikmaakt van een cascade van gespecialiseerde machine learning-modellen om PDF-artikelen te parsen naar gestructureerde TEI-XML. De methodologie bestaat uit vier geïntegreerde componenten:

Annotatietool (PDF-TEI Editor): Een open-source, webgebaseerde applicatie die iteratieve, collaboratieve annotatie ondersteunt. Het beschikt over een gesynchroniseerd dual-pane PDF/XML-weergave, ingebouwde TEI-schemavalidatie, role-based access control en een plugin-architectuur voor de integratie van extractie-backends (momenteel Grobid en LLaMore).
Annotatieworkflow: Een proces in vijf fasen met een team van zeven annotatoren (inclusief senior onderzoekers en studenten Digital Humanities). De workflow beweegt van pre-annotatie met het nieuwste Grobid-model naar correctie, verificatie, senior validatie en feedbackintegratie in een levende annotatiegids. Het proces maakte gebruik van 194 paarvergelijkingen op 96 documenten, waarbij een gemiddelde Krippendorff's $\alpha$ van 0,917 werd bereikt.
Datasetconstructie (FOSSIL): Het team heeft FOSSIL (Footnote-based Open-access SSH Scientific Instance Labels) geconstrueerd, een open gelicenseerde, meertalige dataset bestaande uit 96 wetenschappelijke artikelen uit 38 tijdschriften in de rechtswetenschap, geesteswetenschappen, geschiedenis en sociale wetenschappen (1959–2025). De corpus bevat ongeveer 2.400 voetnootblokken (circa 500 discursieve en 1.900 bibliografische) met daarin meer dan 7.600 individuele referenties. Annotaties zijn georganiseerd in drie lagen, in lijn met de Grobid-cascade: artikelsegmentatie, referentiesegmentatie en citatieparsing.
Model-specialisatie: De auteurs hebben een gespecialiseerde "flavor" van Grobid geïmplementeerd die modellen in de standaard cascade stapsgewijs vervangt (beginnend met artikelsegmentatie), terwijl de rest van de pipeline wordt hergebruikt. Dit ontwerp maakt gerichte evaluatie van specifieke componenten mogelijk.

Belangrijkste Bijdragen
Het artikel presenteert vier primaire bijdragen:

PDF-TEI Editor: Een productie-waardige, open-source webtool voor collaboratieve TEI-XML annotatie.
Gedocumenteerde Workflow: Een reproduceerbaar annotatieprotocol dat de editor en Grobid integreert, uitgevoerd door een team met meerdere rollen.
FOSSIL Dataset: De eerste open gelicenseerde resource van dit type voor juridische wetenschap, die meerdere talen (Engels, Portugees, Italiaans, Duits) en citatiestijlen beslaat.
Grobid Specialisatie: Een proof-of-concept baseline die een domeinspecifieke adaptatie van Grobid demonstreert voor voetnoot-rijke documenten.

Resultaten
De auteurs hebben de gespecialiseerde pipeline geëvalueerd tegenover de standaard Grobid-configuratie met behulp van 5-voudige cross-validatie en end-to-end testen op vier wetenschappelijke artikelen.

Artikelsegmentatie: Het gespecialiseerde model behaalde een algemene F1-score van 81,08 (Precisie: 82,91, Recall: 79,41). De prestaties waren sterk voor <body> (86,85) en <page> (90,12), maar lager voor <footnote> (54,95) en <front> (34,54), waar overlap in fysieke paginaruimte inherente classificatie-ambiguïteit creëert.
End-to-End Extractie: Het standaard Grobid-model vertoonde een hoge precisie (0,89–0,94) maar een extreem lage recall (0,21–0,27) voor cruciale velden (achternaam auteur, titel tijdschrift, publicatiedatum), wat resulteerde in F1-scores tussen 0,35 en 0,42. Dit duidde op een fundamentele mismatch met voetnoot-gebaseerde citatiestijlen.
Gespecialiseerde Prestaties: De gespecialiseerde "footnotes-ref" flavor heeft deze onbalans aanzienlijk gecorrigeerd. De recall verbeterde aanzienlijk over alle velden (bijv. de recall van de achternaam van de auteur steeg van 0,23 naar 0,60; de publicatiedatum van 0,21 naar 0,71), terwijl de precisie acceptabel bleef. Bijgevolg is de micro-gemiddelde F1-score bijna verdubbeld, van 0,36 naar 0,72. De meest significante winst werd waargenomen bij de extractie van de publicatiedatum (F1 0,35 $\rightarrow$ 0,80), toe te schrijven aan een betere afhandeling van variabele datumconventies en afgekortte formaten.

Betekenis en Claims
Het artikel claimt dat FOSSIL de eerste open gelicenseerde resource van deze omvang is die specifiek is ontworpen voor juridische wetenschap en voetnoot-rijke citatiepraktijken. De evaluatie bevestigt dat domeinspecifieke specialisatie van de sequentie-labeling modellen van Grobid de citatie-parsing voor recht en geesteswetenschappen substantieel verbetert, waarbij het primaire faalmechanisme van bestaande tools wordt aangepakt: extreem lage recall.

De auteurs stellen dat de lage recall van standaardmodellen niet enkel door post-processing kan worden opgelost, wat de noodzaak voor de gepresenteerde dataset en workflow rechtvaardigt. Hoewel het gespecialiseerde model substantiële winsten laat zien, merkt het artikel bescheiden op dat er nog steeds aanzienlijke "headroom" is, met name wat betreft kruisverwijzingsresolutie en gemengde inhoud in voetnoten. Toekomstig werk wordt voorgesteld om de dataset uit te breiden naar aanvullende talen en juridische tradities, kruisverwijzingsresolutie aan te pakken en LoRA-gebaseerde fine-tuning van LLM's en end-to-end neurale architecturen te verkennen.