💻 computer science

Digging Up Citations: FOSSIL, a Dataset and Workflow for Reference Extraction in Law and the Humanities

Dieses Paper stellt FOSSIL vor, einen mehrsprachigen Datensatz und den dazugehörigen Workflow, der darauf ausgelegt ist, die Extraktion von fußnotenbasierten Zitaten in den Rechts- und Geisteswissenschaften zu verbessern, wobei demonstriert wird, dass eine spezialisierte Pipeline die Extraktionsqualität im Vergleich zu Standardwerkzeugen nahezu verdoppelt, während gleichzeitig bestehende Herausforderungen beim Umgang mit Querverweisen und gemischten Inhalten in Fußnoten hervorgehoben werden.

Ursprüngliche Autoren: Luca Foppiano, Christian Boulanger

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Luca Foppiano, Christian Boulanger

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine riesige Bibliothek zu organisieren. In den Naturwissenschaften (wie Biologie oder Physik) haben die Bücher eine sehr ordentliche, vorhersehbare Struktur: Die Hauptgeschichte befindet sich in den Kapiteln, und alle „Quellenangaben“ sind in einer sauberen, nummerierten Liste ganz am Ende verstaut. Es ist wie bei einem Rezept, bei dem die Zutaten separat von der Anleitung zum Kochen aufgeführt sind. Computer können diese Rezepte sehr gut lesen.

In den Rechts- und Geisteswissenschaften (Geschichte, Philosophie, Literaturwesen) sind die „Quellenangaben“ jedoch unordentlich. Sie sind direkt im Text vergraben, oft in den unteren Randbereichen (Fußnoten), vermischt mit den persönlichen Gedanken, Erläuterungen und Querverweisen des Autors. Es ist wie bei einem Rezept, bei dem die Zutaten mitten in den Sätzen versteckt sind, wie zum Beispiel: „Fügen Sie zwei Tassen Mehl hinzu (das ich am Dienstag auf dem Markt gekauft habe, siehe Seite 4), während Sie rühren.“

Dieses Paper mit dem Titel „Digging Up Citations: FOSSIL“ handelt davon, einen besseren Weg zu finden, um diese versteckten Zutaten in Büchern der Rechts- und Geisteswissenschaften aufzuspüren und zu organisieren.

Hier ist die Aufschlüsselung dessen, was sie getan haben, unter Verwendung einfacher Analogien:

1. Das Problem: Die „Black Box“ und der „unordentliche Keller“

Die Autoren erklären, dass bestehende Computerprogramme (Modelle) auf den ordentlichen Stil der „Naturwissenschaften“ trainiert sind. Wenn sie versuchen, die Fußnoten der Rechts- und Geisteswissenschaften zu lesen, werden sie verwirrt, weil die Daten vermischt sind.

Sie stellen auch fest, dass leistungsstarke KI-Tools (wie große kommerzielle Chatbots) dies zwar manchmal bewältigen können, aber riskant sind. Sie sind wie das Mieten eines hochmodernen Baggers von einer Firma, die morgen vielleicht pleitegeht und Ihre Daten mitnimmt. Die Autoren wollten ein Werkzeug, das offen und kostenlos ist und für immer bei ihnen bleibt.

2. Die Lösung: Das „FOSSIL“-Projekt

Das Team hat ein komplettes Toolkit entwickelt, um diese Zitate aufzugraben. Sie nennen den Datensatz FOSSIL (Footnote-based Open-access SSH Scientific Instance Labels). Betrachten Sie dies als eine massive, organisierte Sammlung von „Vorher-Nachher“-Beispielen, die Computern beibringen, wie man unordentliche Fußnoten liest.

Sie haben vier Hauptkomponenten entwickelt:

Eine digitale Werkbank (PDF-TEI Editor): Ein Web-Tool, das es Menschen und Computern ermöglicht, Hand in Hand zu arbeiten. Es zeigt auf der einen Seite das Original-PDF und auf der anderen Seite die strukturierten Daten an, sodass Menschen Fehler korrigieren und den Computer lehren können, wonach er suchen soll.
Ein Trainingshandbuch (Der Workflow): Eine Schritt-für-Schritt-Anleitung darüber, wie ein Team aus sieben Personen (einschließlich Experten und Studenten) die Daten bereinigt und etikettiert hat.
Der Schatz (Der Datensatz): Sie haben 96 akademische Artikel aus den Bereichen Recht, Geschichte und Sozialwissenschaften gesammelt. Diese Artikel enthalten über 7.600 Referenzen, die in Fußnoten verborgen sind. Entscheidend ist, dass diese Daten unter einer „Open License“ stehen, was bedeutet, dass jeder sie ohne rechtliche Probleme nutzen kann.
Eine spezialisierte Engine (Grobid Specialization): Sie haben ein bestehendes Open-Source-Tool namens Grobid (das wie ein Standard-Bibliotheksscanner funktioniert) genommen und ihm eine „spezialisierte Linse“ gegeben, damit es sich gezielt auf die unordentlichen Fußnoten der Rechts- und Geisteswissenschaften konzentrieren kann.

3. Die Herausforderung: Warum ist das so schwer?

Das Paper erklärt, dass Fußnoten in diesen Fachbereichen knifflig sind, weil sie fünf verschiedene Dinge gleichzeitig tun:

Nur ein Kommentar (keine Zitierung).
Eine biografische Notiz über den Autor.
Eine saubere Liste von Büchern.
Ein „Siehe auch“-Hinweis, der auf eine frühere Fußnote verweist (wie „Siehe Fußnote 5“).
Eine chaotische Mischung aus all dem oben Genannten.

Es ist, als würde man versuchen, einen Stapel Post zu sortieren, bei dem einige Umschläge Briefe enthalten, einige Schecks, einige Fotos und einige eine Mischung aus allem drei – und das alles in verschiedenen Sprachen und Handschriften.

4. Die Ergebnisse: Von „Fehlend“ zu „Gefunden“

Das Team hat ihre neue spezialisierte Engine gegen die alte, Standardversion getestet.

Der alte Weg: Das Standard-Tool war sehr wählerisch. Es war fast perfekt darin, eine Referenz zu identifizieren, wenn es eine fand (hohe Präzision), aber es übersah 70–80 % der tatsächlichen Referenzen, weil diese nicht wie Standard-wissenschaftliche Zitate aussah (niedrige Trefferquote/Recall). Es war wie ein Metalldetektor, der nur bei Goldmünzen piept, aber Silbermünzen ignoriert.
Der neue Weg: Die spezialisierte „FOSSIL“-Version fand doppelt so viele Referenzen.
- Sie steigerte die Fundrate von Publikationsdaten von nur 21 % auf 71 %.
- Sie steigerte die Fundrate von Autorennamen von 23 % auf 60 %.
- Insgesamt verdoppelte sich die Qualität der Extraktion nahezu (der Score stieg von 0,36 auf 0,72).

5. Das Fazrazit

Das Paper kommt zu dem Schluss, dass man nicht einfach nur die Einstellungen eines Standard-Tools „tunen“ kann, um dieses Problem zu lösen; man benötigt ein Werkzeug, das speziell auf die unordentliche Realität der Fußnoten in den Rechts- und Geisteswissenschaften trainiert wurde.

FOSSIL ist nun ein Sprungbrett. Es beweist, dass man mit den richtigen Daten und einem spezialisierten Workflow Computer endlich dazu bringen kann, diese komplexen Fußnoten präzise zu lesen. Die Autoren planen, dies auf weitere Sprachen auszuweiten und noch schwierigere Aufgaben anzugehen, wie etwa das automatische Verknüpfen von „Siehe Fußnote 5“ mit der ursprünglichen Fußnote 5.

Kurz gesagt: Sie haben einen besseren Spaten und eine Karte gebaut, um Zitate aufzugraben, die zuvor im Schlamm der akademischen Fußnoten begraben waren.

Technisches Resümee: FOSSIL – Ein Datensatz und Workflow zur Referenzextraktion in den Rechts- und Geisteswissenschaften

Problemstellung
Die Extraktion von Zitaten wurde intensiv erforscht, doch bestehende Modelle sind primär auf die strukturierten, am Ende des Dokuments stehenden Bibliografien optimiert, wie sie in den Naturwissenschaften typisch sind. Im Gegensatz dazu verlassen sich die Geisteswissenschaften und die Rechtswissenschaften stark auf Fußnoten, um bibliografische Daten zusammen mit Kommentaren, Erläuterungen und Querverweisen einzubetten. Diese Verflechtung erzeugt hochgradig heterogene Inhalte, die herkömmlichen musterbasierten Parsing-Verfahren widerstehen. Während Large Language Models (LLMs) vielversprechend für die Handhabung solcher unstrukturierten Daten sind, leiden geschlossene Modelle unter Reproduzierbarkeitsproblemen und Infrastrukturabhängigkeiten, während Open-Weight-Alternativen erhebliche Hardware-Ressourcen erfordern. Zudem mangelt es dem Fachbereich an spezialisierten Goldstandard-Datensätzen für die Literatur der Sozial- und Geisteswissenschaften (SSH), was sowohl die Evaluierung von LLM-basierten Ansätzen als auch das Training klassischer überwachter Sequenz-Labeler behindert.

Methodik
Die Autoren schlagen einen Workflow vor, der auf der Grobid-Architektur basiert, welche eine Kaskade spezialisierter Machine-Learning-Modelle nutzt, um PDF-Artikel in strukturierte TEI-XML zu parsen. Die Methodik besteht aus vier integrierten Komponenten:

Annotations-Tool (PDF-TEI Editor): Eine Open-Source-Webanwendung, die eine iterative, kollaborative Annotation unterstützt. Sie verfügt über eine synchronisierte Dual-Pane-Ansicht von PDF und XML, integrierte TEI-Schema-Validierung, rollenbasierte Zugriffskontrolle und eine Plugin-Architektur zur Integration von Extraktions-Backends (aktuell Grobid und LLaMore).
Annotations-Workflow: Ein fünfphasiger Prozess unter Beteiligung eines Teams von sieben Annotatoren (bestehend aus erfahrenen Forschenden und Studierenden der Digital Humanities). Der Workflow umfasst die Vor-Annotation mittels des neuesten Grobid-Modells, gefolgt von Korrektur, Verifizierung, Senior-Validierung und der Integration von Feedback in einen lebenden Annotationsleitfaden. Der Prozess nutzte 194 paarweise Vergleiche an 96 Dokumenten und erreichte ein mittleres Krippendorffs $\alpha$ von 0,917.
Datensatz-Konstruktion (FOSSIL): Das Team konstruierte FOSSIL (Footnote-based Open-access SSH Scientific Instance Labels), einen quelloffen lizenzierten, mehrsprachigen Datensatz, der 96 wissenschaftliche Artikel aus 38 Zeitschriften der Rechts-, Geistes-, Geschichts- und Sozialwissenschaften (1959–2025) umfasst. Der Korpus enthält etwa 2.400 Fußnotenblöcke (ca. 500 diskursive und 1.900 bibliografische), die über 7.600 einzelne Referenzen enthalten. Die Annotationen sind in drei Schichten organisiert, die mit der Grobid-Kaskade übereinstimmen: Artikelsegmentierung, Referenzsegmentierung und Zitat-Parsing.
Modell-Spezialisierung: Die Autoren implementierten eine spezialisierte „Flavor“ für Grobid, die Modelle in der Standard-Kaskade inkrementell ersetzt (beginnend mit der Artikelsegmentierung), während der Rest der Pipeline wiederverwendet wird. Dieses Design ermöglicht eine gezielte Evaluierung spezifischer Komponenten.

Hauptbeiträge
Das Paper präsentiert vier primäre Beiträge:

PDF-TEI Editor: Ein produktionsreifes, Open-Source-Webtool für die kollaborative TEI-XML-Annotation.
Dokumentierter Workflow: Ein reproduzierbares Annotationsprotokoll, das den Editor und Grobid integriert und von einem Team mit verschiedenen Rollen ausgeführt wurde.
FOSSIL-Datensatz: Die erste quelloffen lizenzierte Ressource ihrer Art für die Rechtswissenschaften, die mehrere Sprachen (Englisch, Portugiesisch, Italienisch, Deutsch) und Zitierstile abdeckt.
Grobid-Spezialisierung: Ein Proof-of-Concept-Baseline-Modell, das eine domänenspezifische Anpassung von Grobid für fußnotenreiche Dokumente demonstriert.

Ergebnisse
Die Autoren evaluierten die spezialisierte Pipeline gegen die Standard-Grobid-Konfiguration mittels 5-facher Kreuzvalidierung und End-to-End-Tests an vier wissenschaftlichen Artikeln.

Artikelsegmentierung: Das spezialisierte Modell erreichte einen Gesamt-F1-Score von 81,08 (Precision: 82,91, Recall: 79,41). Die Leistung war stark für <body> (86,85) und <page> (90,12), aber niedriger für <footnote> (54,95) und <front> (34,54), wo die Überlappung des physischen Seitenraums inhärente Klassifikationsambiguitäten schafft.
End-to-End Extraktion: Das Standard-Grobid-Modell zeigte eine hohe Präzision (0,89–0,94), aber einen extrem niedrigen Recall (0,21–0,27) für Schlüsselfelder (Nachname des Autors, Zeitschriftentitel, Publikationsdatum), was zu F1-Scores zwischen 0,35 und 0,42 führte. Dies deutete auf eine fundamentale Diskrepanz mit fußnotenbasierten Zitierstilen hin.
Spezialisierte Performance: Die spezialisierte „footnotes-ref“-Flavor korrigierte dieses Ungleichgewicht erheblich. Der Recall verbesserte sich signifikant über alle Felder hinweg (z. B. stieg der Recall beim Autorennachnamen von 0,23 auf 0,60; beim Publikationsdatum von 0,21 auf 0,71), während die Präzision akzeptabel blieb. Infolgedessen verdoppelte sich der mikro-gemittelte F1-Score nahezu von 0,36 auf 0,72. Der signifikanteste Gewinn wurde bei der Extraktion des Publikationsdatums beobachtet (F1 0,35 $\rightarrow$ 0,80), was auf eine bessere Handhabung variabler Datumsformate und abgekürzter Formate zurückzuführen ist.

Bedeutung und Behauptungen
Das Paper behauptet, dass FOSSIL die erste quelloffen lizenzierte Ressource dieser Größenordnung ist, die speziell für die Rechtswissenschaften und fußnotenbasierte Zitierpraktiken entwickelt wurde. Die Evaluierung bestätigt, dass die domänenspezifische Spezialisierung der Sequenz-Labeling-Modelle von Grobid das Zitat-Parsing für Recht und Geisteswissenschaften wesentlich verbessert und den primären Fehlermodus bestehender Werkzeuge adressiert: einen extrem niedrigen Recall.

Die Autoren führen aus, dass der niedrige Recall von Standardmodellen nicht allein durch Post-Processing gelöst werden kann, was die Notwendigkeit der vorgestellten Datensatz- und Workflow-Beiträge unterstreicht. Während das spezialisierte Modell erhebliche Gewinne zeigt, stellt das Paper bescheiden fest, dass noch beträchtliches „Headroom“ besteht, insbesondere hinsichtlich der Auflösung von Querverweisen und gemischten Inhalten in Fußnoten. Zukünftige Arbeiten schlagen vor, den Datensatz auf weitere Sprachen und Rechtstraditionen auszuweiten, die Querverweis-Auflösung anzugehen und LoRA-basiertes Fine-Tuning von LLMs sowie End-to-End-neuronale Architekturen zu untersuchen.