💻 computer science

Digging Up Citations: FOSSIL, a Dataset and Workflow for Reference Extraction in Law and the Humanities

Cet article présente FOSSIL, un ensemble de données multilingue et un flux de travail l'accompagnant conçus pour améliorer l'extraction des citations basées sur des notes de bas de page dans les travaux de recherche en droit et en sciences humaines, démontrant qu'un pipeline spécialisé double presque la qualité d'extraction par rapport aux outils standards tout en soulignant les défis persistants liés à la gestion des renvois et des notes de bas de page à contenu mixte.

Auteurs originaux : Luca Foppiano, Christian Boulanger

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Luca Foppiano, Christian Boulanger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'organiser une bibliothèque massive. Dans les sciences naturelles (comme la biologie ou la physique), les livres ont une structure très nette et prévisible : l'histoire principale se trouve dans les chapitres, et toutes les « notes sources » sont rangées proprement dans une liste numérotée à la toute fin. C'est comme une recette où les ingrédients sont listés séparément des instructions de cuisson. Les ordinateurs sont très doués pour lire ces recettes.

Cependant, dans le Droit et les Humanités (histoire, philosophie, littérature), les « notes sources » sont désordonnées. Elles sont enfouies à l'intérieur même du texte, souvent dans les marges inférieures (notes de bas de page), mélangées aux pensées personnelles de l'auteur, à ses clarifications et à ses renvois. C'est comme une recette où les ingrédients sont cachés dans les phrases, du type : « Ajoutez deux tasses de farine (que j'ai achetée au marché mardi, voir page 4) tout en remuant ».

Ce document, intitulé « Digging Up Citations: FOSSIL », traite de la création d'une meilleure façon de trouver et d'organiser ces ingrédients cachés dans les livres de Droit et des Humanités.

Voici la décomposition de ce qu'ils ont fait, en utilisant des analogies simples :

1. Le Problème : La « Boîte Noire » et le « Sous-sol Désordonné »

Les auteurs expliquent que les programmes informatiques existants (modèles) sont entraînés sur le style ordonné des « sciences naturelles ». Lorsqu'ils essaient de lire les notes de bas de page du Droit et des Humanités, ils sont confus car les données sont mélangées.

Ils notent également que si les outils d'IA puissants (comme les grands chatbots commerciaux) peuvent parfois comprendre cela, ils sont risqués. C'est comme louer une excavatrice de haute technologie auprès d'une entreprise qui pourrait faire faillite demain, emportant vos données avec elle. Les auteurs voulaient un outil ouvert, gratuit, qui leur appartienne pour toujours.

2. La Solution : Le Projet « FOSSIL »

L'équipe a créé une boîte à outils complète pour déterrer ces citations. Ils appellent ce jeu de données FOSSIL (Footnote-based Open-access SSH Scientific Instance Labels). Considérez cela comme une vaste collection organisée d'exemples « avant et après » qui apprennent aux ordinateurs à lire les notes de bas de page désordonnées.

Ils ont construit quatre éléments principaux :

Un Établi Numérique (Éditeur PDF-TEI) : Un outil web qui permet aux humains et aux ordinateurs de travailler côte à côte. Il affiche le PDF original d'un côté et les données structurées de l'autre, permettant aux personnes de corriger les erreurs et d'enseigner à l'ordinateur ce qu'il doit chercher.
Un Manuel de Formation (Le Flux de Travail) : Un guide étape par étape sur la manière dont une équipe de sept personnes (comprenant des experts et des étudiants) a nettoyé et étiqueté les données.
Le Trésor (Le Jeu de Données) : Ils ont collecté 96 articles académiques de droit, d'histoire et de sciences sociales. Ces articles contiennent plus de 7 600 références cachées dans les notes de bas de page. Crucialement, ces données sont sous « licence ouverte », ce qui signifie que n'importe qui peut les utiliser sans problèmes juridiques.
Un Moteur Spécialisé (Spécialisation Grobid) : Ils ont pris un outil open-source existant appelé Grobid (qui est comme un scanner de bibliothèque standard) et lui ont donné une « lentille spécialisée » pour se concentrer spécifiquement sur les notes de bas de page complexes du Droit et des Humanités.

3. Le Défi : Pourquoi est-ce si difficile ?

Le document explique que les notes de bas de page dans ces domaines sont délicates car elles font cinq choses différentes à la fois :

Juste un commentaire (sans citation).
Une note biographique sur l'auteur.
Une liste propre de livres.
Une note de type « voir aussi » pointant vers une note de bas de page antérieure (comme « Voir note 5 »).
Un mélange chaotique de tout ce qui précède.

C'est comme essayer de trier une pile de courrier où certaines enveloppes contiennent des lettres, d'autres des chèques, d'autres des photos, et certaines un mélange des trois, le tout écrit dans des langues et des styles d'écriture différents.

4. Les Résultats : De « Manquant » à « Trouvé »

L'équipe a testé leur nouveau moteur spécialisé par rapport à l'ancienne version standard.

L'Ancienne Méthode : L'outil standard était très exigeant. Il était presque parfait pour identifier une référence si il en trouvait une (haute précision), mais il manquait 70 à 80 % des références réelles parce qu'elles ne ressemblaient pas à des citations scientifiques standards (faible rappel). C'était comme un détecteur de métaux qui ne bipe que pour les pièces d'or mais ignore les pièces d'argent.
La Nouvelle Méthode : La version spécialisée « FOSSIL » a trouvé deux fois plus de références.
- Elle est passée de seulement 21 % de dates de publication trouvées à 71 %.
- Elle est passée de 23 % de noms d'auteurs trouvés à 60 %.
- Globalement, la qualité de l'extraction a presque doublé (le score est passé de 0,36 à 0,72).

5. La Conclusion

Le document conclut qu'on ne peut pas simplement « ajuster » les paramètres d'un outil standard pour régler ce problème ; il faut un outil spécifiquement entraîné sur la réalité désordonnée des notes de bas de page du Droit et des Humanités.

FOSSIL est désormais un premier jalon. Il prouve qu'avec les bonnes données et un flux de travail spécialisé, les ordinateurs peuvent enfin commencer à lire ces notes de bas de page complexes avec précision. Les auteurs prévoient d'étendre cela à plus de langues et de s'attaquer à des problèmes encore plus difficiles, comme relier automatiquement un « Voir note 5 » à la note 5 originale.

En bref, ils ont construit une meilleure pelle et une carte pour déterrer les citations qui étaient auparavant enfouies dans la boue des notes de bas de page académiques.

Résumé technique : FOSSIL – Un ensemble de données et un flux de travail pour l'extraction de références en droit et en sciences humaines

Énoncé du problème
L'extraction de citations a fait l'objet de recherches approfondies, mais les modèles existants sont principalement optimisés pour les bibliographies structurées de fin de document, typiques des sciences naturelles. En revanche, la recherche en droit et en sciences humaines repose largement sur les notes de bas de page pour intégrer des données bibliographiques aux côtés de commentaires, de clarifications et de renvois. Cet entrelacement crée un contenu hautement hétérogène qui résiste au parsing par motifs standards. Bien que les grands modèles de langage (LLM) soient prometteurs pour traiter ces données non structurées, les modèles fermés souffrent de problèmes de reproductibilité et de dépendances infrastructurelles, tandis que les alternatives à poids ouverts nécessitent des ressources matérielles importantes. De plus, le domaine manque d'ensembles de données spécialisés et de référence (« gold-standard ») pour la littérature des sciences sociales et humaines (SSH), ce qui entrave tant l'évaluation des approches basées sur les LLM que l'entraînement de classificateurs de séquences supervisés classiques.

Méthodologie
Les auteurs proposent un flux de travail fondé sur l'architecture Grobid, qui utilise une cascade de modèles d'apprentissage automatique spécialisés pour parser des articles PDF en TEI-XML structuré. La méthodologie se compose de quatre composantes intégrées :

Outil d'annotation (Éditeur PDF-TEI) : Une application open-source, basée sur le web, supportant une annotation itérative et collaborative. Elle présente une vue PDF/XML synchronisée à double volet, une validation de schéma TEI intégrée, un contrôle d'accès basé sur les rôles et une architecture de plugins pour l'intégration de backends d'extraction (actuellement Grobid et LLaMore).
Flux de travail d'annotation : Un processus en cinq phases impliquant une équipe de sept annotateurs (comprenant des chercheurs seniors et des étudiants en humanités numériques). Le flux de travail passe d'une pré-annotation via le dernier modèle Grobid à une correction, une vérification, une validation par des seniors et une intégration de feedback dans un guide d'annotation évolutif. Le processus a utilisé 194 comparaisons par paires sur 96 documents, atteignant un $\alpha$ de Krippendorff moyen de 0,917.
Construction de l'ensemble de données (FOSSIL) : L'équipe a construit FOSSIL (Footnote-based Open-access SSH Scientific Instance Labels), un ensemble de données sous licence ouverte, multilingue, comprenant 96 articles savants de 38 revues en droit, humanités, histoire et sciences sociales (1959–2025). Le corpus comprend environ 2 400 blocs de notes de bas de page (environ 500 discursifs et 1 900 bibliographiques) contenant plus de 7 600 références individuelles. Les annotations sont organisées en trois couches alignées avec la cascade Grobid : segmentation de l'article, segmentation de la référence et parsing de la citation.
Spécialisation du modèle : Les auteurs ont implémenté une « saveur » spécialisée pour Grobid qui remplace de manière incrémentale les modèles de la cascade standard (en commençant par la segmentation de l'article) tout en réutilisant le reste du pipeline. Cette conception permet une évaluation ciblée de composants spécifiques.

Principales contributions
Le papier présente quatre contributions primaires :

Éditeur PDF-TEI : Un outil web prêt pour la production, open-source, pour l'annotation collaborative de TEI-XML.
Flux de travail documenté : Un protocole d'annotation reproductible intégrant l'éditeur et Grobid, exécuté par une équipe multi-rôles.
Ensemble de données FOSSIL : Le premier ressource de ce type, sous licence ouverte, pour la recherche juridique, couvrant plusieurs langues (anglais, portugais, italien, allemand) et styles de citation.
Spécialisation de Grobid : Une preuve de concept servant de base démontrant une adaptation de domaine de Grobid pour les documents riches en notes de bas de page.

Résultats
Les auteurs ont évalué le pipeline spécialisé contre la configuration par défaut de Grobid en utilisant une validation croisée à 5 plis et des tests de bout en bout sur quatre articles savants.

Segmentation de l'article : Le modèle spécialisé a atteint un score F1 global de 81,08 (Précision : 82,91, Rappel : 79,41). La performance est forte pour <body> (86,85) et <page> (90,12) mais plus faible pour <footnote> (54,95) et <front> (34,54), où le chevauchement de l'espace physique des pages crée une ambiguïté de classification inhérente.
Extraction de bout en bout : Le modèle Grobid par défaut présentait une précision élevée (0,89–0,94) mais un rappel extrêmement bas (0,21–0,27) pour les champs clés (nom de famille de l'auteur, titre de la revue, date de publication), entraînant des scores F1 compris entre 0,35 et 0,42. Cela indiquait un décalage fondamental avec les styles de citation par notes de bas de page.
Performance spécialisée : La « saveur » « footnotes-ref » a substantiellement corrigé ce déséquilibre. Le rappel s'est amélioré de manière significative sur tous les champs (ex: le rappel du nom de famille de l'auteur est passé de 0,23 à 0,60 ; la date de publication de 0,21 à 0,71), tandis que la précision est restée acceptable. Par conséquent, le score F1 moyen micro a presque doublé, passant de 0,36 à 0,72. Le gain le plus important a été observé dans l'extraction de la date de publication (F1 0,35 $\rightarrow$ 0,80), attribué à une meilleure gestion des conventions de dates variables et des formats abrégés.

Signification et affirmations
L'article affirme que FOSSIL est la première ressource sous licence ouverte de cette ampleur spécifiquement conçue pour la recherche juridique et les pratiques de citation par notes de bas de page. L'évaluation confirme que la spécialisation de domaine des modèles de labellisation de séquences de Grobid améliore substantiellement le parsing des citations pour le droit et les humanités, répondant au mode de défaillance principal des outils existants : un rappel extrêmement bas.

Les auteurs soutiennent que le faible rappel des modèles standards ne peut être résolu par le seul post-traitement, nécessitant les contributions de l'ensemble de données et du flux de travail présentés. Bien que le modèle spécialisé montre des gains substantiels, l'article note modestement qu'une marge de progression importante demeure, particulièrement concernant la résolution des renvois et les notes de bas de page à contenu mixte. Des travaux futurs sont proposés pour étendre l'ensemble de données à d'autres langues et traditions juridiques, traiter la résolution des renvois, et explorer le fine-tuning de type LoRA pour les LLM et les architectures neuronales de bout en bout.