💻 computer science

Digging Up Citations: FOSSIL, a Dataset and Workflow for Reference Extraction in Law and the Humanities

Questo articolo introduce FOSSIL, un dataset multilingue e il relativo flusso di lavoro progettati per migliorare l'estrazione delle citazioni basate su note a piè di pagina nella produzione accademica giuridica e umanistica, dimostrando che una pipeline specializzata quasi raddoppia la qualità dell'estrazione rispetto agli strumenti standard, evidenziando al contempo le sfide rimanenti nel gestire i riferimenti incrociati e le note a piè di pagina a contenuto misto.

Autori originali: Luca Foppiano, Christian Boulanger

Pubblicato 2026-06-02

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Luca Foppiano, Christian Boulanger

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di organizzare una biblioteca enorme. Nelle Scienze Naturali (come la biologia o la fisica), i libri hanno una struttura molto ordinata e prevedibile: la storia principale si trova nei capitoli, e tutte le "note sorgente" sono riposte in un elenco numerato pulito in fondo alla pagina. È come una ricetta dove gli ingredienti sono elencati separatamente dalle istruzioni per cucinare. I computer sono molto bravi a leggere queste ricette.

Tuttavia, nel Diritto e nelle Discipline Umanistiche (storia, filosofia, letteratura), le "note sorgente" sono disordinate. Sono sepolte all'interno del testo stesso, spesso nei margini inferiori (note a piè di pagina), mescolate ai pensieri personali dell'autore, chiarimenti e riferimenti incrociati. È come una ricetta in cui gli ingredienti sono nascosti dentro le frasi come: "Aggiungere due tazze di farina (che ho comprato al mercato martedì, vedi pagina 4) mentre si mescola".

Questo articolo, intitolato "Digging Up Citations: FOSSIL," riguarda la costruzione di un modo migliore per trovare e organizzare questi ingredienti nascosti nei libri di Diritto e delle Discipline Umanistiche.

Ecco la suddivisione di ciò che hanno fatto, utilizzando analogie semplici:

1. Il Problema: La "Scatola Nera" e il "Seminterrato Disordinato"

Gli autori spiegano che i programmi informatici esistenti (modelli) sono addestrati sullo stile ordinato delle "Scienze Naturali". Quando provano a leggere le note a piè di pagina del Diritto e delle Discipline Umanistiche, si confondono perché i dati sono mescolati.

Notano anche che, sebbene potenti strumenti di IA (come i grandi chatbot commerciali) possano talvolta capire questo, sono rischiosi. Sono come l'affitto di un escavatore hi-tech da un'azienda che potrebbe fallire domani, portandosi via con sé i tuoi dati. Gli autori volevano uno strumento che fosse aperto, gratuito e che restasse con loro per sempre.

2. La Soluzione: Il Progetto "FOSSIL"

Il team ha creato un kit di strumenti completo per scavare queste citazioni. Chiamano il dataset FOSSIL (Footnote-based Open-access SSH Scientific Instance Labels). Consideratelo come una massiccia, organizzata collezione di esempi "prima e dopo" che insegnano ai computer come leggere le note a piè di pagina disordinate.

Hanno costruito quattro cose principali:

Un Banco da Lavoro Digitale (Editor PDF-TEI): Uno strumento web che permette a umani e computer di lavorare fianco a fianco. Mostra il PDF originale da un lato e i dati strutturati dall'altro, permettendo alle persone di correggere gli errori e insegnare al computer cosa cercare.
Un Manuale di Istruzioni (Il Workflow): Una guida passo dopo passo su come un team di sette persone (inclusi esperti e studenti) ha pulito e etichettato i dati.
Il Tesoro (Il Dataset): Hanno raccolto 96 articoli accademici di diritto, storia e scienze sociali. Questi articoli contengono oltre 7.600 riferimenti nascosti nelle note a piè di pagina. Fondamentalmente, questi dati sono sotto "licenza aperta", il che significa che chiunque può usarli senza problemi legali.
Un Motore Specializzato (Specializzazione Grobid): Hanno preso uno strumento open-source esistente chiamato Grobid (che è come uno scanner standard per biblioteche) e gli hanno dato una "lente specializzata" per concentrarsi specificamente sulle note a piè di pagina disordinate del Diritto e delle Discipline Umanistiche.

3. La Sfida: Perché è così difficile?

L'articolo spiega che le note a piè di pagina in questi campi sono complicate perché fanno cinque cose diverse contemporaneamente:

Solo un commento (senza citazione).
Una nota biografica sull'autore.
Un elenco pulito di libri.
Una nota "vedi anche" che punta a una nota precedente (come "Vedi nota 5").
Un mix caotico di tutte le precedenti.

È come cercare di smistare una pila di posta dove alcune buste contengono lettere, altre assegni, altre foto, e alcune un mix di tutte e tre, tutte scritte in lingue e stili di calligrafia differenti.

4. I Risultati: Da "Mancante" a "Trovato"

Il team ha testato il loro nuovo motore specializzato contro la vecchia versione standard.

Il Vecchio Modo: Lo strumento standard era molto esigente. Era quasi perfetto nell'identificare un riferimento se ne trovava uno (alta precisione), ma perdeva il 70-80% dei riferimenti effettivi perché non sembravano citazioni scientifiche standard (basso richiamo/recall). Era come un metal detector che emette un segnale solo per le monete d'oro ma ignora quelle d'argento.
Il Nuovo Modo: La versione specializzata "FOSSIL" ha trovato il doppio dei riferimenti.
- È passato dal trovare solo il 21% delle date di pubblicazione al trovare il 71%.
- È passato dal trovare il 23% dei nomi degli autori al trovare il 60%.
- Complessivamente, la qualità dell'estrazione è quasi raddoppiata (il punteggio è passato da 0,36 a 0,72).

5. La Conclusione

L'articolo conclude che non si può semplicemente "ritoccare" le impostazioni di uno strumento standard per risolvere questo problema; serve uno strumento addestrato specificamente sulla realtà disordinata delle note a piè di pagina del Diritto e delle Discipline Umanistiche.

FOSSIL è ora un primo passo. Dimostra che con i giusti dati e un workflow specializzato, i computer possono finalmente iniziare a leggere queste note complesse con precisione. Gli autori intendono espandere questo lavoro ad altre lingue e affrontare problemi ancora più difficili, come collegare automaticamente "Vedi nota 5" alla nota 5 originale.

In breve, hanno costruito una pala migliore e una mappa per scavare le citazioni che erano precedentemente sepolte nel fango delle note a piè di pagina accademiche.

Sintesi Tecnica: FOSSIL – Un Dataset e un Workflow per l'Estrazione di Riferimenti nel Diritto e nelle Discipline Umanistiche

Enunciato del Problema
L'estrazione delle citazioni è stata ampiamente oggetto di ricerca, eppure i modelli esistenti sono prevalentemente ottimizzati per le bibliografie strutturate a fine documento, tipiche delle scienze naturali. Al contrario, la produzione accademica nel diritto e nelle discipline umanistiche si affida pesantemente alle note a piè di pagina per integrare dati bibliografici insieme a commenti, chiarimenti e riferimenti incrociati. Questa intercalazione crea contenuti altamente eterogenei che resistono alla normale analisi basata su pattern. Sebbene i Large Language Models (LLM) mostrino una promettente capacità di gestire tali dati non strutturati, i modelli chiusi soffrono di problemi di riproducibilità e dipendenze infrastrutturali, mentre le alternative open-weight richiedono risorse hardware significative. Inoltre, il campo manca di dataset specializzati e "gold-standard" per la letteratura delle Scienze Sociali e Umanistiche (SSH), ostacolando sia la valutazione degli approcci basati su LLM sia l'addestramento di classificatori di sequenze supervisionati classici.

Metodologia
Gli autori propongono un workflow basato sull'architettura Grobid, che utilizza una cascata di modelli specializzati di machine learning per analizzare articoli PDF in TEI-XML strutturato. La metodologia consiste in quattro componenti integrati:

Strumento di Annotazione (PDF-TEI Editor): Un'applicazione open-source, basata sul web, che supporta l'annotazione iterativa e collaborativa. Presenta una visualizzazione sincronizzata dual-pane PDF/XML, validazione dello schema TEI integrata, controllo degli accessi basato sui ruoli e un'architettura a plugin per l'integrazione di backend di estrazione (attualmente Grobid e LLaMore).
Workflow di Annotazione: Un processo in cinque fasi che coinvolge un team di sette annotatori (inclusi ricercatori senior e studenti di Digital Humanities). Il workflow si articola in: pre-annotazione tramite l'ultimo modello Grobid, correzione, verifica, validazione da parte di esperti senior e integrazione del feedback in una guida di annotazione dinamica. Il processo ha utilizzato 194 confronti a coppie su 96 documenti, raggiungendo un $\alpha$ di Krippendorff medio di 0,917.
Costruzione del Dataset (FOSSIL): Il team ha costruito FOSSIL (Footnote-based Open-access SSH Scientific Instance Labels), un dataset con licenza aperta, multilingue, composto da 96 articoli accademici di 38 riviste in ambito giuridico, umanistico, storico e delle scienze sociali (1959–2025). Il corpus include circa 2.400 blocchi di note (circa 500 discorsivi e 1.900 bibliografici) contenenti oltre 7.600 riferimenti individuali. Le annotazioni sono organizzate in tre livelli allineati con la cascata Grobid: segmentazione dell'articolo, segmentazione del riferimento e parsing della citazione.
Specializzazione del Modello: Gli autori hanno implementato una "variante" specializzata per Grobid che sostituisce incrementalmente i modelli nella cascata standard (partendo dalla segmentazione dell'articolo) riutilizzando il resto della pipeline. Questo design permette una valutazione mirata di componenti specifici.

Contributi Chiave
Il paper presenta quattro contributi primari:

PDF-TEI Editor: Uno strumento web, open-source e pronto per la produzione, per l'annotazione collaborativa TEI-XML.
Workflow Documentato: Un protocollo di annotazione riproducibile che integra l'editor e Grobid, eseguito da un team con ruoli multipli.
Dataset FOSSIL: La prima risorsa di questo tipo, con licenza aperta, dedicata alla produzione accademica giuridica, che spazia su più lingue (inglese, portoghese, italiano, tedesco) e stili di citazione.
Specializzazione di Grobid: Una prova di concetto baseline che dimostra l'adattamento di dominio di Grobid per documenti ricchi di note a piè di pagina.

Risultati
Gli autori hanno valutato la pipeline specializzata rispetto alla configurazione predefinita di Grobid utilizzando la validazione incrociata a 5 fold e test end-to-end su quattro articoli accademici.

Segmentazione dell'Articolo: Il modello specializzato ha raggiunto un punteggio F1 complessivo di 81,08 (Precisione: 82,91, Recall: 79,41). Le performance sono state solide per <body> (86,85) e <page> (90,12), ma inferiori per <footnote> (54,95) e <front> (34,54), dove la sovrapposizione dello spazio fisico della pagina crea un'intrinseca ambiguità di classificazione.
Estrazione End-to-End: Il modello Grobid predefinito ha mostrato un'alta precisione (0,89–0,94) ma una recall estremamente bassa (0,21–0,27) per campi chiave (cognome dell'autore, titolo della rivista, data di pubblicazione), con punteggi F1 compresi tra 0,35 e 0,42. Ciò ha indicato un disallineamento fondamentale con gli stili di citazione basati sulle note a piè di pagina.
Performance Specializzata: La variante "footnotes-ref" ha corretto sostanzialmente questo squilibrio. La recall è migliorata significativamente in tutti i campi (ad esempio, la recall del cognome dell'autore è salita da 0,23 a 0,60; la data di pubblicazione da 0,21 a 0,71), mentre la precisione è rimasta accettabile. Di conseguenza, il punteggio F1 mediato per micro-classe è quasi raddoppiato, passando da 0,36 a 0,72. Il guadagno più significativo è stato osservato nell'estrazione della data di pubblicazione (F1 0,35 $\rightarrow$ 0,80), attribuito a una migliore gestione delle convenzioni date variabili e dei formati abbreviati.

Significatività e Rivendicazioni
Il paper sostiene che FOSSIL sia la prima risorsa con licenza aperta di questa portata progettata specificamente per la dottrina giuridica e le pratiche di citazione basate su note a piè di pagina. La valutazione conferma che la specializzazione di dominio dei modelli di classificazione di sequenze di Grobid migliora sostanzialmente il parsing delle citazioni per il diritto e le discipline umanistiche, affrontando il principale punto di fallimento degli strumenti esistenti: la recall estremamente bassa.

Gli autori affermano che la bassa recall dei modelli standard non può essere risolta solo tramite post-processing, rendendo necessari i contributi del dataset e del workflow presentati. Sebbene il modello specializzato mostri guadagni sostanziali, il paper nota con modestia che rimane un significativo "margine di miglioramento", in particolare riguardo alla risoluzione dei riferimenti incrociati e alle note a contenuto misto. Il lavoro futuro proposto mira ad estendere il dataset ad altre lingue e tradizioni giuridiche, affrontare la risoluzione dei riferimenti incrociati ed esplorare il fine-tuning tramite LoRA di LLM e architetture neurali end-to-end.