💻 computer science

Digging Up Citations: FOSSIL, a Dataset and Workflow for Reference Extraction in Law and the Humanities

Este artículo presenta FOSSIL, un conjunto de datos multilingüe y un flujo de trabajo acompañante diseñado para mejorar la extracción de citas basadas en notas al pie en la erudición jurídica y de las humanidades, demostrando que un proceso especializado casi duplica la calidad de la extracción en comparación con las herramientas estándar, al tiempo que destaca los desafíos persistentes en el manejo de referencias cruzadas y notas al pie de contenido mixto.

Autores originales: Luca Foppiano, Christian Boulanger

Publicado 2026-06-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Luca Foppiano, Christian Boulanger

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando organizar una biblioteca masiva. En las Ciencias Naturales (como la biología o la física), los libros tienen una estructura muy ordenada y predecible: la historia principal está en los capítulos, y todas las "notas de fuentes" se guardan en una lista numerada y limpia al final. Es como una receta donde los ingredientes se enumeran por separado de las instrucciones de cocina. Las computadoras son muy buenas leyendo estas recetas.

Sin embargo, en el Derecho y las Humanidades (historia, filosofía, literatura), las "notas de fuentes" son desordenadas. Están enterradas dentro del propio texto, a menudo en los márgenes inferiores (notas al pie), mezcladas con los pensamientos personales del autor, aclaraciones y referencias cruzadas. Es como una receta donde los ingredientes están ocultos dentro de las frases como: "Añada dos tazas de harina (que compré en el mercado el martes, ver página 4) mientras revuelve".

Este artículo, titulado "Digging Up Citations: FOSSIL" (Excavando Citas: FOSSIL), trata sobre la construcción de una mejor manera de encontrar y organizar esos ingredientes ocultos en los libros de Derecho y Humanidades.

Aquí está el desglose de lo que hicieron, utilizando analogías sencillas:

1. El Problema: La "Caja Negra" y el "Sótano Desordenado"

Los autores explican que los programas de computadora existentes (modelos) están entrenados para el estilo ordenado de las "Ciencias Naturales". Cuando intentan leer las notas al pie de Derecho y Humanidades, se confunden porque los datos están mezclados.

También señalan que, si bien las herramientas de IA potentes (como los grandes chatbots comerciales) pueden a veces descifrar esto, son riesgosas. Son como alquilar una excavadora de alta tecnología de una empresa que podría quebrar mañana, llevándose tus datos con ella. Los autores querían una herramienta que fuera abierta, gratuita y que se quedara con ellos para siempre.

2. La Solución: El Proyecto "FOSSIL"

El equipo creó un kit de herramientas completo para desenterrar estas citas. Llaman al conjunto de datos FOSSIL (Footnote-based Open-access SSH Scientific Instance Labels). Piensa en esto como una colección masiva y organizada de ejemplos de "antes y después" que enseñan a las computadoras cómo leer notas al pie desordenadas.

Construyeron cuatro elementos principales:

Un Banco de Trabajo Digital (Editor PDF-TEI): Una herramienta web que permite que humanos y computadoras trabajen codo a codo. Muestra el PDF original en un lado y los datos estructurados en el otro, permitiendo que las personas corrijan errores y enseñen a la computadora qué buscar.
Un Manual de Entrenamiento (El Flujo de Trabajo): Una guía paso a paso sobre cómo un equipo de siete personas (incluyendo expertos y estudiantes) limpió y etiquetó los datos.
El Tesoro (El Conjunto de Datos): Recopilaron 96 artículos académicos de derecho, historia y ciencias sociales. Estos artículos contienen más de 7,600 referencias ocultas en las notas al pie. Crucialmente, estos datos tienen una "licencia abierta", lo que significa que cualquiera puede usarlos sin problemas legales.
Un Motor Especializado (Especialización de Grobid): Tomaron una herramienta de código abierto ya existente llamada Grobid (que es como un escáner de biblioteca estándar) y le dieron una "lente especializada" para enfocarse específicamente en las desordenadas notas al pie de Derecho y Humanidades.

3. El Desafío: ¿Por qué es esto tan difícil?

El artículo explica que las notas al pie en estos campos son complicadas porque hacen cinco cosas diferentes a la vez:

Solo un comentario (sin cita).
Una nota biográfica sobre el autor.
Una lista limpia de libros.
Una nota de "véase también" que apunta a una nota al pie anterior (como "Ver nota 5").
Una mezcla caótica de todo lo anterior.

Es como intentar clasificar una pila de correspondencia donde algunos sobres contienen cartas, otros cheques, otros fotos, y algunos una mezcla de los tres, todo escrito en diferentes idiomas y estilos de caligrafía.

4. Los Resultados: De "Faltante" a "Encontrado"

El equipo probó su nuevo motor especializado contra la versión antigua y estándar.

La Forma Antigua: La herramienta estándar era muy selectiva. Era casi perfecta identificando una referencia si encontraba una (alta precisión), pero perdía entre el 70-80% de las referencias reales porque no se veían como las citas científicas estándar (baja recuperación/recall). Era como un detector de metales que solo pita para monedas de oro pero ignora las de plata.
La Nueva Forma: La versión especializada "FOSSIL" encontró el doble de referencias.
- Pasó de encontrar solo el 21% de las fechas de publicación a encontrar el 71%.
- Pasó de encontrar el 23% de los nombres de autores a encontrar el 60%.
- En general, la calidad de la extracción casi se duplicó (la puntuación pasó de 0.36 a 0.72).

5. La Conclusión

El artículo concluye que no puedes simplemente "ajustar" la configuración de una herramienta estándar para solucionar este problema; necesitas una herramienta entrenada específicamente para la realidad desordenada de las notas al pie de Derecho y Humanidades.

FOSSIL es ahora un peldaño. Demuestra que con los datos adecuados y un flujo de trabajo especializado, las computadoras finalmente pueden empezar a leer estas complejas notas al pie con precisión. Los autores planean expandir esto a más idiomas y abordar problemas aún más difíciles, como conectar automáticamente un "Ver nota 5" de vuelta con la nota 5 original.

En resumen: Construyeron una mejor pala y un mapa para desenterrar citas que anteriormente estaban enterradas en el lodo de las notas al pie académicas.

Resumen Técnico: FOSSIL – Un conjunto de datos y flujo de trabajo para la extracción de referencias en Derecho y Humanidades

Planteamiento del problema
La extracción de citas ha sido investigada extensamente, pero los modelos existentes están optimizados predominantemente para las bibliografías estructuradas al final de los documentos, típicas de las ciencias naturales. En contraste, la erudición en derecho y humanidades depende en gran medida de las notas al pie de página para integrar datos bibliográficos junto con comentarios, aclaraciones y referencias cruzadas. Este entrelazado crea un contenido altamente heterogéneo que resiste el procesamiento estándar basado en patrones. Si bien los modelos de lenguaje de gran tamaño (LLM) muestran potencial para manejar tales datos no estructurados, los modelos cerrados sufren de problemas de reproducibilidad y dependencias de infraestructura, mientras que las alternativas de pesos abiertos requieren recursos de hardware significativos. Además, el campo carece de conjuntos de datos especializados y de "estándar de oro" para la literatura de las Ciencias Sociales y las Humanidades (SSH), lo que dificulta tanto la evaluación de los enfoques basados en LLM como el entrenamiento de clasificadores de secuencias supervisados clásicos.

Metodología
Los autores proponen un flujo de trabajo basado en la arquitectura Grobid, que utiliza una cascada de modelos especializados de aprendizaje automático para procesar artículos PDF en TEI-XML estructurado. La metodología consta de cuatro componentes integrados:

Herramienta de anotación (Editor PDF-TEI): Una aplicación web de código abierto que soporta la anotación iterativa y colaborativa. Cuenta con una vista dual sincronizada de PDF/XML, validación de esquema TEI integrada, control de acceso basado en roles y una arquitectura de complementos para integrar motores de extracción (actualmente Grobid y LLaMore).
Flujo de trabajo de anotación: Un proceso de cinco fases que involucra a un equipo de siete anotadores (incluyendo investigadores sénior y estudiantes de Humanidades Digitales). El flujo de trabajo se mueve desde la pre-anotación utilizando el modelo Grobid más reciente hacia la corrección, verificación, validación sénior e integración de retroalimentación en una guía de anotación viva. El proceso utilizó 194 comparaciones por pares en 96 documentos, logrando un $\alpha$ de Krippendorff medio de 0.917.
Construcción del conjunto de datos (FOSSIL): El equipo construyó FOSSIL (Footnote-based Open-access SSH Scientific Instance Labels), un conjunto de datos de licencia abierta y multilingüe que comprende 96 artículos académicos de 38 revistas en derecho, humanidades, historia y ciencias sociales (1959–2025). El corpus incluye aproximadamente 2,400 bloques de notas al pie (unos 500 discursivos y 1,900 bibliográficos) que contienen más de 7,600 referencias individuales. Las anotaciones se organizan en tres capas alineadas con la cascada de Grobid: segmentación de artículos, segmentación de referencias y análisis de citas.
Especialización del modelo: Los autores implementaron un "sabor" especializado para Grobid que reemplaza incrementalmente los modelos en la cascada estándar (comenzando con la segmentación de artículos) mientras reutiliza el resto de la canalización. Este diseño permite la evaluación dirigida de componentes específicos.

Contribuciones clave
El artículo presenta cuatro contribaciones primarias:

Editor PDF-TEI: Una herramienta web de producción, de código abierto, para la anotación colaborativa de TEI-XML.
Flujo de trabajo documentado: Un protocolo de anotación reproducible que integra el editor y Grobid, ejecutado por un equipo de múltiples roles.
Conjunto de datos FOSSIL: El primer recurso de su tipo, de gran escala y con licencia abierta para la erudición jurídica, que abarca múltiples idiomas (inglés, portugués, italiano, alemán) y estilos de citación.
Especialización de Grobid: Una prueba de concepto de línea base que demuestra una adaptación de dominio específico de Grobid para documentos con abundantes notas al pie.

Resultos
Los autores evaluaron la canalización especializada contra la configuración por defecto de Grobid utilizando validación cruzada de 5 pliegues y pruebas de extremo a extremo en cuatro artículos académicos.

Segmentación de artículos: El modelo especializado logró un F1 general de 81.08 (Precisión: 82.91, Recall: 79.41). El rendimiento fue sólido para <body> (86.85) y <page> (90.12), pero menor para <footnote> (54.95) y <front> (34.54), donde el solapamiento del espacio físico de la página crea una ambigüedad de clasificación inherente.
Extracción de extremo a extremo: El modelo Grobid por defecto exhibió una alta precisión (0.89–0.94) pero un recall extremadamente bajo (0.21–0.27) para campos clave (apellido del autor, título de la revista, fecha de publicación), resultando en puntuaciones F1 entre 0.35 y 0.42. Esto indicó un desajuste fundamental con los estilos de citación basados en notas al pie.
Desempeño especializado: El "sabor" especializado "footnotes-ref" corrigió sustancialmente este desequilibrio. El recall mejoró significativamente en todos los campos (por ejemplo, el recall del apellido del autor aumentó de 0.23 a 0.60; la fecha de publicación de 0.21 a 0.71), mientras que la precisión se mantuvo aceptable. Consecuentemente, la puntuación F1 promedio micro casi se duplicó, pasando de 0.36 a 0.72. La ganancia más significativa se observó en la extracción de la fecha de publicación (F1 0.35 → 0.80), atribuida a un mejor manejo de las convenciones de fechas variables y formatos abreviados.

Significancia y afirmaciones
El artículo afirma que FOSSIL es el primer recurso de esta escala diseñado específicamente para la erudición jurídica y las prácticas de citación basadas en notas al pie con licencia abierta. La evaluación confirma que la especialización del dominio de los modelos de etiquetado de secuencias de Grobid mejora sustancialmente el análisis de citas para derecho y humanidades, abordando el principal modo de falla de las herramientas existentes: el recall extremadamente bajo.

Los autores sostienen que el bajo recall de los modelos estándar no puede resolverse únicamente mediante el post-procesamiento, lo que requiere las contribuciones de conjunto de datos y flujo de trabajo presentadas. Si bien el modelo especializado muestra ganancias sustanciales, el artículo señala modestamente que aún queda un "margen" significativo, particularmente en cuanto a la resolución de referencias cruzadas y notas al pie de contenido mixto. Se propone como trabajo futuro extender el conjunto de datos a otros idiomas y tradiciones legales, abordar la resolución de referencias cruzadas y explorar el ajuste fino (fine-tuning) basado en LoRA de LLMs y arquitecturas neuronales de extremo a extremo.