💻 computer science

Digging Up Citations: FOSSIL, a Dataset and Workflow for Reference Extraction in Law and the Humanities

Este artigo apresenta o FOSSIL, um conjunto de dados multilíngue e um fluxo de trabalho acompanhante projetados para melhorar a extração de citações baseadas em notas de rodapé nos campos do direito e das humanidades, demonstrando que um pipeline especializado quase dobra a qualidade da extração em comparação com ferramentas padrão, ao mesmo tempo em que destaca os desafios remanescentes no tratamento de referências cruzadas e notas de rodapé de conteúdo misto.

Autores originais: Luca Foppiano, Christian Boulanger

Publicado 2026-06-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Luca Foppiano, Christian Boulanger

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando organizar uma biblioteca enorme. Nas Ciências Naturais (como biologia ou física), os livros têm uma estrutura muito limpa e previsível: a história principal está nos capítulos, e todas as "notas de fontes" estão guardadas em uma lista numerada e organizada ao final. É como uma receita onde os ingredientes são listados separadamente das instruções de cozimento. Os computadores são muito bons em ler essas receitas.

No entanto, no Direito e nas Humanidades (história, filosofia, literatura), as "notas de fontes" são bagunçadas. Elas estão enterradas dentro do próprio texto, muitas vezes nas margens inferiores (notas de rodapé), misturadas com os pensamentos pessoais do autor, esclarecimentos e referências cruzadas. É como uma receita onde os ingredientes estão escondidos dentro das frases, tipo: "Adicione duas xícaras de farinha (que comprei no mercado na terça-feira, veja a página 4) enquanto mexe".

Este artigo, intitulado "Digging Up Citations: FOSSIL," trata da construção de uma maneira melhor de encontrar e organizar esses ingredientes escondidos em livros de Direito e Humanidades.

Aqui está a divisão do que eles fizeram, usando analogias simples:

1. O Problema: A "Caixa Preta" e o "Porão Bagunçado"

Os autores explicam que os programas de computador existentes (modelos) são treinados no estilo "Ciências Naturais" que é organizado. Quando tentam ler as notas de rodapé de Direito e Humanidades, eles ficam confusos porque os dados estão misturados.

Eles também observam que, embora ferramentas de IA poderosas (como grandes chatbots comerciais) possam às vezes decifrar isso, elas são arriscadas. São como alugar uma escavadeira de alta tecnologia de uma empresa que pode falir amanhã, levando seus dados junto com ela. Os autores queriam uma ferramenta que fosse aberta, gratuita e que permanecesse com eles para sempre.

2. A Solução: O Projeto "FOSSIL"

A equipe criou um conjunto completo de ferramentas para desenterrar essas citações. Eles chamam o conjunto de dados de FOSSIL (Footnote-based Open-access SSH Scientific Instance Labels). Pense nisso como uma coleção massiva e organizada de exemplos de "antes e depois" que ensinam os computadores a ler notas de rodapé bagunçadas.

Eles construíram quatro coisas principais:

Uma Bancada de Trabalho Digital (Editor PDF-TEI): Uma ferramenta web que permite que humanos e computadores trabalhem lado a lado. Ela mostra o PDF original de um lado e os dados estruturados do outro, permitindo que as pessoas corrijam erros e ensinem o computador o que procurar.
Um Manual de Treinamento (O Fluxo de Trabalho): Um guia passo a passo de como uma equipe de sete pessoas (incluindo especialistas e estudantes) limpou e rotulou os dados.
O Tesouro (O Conjunto de Dados): Eles coletaram 96 artigos acadêmicos de direito, história e ciências sociais. Esses artigos contêm mais de 7.600 referências escondidas em notas de rodapé. Crucialmente, esses dados possuem "licença aberta", o que significa que qualquer pessoa pode usá-los sem problemas legais.
Um Motor Especializado (Especialização Grobid): Eles pegaram uma ferramenta de código aberto já existente chamada Grobid (que é como um scanner de biblioteca padrão) e deram a ela uma "lente especializada" para focar especificamente nas notas de rodapé complexas de Direito e Humanidades.

3. O Desafio: Por que isso é tão difícil?

O artigo explica que as notas de rodapé nesses campos são complicadas porque fazem cinco coisas diferentes ao mesmo tempo:

Apenas um comentário (sem citação).
Uma nota biográfica sobre o autor.
Uma lista limpa de livros.
Uma nota de "veja também" apontando para uma nota de rodapé anterior (como "Veja nota 5").
Uma mistura caótica de tudo isso.

É como tentar separar uma pilha de correspondências onde alguns envelopes contêm cartas, outros contêm cheques, outros contêm fotos, e alguns contêm uma mistura de todos os três, e tudo escrito em diferentes idiomas e estilos de caligrafia.

4. Os Resultados: De "Ausente" para "Encontrado"

A equipe testou seu novo motor especializado contra a versão antiga e padrão.

O Jeito Antigo: A ferramenta padrão era muito exigente. Ela era quase perfeita ao identificar uma referência se encontrasse uma (alta precisão), mas perdia 70-80% das referências reais porque elas não pareciam citações científicas padrão (baixa revocação/recall). Era como um detector de metais que só apita para moedas de ouro, mas ignora as de prata.
O Jeito Novo: A versão especializada "FOSSIL" encontrou o dobro de referências.
- Passou de encontrar apenas 21% das datas de publicação para encontrar 71%.
- Passou de encontrar 23% dos nomes de autores para encontrar 60%.
- No geral, a qualidade da extração quase dobrou (a pontuação foi de 0,36 para 0,72).

5. A Conclusão

O artigo conclui que você não pode apenas "ajustar" as configurações de uma ferramenta padrão para corrigir este problema; você precisa de uma ferramenta especificamente treinada para a realidade bagunçada das notas de rodapé de Direito e Humanidades.

O FOSSIL é agora um degrau. Ele prova que, com os dados certos e um fluxo de trabalho especializado, os computadores podem finalmente começar a ler essas notas de rodapé complexas com precisão. Os autores planejam expandir isso para mais idiomas e enfrentar problemas ainda mais difíceis, como conectar automaticamente um "Veja nota 5" de volta à nota 5 original.

Em resumo, eles construíram uma pá melhor e um mapa para desenterrar citações que antes estavam enterradas na lama das notas de rodapé acadêmicas.

Resumo Técnico: FOSSIL – Um Conjunto de Dados e Fluxo de Trabalho para Extração de Referências em Direito e Humanidades

Problema
A extração de citações tem sido amplamente pesquisada, mas os modelos existentes são predominantemente otimizados para as bibliografias estruturadas de fim de documento, típicas das ciências naturais. Em contraste, a produção acadêmica no direito e nas humanidades depende fortemente de notas de rodapé para incorporar dados bibliográficos junto a comentários, esclarecimentos e referências cruzadas. Esse entrelaçamento cria conteúdos altamente heterogêneos que resistem à análise baseada em padrões convencionais. Embora os Grandes Modelos de Linguagem (LLMs) mostrem potencial para lidar com tais dados não estruturados, modelos fechados sofrem com problemas de reprodutibilidade e dependências de infraestrutura, enquanto alternativas de pesos abertos exigem recursos de hardware significativos. Além disso, o campo carece de conjuntos de dados especializados e de padrão ouro para a literatura das Ciências Sociais e Humanas (SSH), dificultando tanto a avaliação de abordagens baseadas em LLMs quanto o treinamento de rotuladores de sequência supervisionados clássicos.

Metodologia
Os autores propõem um fluxo de trabalho fundamentado na arquitetura Grobid, que utiliza uma cascata de modelos especializados de aprendizado de máquina para converter artigos em PDF para o formato estruturado TEI-XML. A metodologia consiste em quatro componentes integrados:

Ferramenta de Anotação (Editor PDF-TEI): Uma aplicação web de código aberto que suporta anotação colaborativa e iterativa. Possui uma visualização dual sincronizada de PDF/XML, validação de esquema TEI integrada, controle de acesso baseado em funções e uma arquitetura de plugins para integração de backends de extração (atualmente Grobid e LLaMore).
Fluxo de Trabalho de Anotação: Um processo de cinco fases envolvendo uma equipe de sete anotadores (incluindo pesquisadores seniores e estudantes de Humanidades Digitais). O fluxo de trabalho parte da pré-anotação usando o modelo Grobid mais recente para correção, verificação, validação sênior e integração de feedback em um guia de anotação vivo. O processo utilizou 194 comparações pareadas em 96 documentos, alcançando um $\alpha$ de Krippendorff médio de 0,917.
Construção do Conjunto de Dados (FOSSIL): A equipe construiu o FOSSIL (Footnote-based Open-access SSH Scientific Instance Labels), um conjunto de dados multilíngue de licença aberta composto por 96 artigos acadêmicos de 38 periódicos de direito, humanidades, história e ciências sociais (1959–2025). O corpus inclui aproximadamente 2.400 blocos de notas de rodapé (cerca de 500 discursivos e 1.900 bibliográficos) contendo mais de 7.600 referências individuais. As anotações estão organizadas em três camadas alinhadas com a cascata Grobid: segmentação de artigo, segmentação de referência e análise de citação.
Especialização de Modelo: Os autores implementaram um "sabor" especializado para o Grobid que substitui incrementalmente os modelos na cascata padrão (começando pela segmentação de artigo) enquanto reutiliza o restante do pipeline. Esse design permite a avaliação direcionada de componentes específicos.

Principais Contribuições
O artigo apresenta quatro contribuições primárias:

Editor PDF-TEI: Uma ferramenta web de código aberto pronta para produção para anotação colaborativa de TEI-XML.
Fluxo de Trabalho Documentado: Um protocolo de anotação reprodutível que integra o editor e o Grobid, executado por uma equipe de múltiplas funções.
Conjunto de Dados FOSSIL: O primeiro recurso de grande escala deste tipo para a produção jurídica, de licença aberta, abrangendo múltiplos idiomas (inglês, português, italiano, alemão) e estilos de citação.
Especialização do Grobid: Uma prova de conceito de linha de base demonstrando uma adaptação de domínio específico do Grobid para documentos densos em notas de rodapé.

Resultados
Os autores avaliaram o pipeline especializado contra a configuração padrão do Grobid usando validação cruzada de 5 dobras e testes de ponta a ponta em quatro artigos acadêmicos.

Segmentação de Artigo: O modelo especializado alcançou um F1 score geral de 81,08 (Precisão: 82,91, Recall: 79,41). O desempenho foi forte para <body> (86,85) e <page> (90,12), mas inferior para <footnote> (54,95) e <front> (34,54), onde a sobreposição de espaço físico de página cria ambiguidade inerente de classificação.
Extração Ponta a Ponta: O modelo padrão do Grobid exibiu alta precisão (0,89–0,94), mas recall extremamente baixo (0,21–0,27) para campos chave (sobrenome do autor, título do periódico, data de publicação), resultando em F1 scores entre 0,35 e 0,42. Isso indicou uma incompatibilidade fundamental com os estilos de citação baseados em notas de rodapé.
Desempenho Especializado: O "sabor" especializado "footnotes-ref" corrigiu substancialmente esse desequilíbrio. O recall melhorou significamente em todos os campos (ex: o recall do sobrenome do autor subiu de 0,23 para 0,60; a data de publicação de 0,21 para 0,71), enquanto a precisão permaneceu aceitável. Consequentemente, o F1 score médio micro quase dobrou, subindo de 0,36 para 0,72. O ganho mais significativo foi observado na extração da data de publicação (F1 0,35 → 0,80), atribuído ao melhor tratamento de convenções de datas variáveis e formatos abreviados.

Significância e Alegações
O artigo afirma que o FOSSIL é o primeiro recurso de licença aberta desta escala especificamente desenhado para a produção jurídica e práticas de citação baseadas em notas de rodapé. A avaliação confirma que a especialização de domínio dos modelos de rotulação de sequência do Grobid melhora substancialmente a análise de citações para direito e humanidades, abordando o principal modo de falha das ferramentas existentes: o recall extremamente baixo.

Os autores sustentam que o baixo recall dos modelos padrão não pode ser resolvido apenas por pós-processamento, necessitando das contribuições de dataset e fluxo de trabalho apresentadas. Embora o modelo especializado mostre ganhos substanciais, o artigo nota modestamente que ainda resta uma margem significativa de melhoria ("headroom"), particularmente no que diz respeito à resolução de referências cruzadas e notas de rodapé de conteúdo misto. Trabalhos futuros são propostos para estender o conjunto de dados a outros idiomas e tradições jurídicas, abordar a resolução de referências cruzadas e explorar o ajuste fino (fine-tuning) via LoRA de LLMs e arquiteturas neurais de ponta a ponta.