NormDef-FR: an annotated corpus of normative definitions for the automatic processing of French legal codes

O direito é frequentemente imaginado como uma vasta biblioteca de regras, mas para um computador, é um mar caótico de texto. Na França, o sistema jurídico é construído sobre códigos — coleções massivas de leis onde cada palavra carrega um peso específico. Dentro dessas milhares de páginas, os legisladores frequentemente fazem pausas para definir seus próprios termos. Eles podem escrever: "Por dados pessoais, entendemos qualquer informação relativa a uma pessoa identificada", ou "Para fins deste artigo, um veículo inclui uma bicicleta". Estas não são apenas explicações úteis; elas são o motor jurídico que determina como os direitos e as obrigações funcionam. Sem essas definições precisas, o restante da lei não pode funcionar corretamente. No entanto, encontrar essas definições é difícil porque elas estão espalhadas por mais de 161.000 artigos ativos, enterradas em diferentes códigos que variam da saúde à tributação, sem um mapa organizado para guiar uma busca.

Essa falta de estrutura cria um problema significativo para a tecnologia. Se um advogado ou um sistema digital deseja saber exatamente o que um termo específico significa perante a lei, eles frequentemente precisam ler incontáveis páginas manualmente, sem a garantia de que encontraram todas as instâncias. O processamento de linguagem natural, o campo da ciência da computação que ensina as máquinas a compreender a linguagem humana, fez grandes progressos na análise de textos jurídicos, mas tem tido dificuldades com esta tarefa específica. A maioria das ferramentas existentes é projetada para o inglês ou para definições gerais encontradas em dicionários, não para as definições estritas e vinculativas encontradas na legislação francesa. Para preencher essa lacuna, pesquisadores criaram um novo recurso chamado NormDef-FR, uma coleção cuidadosamente curada dessas definições jurídicas, projetada para ensinar os computadores a encontrá-las e compreendê-las automaticamente.

Os pesquisadores, trabalhando na Universidade Abdelmalek Essaadi em Marrocos, abordaram o problema construindo uma ponte entre a perícia humana e a automação de máquina. Eles começaram reunindo as leis atuais e ativas da base de dados jurídica oficial francesa. Em vez de tentar ensinar um computador a ler toda a biblioteca de uma só vez, eles primeiro usaram padrões simples, baseados em regras, para detectar candidatos prováveis. Eles procuraram por frases específicas que a lei francesa utiliza para introduzir definições, como "é definido como" ou "é considerado como", ou o uso de dois pontos para separar um termo de seu significado. Essa varredura inicial gerou uma lista de potenciações de definições, mas estava longe de ser perfeita. Muitos desses candidatos eram falsos alarmes, capturando frases que pareciam definições, mas que eram, na verdade, outra coisa, como uma lista de documentos a serem submetidos ou uma descrição de um efeito jurídico.

Para transformar essa lista bruta em uma ferramenta de treinamento confiável, a equipe recorreu a especialistas humanos. Eles revisaram manualmente milhares desses candidatos, decidindo quais eram definições jurídicas verdadeiras e utilizáveis e quais deveriam ser descartadas. Eles também corrigiram os limites do texto, garantindo que o "termo" sendo definido e a própria "definição" fossem recortados exatamente de forma correta. Esse processo foi rigoroso. Os pesquisadores utilizaram dois especialistas independentes para rotular uma amostra dos dados para garantir que concordassem sobre o que contava como uma definição. O resultado foi um alto nível de concordância, confirmando que as regras para identificar essas definições eram claras e consistentes. O produto final, versão 1.0.0 do NormDef-FR, contém 693 definições verificadas extraídas de 363 artigos diferentes em 50 códigos jurídicos distintos. Cada entrada vincula o termo definido ao seu significado, inclui metadados sobre sua origem e nota o tipo específico de definição que é.

Com essa coleção de padrão ouro em mãos, os pesquisadores testaram quão bem os computadores poderiam aprender com ela. Eles estabeleceram três desafios diferentes para ver onde as máquinas tinham sucesso e onde tropeçavam. A primeira tarefa era simples extração: poderia um sistema identificar a definição e extrair o termo e o significado? A segunda tarefa era mais ampla: poderia um sistema olhar para um artigo inteiro e decidir se ele continha uma definição ou não? A terceira tarefa era a mais difícil: poderia um sistema pegar uma definição candidata gerada por um computador e decidir se era boa o suficiente para ser mantida, ou se era um erro que deveria ser descartado?

Os resultados revelaram uma hierarquia clara de dificuldade. As máquinas foram surpreendentemente boas na segunda tarefa. Quando questionadas sobre identificar quais artigos continham definições, os modelos apresentaram uma precisão quase perfeita, especialmente quando treinados em um conjunto de "negativos verdadeiros" — artigos que foram verificados manualmente para garantir que não continham definições de forma alguma. Essa descoberta foi crucial porque mostrou que o método anterior de assumir que qualquer artigo não presente na lista de definições era um "negativo" era falho; muitos desses artigos continham definições ocultas. Uma vez que os pesquisadores limparam os exemplos negativos, os computadores conseguiam facilmente distinguir entre um artigo denso em definições e um artigo comum.

No entanto, a terceira tarefa provou ser o verdadeiro gargalo. Quando os computadores tinham que validar pares específicos de termo-definição, seu desempenho caía significamente. Embora pudessem facilmente identificar a área geral onde uma definição poderia estar, eles tinham dificuldade em determinar se o par específico que haviam extraído era juridicamente válido. Eles frequentemente confundiam uma lista de requisitos ou uma instrução procedimental com uma definição. Os melhores modelos conseguiram acertar cerca de 71 por cento dessas decisões difíceis, uma grande distância em relação às pontuações quase perfeitas vistas na tarefa de detecção de artigos. Isso sugere que, embora os computadores possam encontrar o bairro certo, eles ainda precisam de ajuda humana para verificar a casa exata.

O estudo também destacou uma limitação surpreendente da inteligência artificial avançada neste contexto específico. Os pesquisadores testaram um modelo de linguagem sofisticado, semelhante aos usados para conversas gerais, contra um método mais simples e tradicional baseado em padrões de palavras. Para a tarefa difícil de validar candidatos, o modelo complexo não superou o método mais simples. Na verdade, o método mais simples era mais estável e confiável. Isso indica que, para textos jurídicos altamente especializados, onde as regras são rígidas e os padrões são específicos, uma abordagem direta que depende de marcadores linguísticos claros pode ser mais eficaz do que um sistema complexo tentando "compreender" o texto em um sentido geral.

A criação do NormDef-FR é mais do que apenas um conjunto de dados; é uma demonstração de como construir recursos confiáveis para a tecnologia jurídica. Os pesquisadores mostraram que simplesmente assumir a ausência de dados não é suficiente; você deve verificar ativamente o que não está lá. Ao verificar manualmente os exemplos negativos, eles evitaram que o sistema aprendesse lições erradas. Esse processo garante que o recurso seja robusto e confiável para desenvolvedores futuros. O conjunto de dados está agora disponível ao público, completo com documentação e scripts que permitem que outros reproduzam o trabalho. Ele serve como uma base para a construção de melhores ferramentas para pesquisa jurídica, ajudando a automatizar o trabalho tedioso de encontrar definições para que advogados e sistemas possam focar na interpretação da lei, em vez de caçar seu significado. Embora o trabalho não esteja terminado — versões futuras precisarão cobrir mais tipos de leis e rastrear como as definições mudam ao longo do tempo — ele fornece um ponto de partida sólido para trazer clareza ao mundo complexo dos códigos jurídicos franceses.