NormDef-FR: an annotated corpus of normative definitions for the automatic processing of French legal codes

Il diritto è spesso immaginato come una vasta biblioteca di regole, ma per un computer, è un mare caotico di testo. In Francia, il sistema giuridico si basa su codici: massicce raccolte di leggi dove ogni parola assume un peso specifico. All'interno di queste migliaia di pagine, i legislatori si fermano frequentemente per definire i propri termini. Potrebbero scrivere: "Per dati personali, si intende qualsiasi informazione relativa a una persona identificata", oppure "Ai fini del presente articolo, un veicolo include una bicicletta". Queste non sono solo spiegazioni utili; sono il motore legale che determina come funzionano i diritti e gli obblighi. Senza queste definizioni precise, il resto della legge non può funzionare correttamente. Tuttavia, trovare queste definizioni è difficile perché sono sparse in oltre 161.000 articoli attivi, sepolte in diversi codici che vanno dalla sanità alla tassazione, senza una mappa organizzata che guidi la ricerca.

Questa mancanza di struttura crea un problema significativo per la tecnologia. Se un avvocato o un sistema digitale vuole sapere esattamente cosa significhi un termine specifico agli occhi della legge, deve spesso leggere innumerevoli pagine manualmente, senza la garanzia di aver trovato ogni singola istanza. L'elaborazione del linguaggio naturale, il campo dell'informatica che insegna alle macchine a comprendere il linguaggio umano, ha compiuto grandi passi avanti nell'analisi dei testi legali, ma ha faticato con questo compito specifico. La maggior parte degli strumenti esistenti è progettata per l'inglese o per definizioni generali presenti nei dizionari, non per le definizioni rigorose e vincolanti presenti nella legislazione francese. Per colmare questa lacuna, i ricercatori hanno creato una nuova risorsa chiamata NormDef-FR, una collezione accuratamente curata di queste definizioni legali, progettata per insegnare ai computer come trovarle e comprenderle automaticamente.

I ricercatori, che lavorano presso l'Università Abdelmalek Essaadi in Marocco, hanno affrontato il problema costruendo un ponte tra l'esperienza umana e l'automazione delle macchine. Hanno iniziato raccogliendo le leggi attuali e vigenti dal database legale ufficiale francese. Invece di cercare di insegnare a un computer a leggere l'intera biblioteca in una volta sola, hanno prima utilizzato semplici modelli basati su regole per individuare i candidati probabili. Cercavano frasi specifiche che la legge francese usa per introdurre le definizioni, come "è definito come" o "è considerato come", o l'uso dei due punti per separare un termine dal suo significato. Questa scansione iniziale ha generato una lista di potenziali definizioni, ma era tutt'altro che perfetta. Molti di questi candidati erano falsi allarmi, catturando frasi che sembravano definizioni ma che erano in realtà altro, come un elenco di documenti da presentare o una descrizione di un effetto legale.

Per trasformare questa lista grezza in uno strumento di addestramento affidabile, il team ha coinvolto esperti umani. Hanno revisionato manualmente migliaia di questi candidati, decidendo quali fossero vere definizioni legali utilizzabili e quali dovessero essere scartate. Hanno anche corretto i confini del testo, assicurandosi che il "termine" oggetto della definizione e la "definizione" stessa fossero estratti con precisiono. Questo processo è stato rigoroso. I ricercatori hanno fatto in modo che due esperti indipendenti etichettassero un campione di dati per garantire che concordassero su cosa costituisse una definizione. Il risultato è stato un alto livello di accordo, confermando che le regole per identificare queste definizioni erano chiare e coerenti. Il prodotto finale, la versione 1.0.0 di NormDef-FR, contiene 693 definizioni verificate estratte da 363 articoli differenti attraverso 50 codici legali distinti. Ogni voce collega il termine definito al suo significato, include metadati sulla sua provenienza e indica il tipo specifico di definizione.

Con questa collezione standard di alta qualità in mano, i ricercatori hanno testato quanto bene i computer potessero apprendere da essa. Hanno impostato tre diverse sfide per vedere dove le macchine avessero successo e dove invece inciampassero. Il primo compito era l'estrazione semplice: un sistema poteva individuare la definizione e isolare il termine e il significato? Il secondo compito era più ampio: un sistema poteva esaminare un intero articolo e decidere se contenesse una definizione o meno? Il terzo compito era il più difficile: un sistema poteva prendere una definizione candidata generata da un computer e decidere se fosse abbastanza buona da essere mantenuta, o se fosse un errore da scartare.

I risultati hanno rivelato una chiara gerarchia di difficoltà. Le macchine sono state sorprendentemente brave nel secondo compito. Quando sono state chiamate a identificare quali articoli contenessero definizioni, i modelli hanno operato con un'accuratezza quasi perfetta, specialmente quando sono stati addestrati su un insieme di "veri negativi", ovvero articoli che sono stati controllati manualmente per garantire che non contenessero alcuna definizione. Questo reperto è stato cruciale perché ha dimostrato che il metodo precedente, che assumeva che qualsiasi articolo non presente nella lista delle definizioni fosse un "negativo", era fallace; molti di quegli articoli contenevano in realtà definizioni nascoste. Una volta che i ricercatori hanno ripulito gli esempi negativi, i computer sono riusciti facilmente a distinguere tra un articolo denso di definizioni e uno regolare.

Tuttavia, il terzo compito si è rivelato il vero collo di bottiglia. Quando i computer dovevano validare specifiche coppie termine-definizione, le loro prestazioni diminuivano significamente. Sebbene potessero facilmente individuare l'area generale in cui si trovava una definizione, faticavano a determinare se la coppia specifica che avevano estratto fosse legalmente valida. Spesso scambiavano un elenco di requisiti o un'istruzione procedurale per una definizione. I modelli migliori riuscivano a prendere circa il 71 percento di queste decisioni difficili, una distanza considerevole rispetto ai punteggi quasi perfetti visti nel compito di rilevamento dell'articolo. Ciò suggerisce che, sebbene i computer possano trovare il quartiere giusto, hanno ancora bisogno dell'aiuto umano per verificare la casa esatta.

Lo studio ha anche evidenziato un limite sorprendente dell'intelligenza artificiale avanzata in questo contesto specifico. I ricercatori hanno testato un sofisticato modello linguistico, simile a quelli usati per la conversazione generale, contro un metodo più semplice e tradizionale basato su modelli di parole. Per il compito difficile di validare i candidati, il modello complesso non ha superato il più semplice. Anzi, il metodo più semplice era più stabile e affidabile. Ciò indica che per i testi legali altamente specializzati, dove le regole sono rigide e i modelli sono specifici, un approccio diretto che si affida a chiari marcatori linguistici può essere più efficace di un sistema complesso che cerca di "comprendere" il testo in senso generale.

La creazione di NormDef-FR è più di un semplice dataset; è una dimostrazione di come costruire risorse affidabili per la tecnologia legale. I ricercatori hanno dimostrato che non è sufficiente assumere l'assenza di dati; bisogna verificare attivamente ciò che non c'è. Controllando manualmente gli esempi negativi, hanno impedito al sistema di apprendere lezioni errate. Questo approccio assicura che la risorsa sia robusta e affidabile per i futuri sviluppatori. Il dataset è ora disponibile al pubblico, completo di documentazione e script che permettono ad altri di riprodurre il lavoro. Esso funge da fondamento per la costruzione di strumenti migliori per la ricerca legale, aiutando ad automatizzare il lavoro tedioso di ricerca delle definizioni, affinché avvocati e sistemi possano concentrarsi sull'interpretazione della legge piuttosto che sulla ricerca del suo significato. Sebbene il lavoro non sia terminato — le versioni future dovranno coprire più tipi di leggi e monitorare come le definizioni cambiano nel tempo — esso fornisce un punto di partenza solido per portare chiarezza nel complesso mondo dei codici legali francesi.