NormDef-FR: an annotated corpus of normative definitions for the automatic processing of French legal codes

El derecho se imagina a menudo como una vasta biblioteca de reglas, pero para un ordenador, es un mar caótico de texto. En Francia, el sistema jurídico se basa en códigos: colecciones masivas de leyes donde cada palabra tiene un peso específico. Dentro de estas miles de páginas, los legisladores se detienen con frecuencia para definir sus propios términos. Pueden escribir: "Por datos personales, entendemos cualquier información relativa a una persona identificada", o "Para los efectos de este artículo, un vehículo incluye una bicicleta". Estas no son solo explicaciones útiles; son el motor legal que determina cómo funcionan los derechos y las obligaciones. Sin estas definiciones precisas, el resto de la ley no puede funcionar correctamente. Sin embargo, encontrar estas definiciones es difícil porque están dispersas en más de 161.000 artículos activos, enterradas en diferentes códigos que van desde la salud hasta la fiscalidad, sin un mapa organizado que guíe la búsqueda.

Esta falta de estructura crea un problema significativo para la tecnología. Si un abogado o un sistema digital quiere saber exactamente qué significa un término específico ante la ley, a menudo tiene que leer incontables páginas manualmente, sin la garantía de haber encontrado todas las instancias. El procesamiento del lenguaje natural, el campo de la informática que enseña a las máquinas a comprender el lenguaje humano, ha logrado grandes avances en el análisis de textos legales, pero ha tenido dificultades con esta tarea específica. La mayoría de las herramientas existentes están diseñadas para el inglés o para definiciones generales que se encuentran en los diccionarios, no para las definiciones estrictas y vinculantes que se encuentran en la legislación francesa. Para cerrar esta brecha, los investigadores han creado un nuevo recurso llamado NormDef-FR, una colección cuidadosamente seleccionada de estas definiciones legales diseñada para enseñar a los ordenadores a encontrarlas y comprenderlas automáticamente.

Los investigadores, que trabajan en la Universidad Abdelmalek Essaadi en Marruecos, abordaron el problema construyendo un puente entre la experiencia humana y la automatización de las máquinas. Comenzaron recopilando las leyes actuales y activas de la base de datos jurídica oficial francesa. En lugar de intentar enseñar a un ordenador a leer toda la biblioteca a la vez, primero utilizaron patrones sencillos basados en reglas para detectar candidatos probables. Buscaron frases específicas que la ley francesa utiliza para introducir definiciones, tales como "se define como" o "se considera", o el uso de dos puntos para separar un término de su significado. Este barrido inicial generó una lista de posibles definiciones, pero estaba lejos de ser perfecta. Muchos de estos candidatos eran falsas alarmas, capturando frases que parecían definiciones pero que en realidad eran otra cosa, como una lista de documentos a presentar o una descripción de un efecto legal.

Para convertir esta lista aproximada en una herramienta de entrenamiento fiable, el equipo contó con la ayuda de expertos humanos. Revisaron manualmente miles de estos candidatos, decidiendo cuáles eran definiciones legales verdaderas y utilizables y cuáles debían descartarse. También corrigieron los límites del texto, asegurándose de que el "término" definido y la "definición" misma fueran recortados con exactitud. Este proceso fue riguroso. Los investigadores contaron con dos expertos independientes que etiquetaron una muestra de los datos para asegurar que coincidieran en lo que contaba como una definición. El resultado fue un alto nivel de acuerdo, confirmando que las reglas para identificar estas definiciones eran claras y consistentes. El producto final, la versión 1.0.0 de NormDef-FR, contiene 693 definiciones verificadas extraídas de 363 artículos diferentes a través de 50 códigos legales distintos. Cada entrada vincula el término definido con su significado, incluye metadatos sobre su procedencia y señala el tipo específico de definición que es.

Con esta colección de estándar de oro en mano, los investigadores probaron qué tan bien podían aprender los ordenadores. Establecieron tres desafíos diferentes para ver dónde tenían éxito las máquinas y dónde tropezaban. La primera tarea era la extracción simple: ¿podía un sistema detectar la definición y extraer el término y el significado? La segunda tarea era más amplia: ¿podía un sistema analizar un artículo completo y decidir si contenía una definición o no? La tercera tarea era la más difícil: ¿podía un sistema tomar una definición candidata generada por un ordenador y decidir si era lo suficientemente buena para conservarla, o si era un error que debía descartarse?

Los resultados revelaron una clara jerarquía de dificultad. Las máquinas fueron sorprendentemente buenas en la segunda tarea. Cuando se les pidió identificar qué artículos contenían definiciones, los modelos funcionaron con una precisión casi perfecta, especialmente cuando fueron entrenados con un conjunto de "negativos reales": artículos que habían sido revisados manualmente para asegurar que no contenían ninguna definición. Este hallazgo fue crucial porque demostró que el método anterior de asumir que cualquier artículo que no estuviera en la lista de definiciones era un "negativo" era erróneo; muchos de esos artículos contenían definiciones ocultas. Una vez que los investigadores limpiaron los ejemplos negativos, los ordenadores podían distinguir fácilmente entre un artículo con muchas definiciones y uno normal.

Sin embargo, la tercera tarea resultó ser el verdadero cuello de botella. Cuando los ordenadores tenían que validar pares específicos de término-definición, su rendimiento disminuía significamente. Aunque podían identificar fácilmente la zona general donde podría haber una definición, tenían dificultades para determinar si el par específico que habían extraído era legalmente válido. A menudo confundían una lista de requisitos o una instrucción procedimental con una definición. Los mejores modelos lograron acertar en aproximadamente el 71 por ciento de estas decisiones difíciles, una cifra muy lejana a las puntuaciones casi perfectas observadas en la tarea de detección de artículos. Esto sugiere que, si bien los ordenadores pueden encontrar el vecindario correcto, todavía necesitan la ayuda humana para verificar la casa exacta.

El estudio también destacó una limitación sorprendente de la inteligencia artificial avanzada en este contexto específico. Los investigadores probaron un modelo de lenguaje sofisticado, similar a los utilizados para la conversación general, frente a un método más simple y tradicional basado en patrones de palabras. Para la tarea difícil de validar candidatos, el modelo complejo no superó al más sencillo. De hecho, el método más simple fue más estable y fiable. Esto indica que, para textos legales altamente especializados, donde las reglas son rígidas y los patrones son específicos, un enfoque directo que se basa en marcadores lingüísticos claros puede ser más efectivo que un sistema complejo que intenta "comprender" el texto en un sentido general.

La creación de NormDef-FR es más que un conjunto de datos; es una demostración de cómo construir recursos fiables para la tecnología jurídica. Los investigadores demostraron que no basta con asumir la ausencia de datos; es necesario verificar activamente lo que no está ahí. Al revisar manualmente los ejemplos negativos, evitaron que el sistema aprendiera las lecciones equivocadas. Este enfoque asegura que el recurso sea robusto y digno de confianza para futuros desarrolladores. El conjunto de datos está ahora disponible para el público, completo con documentación y scripts que permiten a otros reproducir el trabajo. Sirve como base para construir mejores herramientas de investigación jurídica, ayudando a automatizar la tediosa tarea de encontrar definiciones para que los abogados y los sistemas puedan centrarse en interpretar la ley en lugar de buscar su significado. Aunque el trabajo no ha terminado —las futuras versiones deberán cubrir más tipos de leyes y rastrear cómo cambian las definiciones con el tiempo—, proporciona un punto de partida sólido para aportar claridad al complejo mundo de los códigos jurídicos franceses.