🤖 AI

Where Experts Disagree, Models Fail: Detecting Implicit Legal Citations in French Court Decisions

Este artículo presenta un punto de referencia para la detección de citas implícitas del Código Civil francés y demuestra que el desacuerdo de los expertos en estos casos sirve como una señal crítica de dificultad intrínseca, revelando que mientras los modelos tienen dificultades con las instancias disputadas, un enfoque de consenso multi-modelo puede clasificar eficazmente a los candidatos de alta confianza sin supervisión.

Autores originales: Avrile Floro (UPHF), Tamara Dhorasoo (UPHF), Soline Pellez (UPHF), Nils Holzenberger

Publicado 2026-07-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Avrile Floro (UPHF), Tamara Dhorasoo (UPHF), Soline Pellez (UPHF), Nils Holzenberger

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio en una biblioteca gigante de decisiones judiciales francesas. Tu trabajo es encontrar las "pistas ocultas": momentos en los que un juez utiliza una regla específica de un libro de leyes (el Código Civil) para tomar una decisión, pero nunca menciona el nombre de la regla.

Es como si un chef hiciera un pastel perfecto pero nunca mencionara la "harina" en la receta. Sabes que usó harina porque el pastel sabe a harina, pero el texto no lo dice. En el mundo jurídico, estas se denominan citaciones implícitas.

El gran problema: El "punto ciego"

Normalmente, los abogados encuentran las leyes buscando palabras clave como "Artículo 1192". Pero si un juez aplica ese artículo sin escribir el número, el motor de búsqueda se queda ciego. Esto crea un enorme vacío en nuestra comprensión de cómo se utilizan realmente las leyes. Los autores de este artículo querían construir un programa informático (un modelo) que pudiera actuar como un superdetective y encontrar estas reglas ocultas.

El experimento: Una prueba de tres expertos

Para enseñar al ordenador, el equipo creó un conjunto de prueba especial de 1.015 pares de textos. Pidieron a tres expertos legales que examinaran cada par y decidieran: "¿Está el juez usando esta ley, o solo está hablando de hechos?".

Aquí es donde la cosa se puso interesante. Los expertos no siempre estaban de acuerdo. En aproximadamente un tercio de los casos (3erm 39), los expertos discutieron. Uno podía decir: "¡Sí, esa es la ley!", mientras que otro decía: "No, eso es solo un hecho".

El hallazgo principal: Donde los humanos tropiezan, los ordenadores también

El mayor descubrimiento del artículo es un tanto irónico. Normalmente, cuando los expertos discrepan, pensamos que es solo "ruido" o confusión. Pero los autores descubrieron que esta discrepancia es en realidad una señal de advertencia.

Cuando los expertos no lograban ponerse de acuerdo sobre si se estaba aplicando una ley, los modelos informáticos fallaban casi siempre.

El mejor equipo de ordenadores (un "ensamble" de modelos) obtuvo una puntuación de 0,70 general, lo cual es aceptable.
Sin embargo, observemos los errores: dos tercios de las falsas alarmas del ordenador (decir "Sí, es la ley" cuando no lo era) ocurrieron precisamente en esos casos complicados donde los expertos humanos estaban discutiendo.

El artículo sugiere que estos no son simples errores aleatorios. Son dificultades intrínsecas. La línea entre "aplicar una ley" y "exponer un hecho" es borrosa, incluso para los humanos. Cuando los humanos no están seguros, los ordenadores tienen más probabilidades de estar equivocados con total seguridad.

Lo que el artículo descarta (La lista de los "No")

No es solo "ruido": El artículo argumenta contra la idea de que el desacuerdo de los expertos sea simplemente datos desordenados que deban ignorarse. Al contrario, es una señal de que el caso es genuinamente difícil.
No es un problema resuelto: Los autores no afirman haber construido una herramienta perfecta que pueda reemplazar a los abogados. Establecen explícitamente que la clasificación perfecta (acertar un Sí/No simple cada vez) no es actualmente posible para estos casos complicados.
No es solo la "mente" del ordenador: El fallo no se debe a que el ordenador sea "tonto". Incluso cuando el ordenador estaba muy seguro (dando una puntuación alta), seguía equivocándose en estos casos disputados. El artículo demuestra que la confianza no equivale a la precisión cuando los humanos están discutiendo.

La luz al final del túnel: Una nueva forma de jugar

Entonces, si el ordenador no puede dar una respuesta perfecta de Sí o No, ¿es inútil? Los autores dicen que no. Sugieren un juego diferente: Clasificación por orden de relevancia (Ranking).

En lugar de preguntar al ordenador: "¿Es esto la ley?" (lo cual podría errar), pregúntale: "¿Cuáles son los 200 casos más probables de ser la ley?".

Al dejar que múltiples modelos voten y clasificar los resultados, crearon una "lista corta".
Cuando examinaron los 200 candidatos principales, el 76% eran correctos.
Esto significa que un abogado podría usar la herramienta para escanear miles de documentos y obtener una lista manejable de las pistas ocultas más prometedoras para revisar manualmente.

¿Qué tan seguros estamos?

Los autores son muy cuidadosos con su lenguaje.

Midieron la discrepancia y las tasas de error de forma precisa utilizando su conjunto de datos de 1.015 casos.
Demostraron que los errores se concentran en los casos disputados a través de diez modelos diferentes.
Sugieren (pero no demuestran) que este patrón existe debido a la "textura abierta" del derecho —un concepto donde las reglas jurídicas tienen un núcleo claro pero bordes difusos donde la aplicación es incierta—.
Demostraron que una herramienta de clasificación no supervisada (que no necesita etiquetas humanas para funcionar) puede alcanzar esa precisión del 76% en los 200 mejores resultados.

La conclusión

El artículo concluye que no debemos esperar que los ordenadores reemplacen perfectamente el juicio humano en estos bordes difusos de la ley. En su lugar, el mejor uso de la IA es actuar como un foco de alta potencia. No puede darte el veredicto final, pero puede iluminar los 200 candidatos más probables de entre un millón, permitiendo que el experto humano realice el trabajo final y crucial de decidir qué es real y qué es solo una sombra.

En resumen: Donde los expertos discrepan, los modelos fallan. Pero si usas los modelos para encontrar el "montón de los posibles", aún puedes encontrar el oro.

Resumen Técnico: Detección de Citas Legales Implícitas en Decisiones Judiciales Francesas

Planteamiento del Problema
El artículo aborda una brecha crítica en el análisis jurídico computacional: la detección de citas normativas implícitas. Mientras que las citas explícitas (por ejemplo, "conforme al Artículo 1192") son fácilmente recuperables mediante búsqueda por palabras clave, los tribunales aplican con frecuencia reglas jurídicas sin mencionar el artículo específico. Esto crea un "punto ciego" tanto para los profesionales del derecho que buscan aplicaciones prácticas de una norma, como para los investigadores cuantitativos que estudian tendencias jurisprudenciales. La tarea se define como determinar, dado un pasaje de una decisión judicial y un artículo candidato del Código Civil, si el pasaje aplica la regla jurídica de dicho artículo sin mencionarlo explícitamente. Esto requiere distinguir el razonamiento jurídico genuino de la mera similitud semántica o la descripción de hechos.

Metodología
Los autores proponen un pipeline integral que involucra la construcción de un conjunto de datos, la anotación por expertos y la evaluación multimodelo:

Construcción del Conjunto de Datos:
- Fuente: 182,155 decisiones de tribunales civiles de primera instancia franceses (tribunaux judiciaires) recopiladas a través de la API Judilibre (diciembre de 2023–julio de 2025).
- Generación de Candidatos: Se entrenó un bi-encoder (basado en JuriBERT) utilizando citas explícitas (enmascarando los números de los artículos para evitar el emparejamiento de patrones) para recuperar artículos semánticamente similares para fragmentos de decisiones. Se filtraron los candidatos que contenían palabras clave explícitas.
- Filtrado Adversario: Para asegurar que el conjunto de datos contuviera ejemplos desafiantes, los autores utilizaron el modelo o3 de OpenAI con un prompt estricto para filtrar candidatos. Solo se retuvieron los pares donde o3 predijo una aplicación implícita, creando un conjunto de negativos "difíciles" donde los modelos que compartieran los patrones de razonamiento de o3 probablemente fallarían.
- Benchmark Final: Se seleccionaron 1,015 pares pasaje–artículo, que cubren 418 artículos distintos del Código Civil (77% provenientes del Libro III: Obligaciones).
Protocolo de Anotación:
- Tres expertos con formación jurídica anotaron el conjunto de datos.
- Gestión del Desacuerdo: A diferencia de las prácticas estándar de PLN que tratan el desacuerdo como ruido, los autores lo trataron como una señal. A1 y A2 etiquetaron todos los 1,015 pares; A3 adjudicó los 339 casos (33.4%) donde A1 y A2 discreparon.
- Hallazgo Clave: El 92.6% de los casos en disputa se resolvieron como "No" (no implícito), involucrando frecuentemente la frontera entre la descripción de hechos y el razonamiento jurídico.
Evaluación Experimental:
- Aprendizaje Supervisado: Se evaluaron ocho codificadores preentrenados (incluyendo modelos de dominio legal como JuriBERT y SAUL-7B) congelados, con clasificadores simples (Regresión Logística, MLP) entrenados en su parte superior. Se construyó un ensamble de cuatro modelos mediante stacking.
- LLMs Zero-Shot: Se evaluaron diez LLM ajustados por instrucciones (que van desde 7B hasta 70B de parámetros) mediante prompting zero-shot.
- Ranking No Supervisado: Se desarrolló una estrategia de ranking utilizando la intersección de las predicciones de cuatro LLM con bajo sesgo positivo, combinada con baselines léxicos (TF-IDF, BM25) y un cross-encoder.

Resultos Clave

Rendimiento de los Modelos: El mejor ensamble supervisado alcanzó una puntuación F1 de 0.70 y un MCC de 0.53. Los LLM zero-shot generalmente exhibieron un alto sesgo positivo (prediciendo "Sí" con demasiada frecuencia), lo que los hace poco fiables como clasificadores binarios pero útiles como señales de ranking.
La Correlación Desacuerdo-Fallo: El hallazgo central es que los errores de los modelos se concentran en los casos donde los expertos humanos discrepan.
- Los falsos positivos del ensamble supervisado se localizaron desproporcionadamente en el 33% de los casos en disputa.
- La tasa de falsos positivos en casos en disputa fue del 14.3%, comparada con el 8.4% en casos acordados (un aumento de 1.7x).
- Este patrón se mantuvo en los diez modelos evaluados, incluyendo cross-encoders ajustados y baselines de NLI.
- Los modelos mantuvieron su confianza en sus predicciones incorrectas en los casos en disputa, lo que indica una falta de calibración en escenarios ambiguos.
Utilidad No Supervisada: Reencuadrando la tarea como un problema de recuperación top- $k$ , un ensamble no supervisado logró una precisión del 76% en $k=200$ (recuperando el 34% de los verdaderos positivos), superando significativamente el ranking aleatorio y los baselines léxicos.

Significado y Reivindicaciones
El artículo sostiene que el desacuerdo de los expertos no es ruido de anotación sino una señal de la dificultad intrínseca de la tarea, que probablemente refleja la "textura abierta" de los conceptos jurídicos (Hart, 1961), donde la frontera entre el hecho y el derecho es genuinamente ambigua.

Limitaciones de la Clasificación: Los autores argumentan que la clasificación binaria perfecta es inalcanzable para estos casos ambiguos porque incluso los expertos humanos no pueden alcanzar un consenso.
Vía Práctica: En lugar de juicios binarios, el artículo propone el ranking con consenso multimodelo como una herramienta viable para los profesionales del derecho. Al presentar una lista corta manejable de candidatos (por ejemplo, los mejores 200), el sistema permite a los expertos triar los casos donde la ley es más ambigua, en lugar de intentar automatizar la decisión final.
Contribución al PLN: Este trabajo desafía la práctica estándar del PLN de suprimir el desacuerdo de los anotadores, demostrando que en el dominio legal, el desacuerdo predice el fallo del modelo y debe utilizarse para identificar los límites de los métodos computacionales actuales.

El artículo concluye que, si bien los métodos computacionales tienen dificultades con la "penumbra" del razonamiento jurídico, aún pueden proporcionar una asistencia útil al resaltar los casos limítrofes para la revisión humana, siempre que el sistema esté diseñado para reconocer y gestionar la incertidumbre en lugar de ocultarla.