Can Administrative Justice Be Predicted ? AStudy of Open Judicial Decisions in France

Resumen Técnico: ¿Se puede predecir la justicia administrativa? Un estudio de las decisiones judiciales abiertas en Francia

Planteamiento del problema
El artículo aborda una cuestión central en el análisis económico del derecho: qué modelos de Procesamiento de Lenguaje Natural (NLP) adaptados al dominio pueden predecir con mayor precisión y fiabilidad los resultados de las decisiones de los tribunales administrativos franceses utilizando datos judiciales abiertos. Si bien el mercado global de la IA jurídica se está expandiendo y las reformas institucionales (como la Ley de la República Digital) han hecho que las decisiones de los tribunales administrativos franceses sean públicas, existe una falta de análisis empírico a gran escala dirigido específicamente a los tribunales administrativos de primera instancia. El estudio busca determinar si existen señales predictivas significativas dentro de las descripciones fácticas y procesales de los casos, antes de la fundamentación jurídica o el fallo final de la corte, e identificar el enfoque de modelado óptimo para este dominio jurídico específico.

Metodología
El estudio emplea un flujo de trabajo (pipeline) sistemático de NLP aplicado a un corpus de 157.390 decisiones de tribunales administrativos de primera instancia publicadas entre enero de 2024 y septiembre de 2025.

• Construcción y preprocesamiento de datos:

  • Características de entrada (Input Features): Para evitar la filtración del resultado (outcome leakage), las entradas del modelo se limitan estrictamente a los antecedentes fácticos y procesales de cada decisión (extraídos del campo Texte-Integral, específicamente la sección que precede a la fundamentación jurídica). La fundamentación jurídica (Considérants) y la resolución dispositiva (D É C I D E) se excluyen explícitamente.
  • Variable de resultado: La variable objetivo es el resultado final del juicio (Solution). El conjunto de datos original contiene 22 categorías distintas, que se agregan en cuatro clases jurídicamente coherentes para asegurar la tratabilidad estadística:
    1. Rejet (Desestimación)
    2. Satisfaction partielle (Satisfacción parcial)
    3. Satisfaction totale (Satisfacción total)
    4. Renvoi (Remisión procesal)
  • Procesamiento de texto: El texto se somete a normalización (eliminación de puntuación, etiquetas XML, dígitos y fechas), tokenización y lematización. Se aplica una vectorización TF-IDF utilizando unigramas, filtrando los términos que aparecen en menos de 5 documentos o en más del 80% de los documentos.
  • Desequilibrio de clases: El conjunto de datos presenta un desequilibrio de clases significativo, donde la categoría "Rejet" comprende aproximadamente el 56% del corpus.
    • Para los modelos clásicos de aprendizaje automático, se aplican técnicas de remuestreo (SMOTE, BorderlineSMOTE, SMOTETomek, ADASYN) al conjunto de entrenamiento.
    • Para los modelos basados en transformadores (transformers), el desequilibrio de clases se aborda mediante funciones de pérdida ponderadas por clase durante el ajuste fino (fine-tuning), en lugar de la aumentación de datos.

• Evaluación del modelo:
  El estudio compara cinco familias de modelos:

  1. Aprendizaje Automático Clásico: Máquinas de Vectores de Soporte (SVM), Bosque Aleatorio (RF) y Clasificadores de Potenciación de Gradiente (GBC).
  2. Modelos de Transformadores: BERT de propósito general y JuriBERT (un modelo preentrenado específicamente en corpus jurídicos franceses).
  3. Modelo de Lenguaje Extenso (LLM): GPT, evaluado en un entorno de pocos disparos (few-shot) sin ajuste fino.

  El rendimiento se evalúa utilizando la puntuación F1 Macro y la Exactitud (Accuracy) en un conjunto de prueba reservado (30% de los datos), priorizando la puntuación F1 Macro debido a la naturaleza multiclase y desequilibrada del problema.

Resultos clave
Los resultados empíricos establecen una clara jerarquía de rendimiento entre las familias de modelos:

• JuriBERT (Mejor desempeño): El transformador adaptado al dominio logró el mayor rendimiento con una puntuación F1 Macro de 0,7184 y una Exactitud de 78,31%. Esto confirma que el preentrenamiento en textos jurídicos franceses mejora significativamente la capacidad predictiva en este dominio.
• BERT de propósito general: Superó a los modelos clásicos pero quedó por detrás de JuriBERT, logrando una puntuación F1 Macro de 0,6512.
• Baselines Clásicos: Entre los modelos tradicionales, el Bosque Aleatorio combinado con SMOTE fue el mejor desempeño con una puntuación F1 Macro de 0,6174 y una exactitud del 70,71%. SVM y GBC arrojaron puntuaciones F1 más bajas, enfrentando dificultades con las clases minoritarias a pesar de tener una exactitud comparable.
• GPT (Few-Shot): El baseline de GPT en modo few-shot alcanzó una puntuación F1 Macro de 0,5721, rindiendo por debajo del baseline clásico supervisado. Esto indica que, sin un ajuste fino específico para la tarea, los LLM son susceptibles al sesgo de la clase mayoritaria en tareas jurídicas multiclase con alto desequilibrio.

Contribuciones clave

1. Referencia Metodológica: El artículo proporciona el primer análisis empírico a gran escala de la justicia predictiva aplicada a los tribunales administrativos de primera instancia en Francia. Establece un flujo de trabajo de NLP replicable que aborda las restricciones específicas de los datos jurídicos franceses, incluyendo el desequilibrio de clases, el vocabulario específico del dominio y la necesidad de excluir el texto de la fundamentación para evitar la filtración de datos.
2. Validación de la Adaptación al Dominio: El estudio demuestra que los modelos adaptados al dominio (JuriBERT) superan sustancialmente tanto a los transformadores de propósito general como a los modelos clásicos de aprendizaje automático. Esto sugiere que la estructura especializada y el vocabulario de la justicia administrativa francesa requieren un preentrenamiento específico para ser modelados eficazmente.
3. Evidencia de Señal Predictiva: Los resultados confirman que existe suficiente información para pronosticar los resultados judiciales en el contenido fáctico observable de las disputas, antes de que se conozca la fundamentación o el fallo de la corte.

Significado y Reivindicaciones
El artículo sostiene que estos hallazgos tienen implicaciones directas para el análisis económico del derecho. La existencia de una fuerte señal predictiva en las descripciones fácticas sugiere que:

• Incentivos de Litigiosidad: Si se hicieran accesibles, tales herramientas predictivas podrían alterar los incentivos de presentación de demandas y acuerdos para los litigantes.
• Asimetría de Información: Actualmente, los "jugadores recurrentes" (administraciones públicas) poseen una ventaja de información sobre los litigantes individuales respecto a cómo los patrones fácticos se mapean con los resultados. Una herramienta predictiva fiable podría, teóricamente, reducir esta brecha, proporcionando a los litigantes individuales una base comparable para anticipar los resultados.
• Comportamiento Estratégico: Siguiendo el marco de Priest y Klein (1984), estas herramientas podrían influir en la asignación estratégica de casos entre el litigio, la negociación y la retirada.

El autor mantiene la modestia respecto al alcance del estudio, señalando limitaciones como el periodo de observación relativamente corto (20 meses), la agregación de las categorías de resultados que descarta parte del matiz jurídico, y la posible heterogeneidad geográfica entre los 42 tribunales administrativos franceses. No pretende que la herramienta reemplace el razonamiento judicial, sino que sirve como un recurso empírico para estudiar el comportamiento judicial y los incentivos de litigiosidad.