Can Administrative Justice Be Predicted ? AStudy of Open Judicial Decisions in France

Technische Samenvatting: Kan de administratieve rechtspraak voorspeld worden? Een studie naar openbare gerechtelijke beslissingen in Frankrijk

Probleemstelling
Het artikel behandelt een centrale vraag binnen de economische analyse van het recht: welke domein-specifieke Natural Language Processing (NLP) modellen kunnen de uitkomsten van Franse administratieve rechtbankbeslissingen het meest nauwkeurig en betrouwbaar voorspellen met behulp van openbare juridische gegevens? Terwijl de wereldwijde juridische AI-markt groeit en institutionele hervormingen (zoals de Wet op de Digitale Republiek) Franse administratieve rechtspraak publiekelijk toegankelijk hebben gemaakt, ontbreekt een grootschalige empirische analyse die specifiek gericht is op administratieve rechtbanken van eerste aanleg. De studie onderzoekt of er betekenisvolle voorspellende signalen aanwezig zijn in de feitelijke en procedurele beschrijvingen van zaken, voorafgaand aan de juridische motivering of het uiteindelijke vonnis, en identificeert de optimale modelleringsaanpak voor dit specifieke juridische domein.

Methodologie
De studie maakt gebruik van een systematische NLP-pipeline toegepast op een corpus van 157.390 beslissingen van administratieve rechtbanken van eerste aanleg, gepubliceerd tussen januari 2024 en september 2025.

• Dataconstructie en Preprocessing:

  • Inputkenmerken: Om 'outcome leakage' (informatielekkage over de uitkomst) te voorkomen, zijn de modelinputs strikt beperkt tot de feitelijke en procedurele achtergrond van elke beslissing (geëxtraheerd uit het Texte-Integral-veld, specif으로 de sectie voorafgaand aan de juridische motivering). De juridische motivering (Considérants) en de beslissende verklaring (D É C I D E) worden expliciet uitgesloten.
  • Uitkomstvariabele: De doelvariabele is de uiteindelijke uitkomst van het vonnis (Solution). De ruwe dataset bevat 22 verschillende categorieën, die zijn geaggregeerd in vier juridisch coherente klassen om statistische hanteerbaarheid te garanderen:
    1. Rejet (Afwijzing)
    2. Satisfaction partielle (Gedeeltelijke voldoening)
    3. Satisfaction totale (Volledige voldoening)
    4. Renvoi (Procedurele verwijzing)
  • Tekstverwerking: De tekst ondergaat normalisatie (verwijdering van interpunctie, XML-tags, cijfers en datums), tokenisatie en lemmatisering. Er wordt een TF-IDF-vectorisatie toegepast met unigrammen, waarbij termen die in minder dan 5 documenten of in meer dan 80% van de documenten voorkomen, worden weggefilterd.
  • Klassenimbalans: De dataset vertoont een aanzienlijke klassenimbalans, waarbij de categorie "Rejet" ongeveer 56% van het corpus beslaat.
    • Voor klassieke machine learning-modellen worden resampling-technieken (SMOTE, BorderlineSMOTE, SMOTETomek, ADASYN) toegepast op de trainingsset.
    • Voor transformer-gebaseerde modellen wordt de klassenimbalans aangepakt via class-weighted loss functions tijdens de fine-tuning, in plaats van via data-augmentatie.

• Modelevaluatie:
  De studie vergelijkt vijf modelfamilies:

  1. Klassieke Machine Learning: Support Vector Machines (SVM), Random Forest (RF) en Gradient Boosting Classifiers (GBC).
  2. Transformer Modellen: Algemene BERT en JuriBERT (een model dat specifiek is voorgetraind op Franse juridische corpora).
  3. Large Language Model (LLM): GPT, geëvalueerd in een few-shot setting zonder fine-tuning.

  Prestaties worden geëvalueerd met behulp van de Macro F1-score en Accuratesse op een onafhankelijke testset (30% van de data), waarbij de voorkeur wordt gegeven aan de Macro F1-score vanwege de multi-class, ongebalanceerde aard van het probleem.

Belangrijkste Resultaten
De empirische resultaten vestigen een duidelijke prestatiehiërarchie tussen de modelfamilies:

• JuriBERT (Beste Presteerder): De domein-specifieke transformer behaalde de hoogste prestaties met een Macro F1-score van 0,7184 en een Accuratesse van 78,31%. Dit bevestigt dat voorgetraind worden op Franse juridische teksten de voorspellende capaciteit in dit domein aanzienlijk verbetert.
• Algemene BERT: Presteerde beter dan klassieke modellen, maar bleef achter bij JuriBERT, met een Macro F1-score van 0,6512.
• Klassieke Baselines: Onder de traditionele modellen presteerde Random Forest gecombineerd met SMOTE het best met een Macro F1-score van 0,6174 en een accuratesse van 70,71%. SVM en GBC leverden lagere F1-scores op, waarbij ze vaak moeite hadden met minderheidsklassen ondanks een vergelijkbare accuratesse.
• GPT (Few-Shot): De few-shot GPT-baseline behaalde een Macro F1-score van 0,5721, wat lager is dan de gesuperviseerde klassieke baseline. Dit geeft aan dat LLM's zonder taakspecifieke fine-tuning gevoelig zijn voor de bias van de meerderheidsklasse in taken met een hoge imbalans en meerdere klassen.

Belangrijkste Bijdragen

1. Methodologische Benchmark: Het artikel biedt de eerste grootschalige empirische analyse van voorspellende rechtspraak toegepast op Franse administratieve rechtbanken van eerste aanleg. Het stelt een reproduceerbare NLP-pipeline vast die rekening houdt met specifieke beperkingen van Franse juridische data, waaronder klassenimbalans, domeinspecifieke vocabulaire en de noodzaak om de motiverende tekst uit te sluiten om data-lekkage te voorkomen.
2. Validatie van Domeinadaptatie: De studie toont aan dat domein-specifieke modellen (JuriBERT) de algemene purpose transformers en klassieke machine learning-baselines substantieel overtreffen. Dit suggereert dat de gespecialiseerde structuur en vocabulaire van de Franse administratieve rechtspraak specifieke voorgetrainde modellen vereisen om effectief gemodelleerd te kunnen worden.
3. Bewijs van een Voorspellend Signaal: De resultaten bevestigen dat er voldoende informatie aanwezig is in de observeerbare feitelijke inhoud van geschillen om juridische uitkomsten te voorspellen, nog voordat de motivering of het vonnis van de rechtbank bekend is.

Betekenis en Claims
Het artikel stelt dat deze bevindingen directe implicaties hebben voor de economische analyse van het recht. Het bestaan van een sterk voorspellend signaal in de feitelijke beschrijvingen suggereert dat:

• Procesvoering-incentives: Indien toegankelijk, zouden dergelijke voorspellende instrumenten de prikkels voor het indienen van zaken en schikkingen kunnen veranderen.
• Informatie-asymmetrie: Momenteel beschikken "repeat players" (overheidsinstanties) over een informatievoordeel ten opzichte van individuele procespartijen wat betreft hoe feitelijke patronen zich vertalen naar uitkomsten. Een betrouwbaar voorspellend instrument zou theoretisch dit gat kunnen verkleinen, waardoor individuele procespartijen een vergelijkbare basis krijgen om uitkomsten te voorzien.
• Strategisch Gedrag: Volgens het kader van Priest en Klein (1984) kunnen deze instrumenten de strategische allocatie van zaken tussen procederen, onderhandelen en intrekken beïnvloeden.

De auteur blijft bescheiden over de reikwijdte van de studie en wijst op beperkingen zoals het relatief korte observatievenster (20 maanden), de aggregatie van uitkomstcategorieën die enige juridische nuance weglaat, en de potentiële geografische heterogeniteit tussen de 42 Franse administratieve rechtbanken. De auteur beweert niet dat het instrument de juridische motivering moet vervangen, maar stelt dat het dient als een empirische bron voor het bestuderen van juridisch gedrag en procesvoering-incentives.