Can Administrative Justice Be Predicted ? AStudy of Open Judicial Decisions in France

Sintesi Tecnica: La giustizia amministrativa può essere predetta? Uno studio sulle decisioni giudiziarie aperte in Francia

Definizione del problema
Il documento affronta una questione centrale nell'analisi economica del diritto: quali modelli di Elaborazione del Linguaggio Naturale (NLP) adattati al dominio possono prevedere in modo più accurato e affidabile l'esito delle decisioni dei tribunali amministrativi francesi utilizzando dati giudiziari aperti? Mentre il mercato globale dell'IA legale è in espansione e le riforme istituzionali (come la Legge sulla Repubblica Digitale) hanno reso pubbliche le decisioni dei tribunali amministrativi francesi, manca un'analisi empirica su larga scala rivolta specificamente ai tribunali amministrativi di primo grado. Lo studio mira a determinare se esistano segnali predittivi significativi all'interno delle descrizioni fattuali e procedurali dei casi, prima del ragionamento giuridico o della sentenza finale, e a identificare l'approccio di modellazione ottimale per questo specifico dominio legale.

Metodologia
Lo studio impiega una pipeline NLP sistematica applicata a un corpus di 157.390 decisioni di tribunali amministrativi di primo grado pubblicate tra gennaio 2024 e settembre 2025.

• Costruzione e pre-elaborazione dei dati:

  • Feature di input: Per prevenire il data leakage (perdita di dati) sull'esito, gli input del modello sono strettamente limitati allo sfondo fattuale e procedurale di ogni decisione (estratto dal campo Texte-Integral, specificamente la sezione che precede il ragionamento giuridico). Il ragionamento giuridico (Considérants) e la decisione dispositiva (D É C I D E) sono esplicitamente esclusi.
  • Variabile di esito: La variabile target è l'esito finale della sentenza (Solution). Il dataset originale contiene 22 categorie distinte, che sono state aggregate in quattro classi giuridicamente coerenti per garantire la trattabilità statistica:
    1. Rejet (Rigetto)
    2. Satisfaction partielle (Soddisfazione parziale)
    3. Satisfaction totale (Soddisfazione totale)
    4. Renvoi (Rinvio procedurale)
  • Elaborazione del testo: Il testo viene sottoposto a normalizzazione (rimozione di punteggiatura, tag XML, cifre e date), tokenizzazione e lemmatizzazione. Viene applicata una vettorizzazione TF-IDF con unigrammi, filtrando i termini che compaiono in meno di 5 documenti o in più dell'80% dei documenti.
  • Sbilanciamento delle classi: Il dataset presenta un significativo sbilanciamento delle classi, con la categoria "Rejet" che comprende circa il 56% del corpus.
    • Per i modelli di machine learning classici, vengono applicate tecniche di campionamento (SMOTE, BorderlineSMOTE, SMOTETomek, ADASYN) al set di addestramento.
    • Per i modelli basati su transformer, lo sbilanciamento delle classi è affrontato tramite funzioni di perdita pesate per classe (class-weighted loss functions) durante il fine-tuning, anziché tramite data augmentation.

• Valutazione del modello:
  Lo studio confronta cinque famiglie di modelli:

  1. Machine Learning Classico: Support Vector Machines (SVM), Random Forest (RF) e Gradient Boosting Classifiers (GBC).
  2. Modelli Transformer: BERT generalista e JuriBERT (un modello pre-addestrato specificamente su corpora legali francesi).
  3. Large Language Model (LLM): GPT, valutato in un contesto few-shot senza fine-tuning.

  Le prestazioni sono valutate utilizzando il Macro F1-score e l'Accuratezza su un set di test separato (30% dei dati), con priorità al Macro F1-score a causa della natura multi-classe e sbilanciata del problema.

Risultati Chiave
I risultati empirici stabiliscono una chiara gerarchia di prestazioni tra le famiglie di modelli:

• JuriBERT (Miglior performer): Il transformer adattato al dominio ha ottenuto le prestazioni più elevate con un Macro F1-score di 0,7184 e un'Accuratezza del 78,31%. Ciò conferma che il pre-addestramento su testi legali francesi migliora significativamente la capacità predittiva in questo dominio.
• BERT Generalista: Ha superato i modelli classici ma è rimasto inferiore a JuriBERT, ottenendo un Macro F1-score di 0,6512.
• Baseline Classiche: Tra i modelli tradizionali, il Random Forest combinato con SMOTE è stato il migliore con un Macro F1-score di 0,6174 e un'accuratezza del 70,71%. SVM e GBC hanno prodotto F1-score inferiori, faticando spesso con le classi minoritarie nonostante l'accuratezza comparabile.
• GPT (Few-Shot): La baseline GPT few-shot ha ottenuto un Macro F1-score di 0,5721, performando al di sotto della baseline classica supervisionata. Ciò indica che, senza un fine-tuning specifico per il compito, gli LLM sono suscettibili al bias verso la classe maggioritaria in compiti legali multi-classe ad alto sbilanciamento.

Contributi Chiave

1. Benchmark Metodologico: Il documento fornisce la prima analisi empirica su larga scala della giustizia predittiva applicata ai tribunali amministrativi francesi di primo grado. Stabilisce una pipeline NLP replicabile che affronta i vincoli specifici dei dati legali francesi, inclusi lo sbilanciamento delle classi, il vocabolario specifico del dominio e la necessità di escludere il testo del ragionamento per evitare il data leakage.
2. Validazione dell'Adattamento al Dominio: Lo studio dimostra che i modelli adattati al dominio (JuriBERT) superano sostanzialmente sia i transformer generalisti che le baseline di machine learning classico. Ciò suggerisce che la struttura specializzata e il vocabolario della giustizia amministrativa francese richiedono un pre-addestramento specifico per essere modellati efficacemente.
3. Evidenza del Segnale Predittivo: I risultati confermano che informazioni sufficienti per prevedere gli esiti giudiziari sono incorporate nel contenuto fattuale osservabile delle controversie, prima che il ragionamento o la sentenza del tribunale siano noti.

Significato e Rivendicazioni
Il documento sostiene che questi risultati hanno implicazioni dirette per l'analisi economica del diritto. L'esistenza di un forte segnale predittivo nelle descrizioni fattuali suggerisce che:

• Incentivi al contenzioso: Se accessibili, tali strumenti predittivi potrebbero alterare gli incentivi di deposito e transazione per i litiganti.
• Asimmetria Informativa: Attualmente, i "giocatori ricorrenti" (le amministrazioni pubbliche) possiedono un vantaggio informativo rispetto ai singoli litiganti su come i modelli fattuali si traducano in esiti. Uno strumento predittivo affidabile potrebbe teoricamente ridurre questo divario, fornendo ai singoli litiganti una base comparabile per anticipare gli esiti.
• Comportamento Strategico: Seguendo il quadro di Priest e Klein (1984), questi strumenti potrebbero influenzare l'allocazione strategica dei casi tra contenzioso, negoziazione e ritiro.

L'autore rimane modesto riguardo all'ambito dello studio, notando limitazioni come la finestra di osservazione relativamente breve (20 mesi), l'aggregazione delle categorie di esito che scarta alcune sfumature legali, e il potenziale di eterogeneità geografica tra i 42 tribunali amministrativi francesi. Non sostiene che lo strumento debba sostituire il ragionamento giudiziario, ma piuttosto che serva come risorsa empirica per studiare il comportamento giudiziario e gli incentivi al contenzioso.