Confronting Label Indeterminacy in Automated Bail Decisions

Sintesi Tecnica: Affrontare l'Indeterminazione delle Etichette nelle Decisioni Automatizzate sulla Libertà sotto Cauzione

Enunciato del Problema
I sistemi di supporto alle decisioni automatizzate per la libertà sotto cauzione affrontano una limitazione fondamentale dei dati nota come indeterminazione delle etichette. Nei contesti pre-processuali, l'esito controfattuale—se un imputato si sarebbe presentato in tribunale se rilasciato—non è osservato quando la libertà sotto cauzione viene negata e l'imputato è trattenuto. Di conseguenza, i dataset storici contengono un'indeterminazione strutturale: l'esito osservato (presentazione in tribunale) è una conseguenza diretta della decisione di detenzione piuttosto che della propensione sottostante dell'imputato a presentarsi. L'addestramento di modelli di machine learning su tali dati senza affrontare questa indeterminazione rischia di incorporare bias strutturali e di rafforzare cicli di retroazione, poiché i modelli apprendono da esiti che sono parzialmente determinati dalle stesse decisioni che mirano a prevedere.

Metodologia
Gli autori hanno condotto uno studio di caso utilizzando 90.732 casi giudiziari anonimizzati del Sistema Giudiziario Unificato della Pennsylvania (2016–2020). La variabile target è il Mancato Presentarsi (FTA). Lo studio definisce le etichette "indeterminate" come i casi in cui un intervento (detenzione preventiva) altera l'esito osservato, rendendo non osservabile la vera propensione dell'imputato. Ciò include casi in cui la libertà sotto cauzione è stata negata, fissata ma non pagata, parzialmente versata, o in cui le fideiussioni sono state terminate per motivi diversi dalla mancata comparizione.

Per indagare l'impatto della gestione di queste etichette, gli autori:

1. Hanno definito cinque strategie di imputazione:

   • Etichette corrette ($corr$): Mantiene le etichette originali (presentazione) per gli imputati trattenuti, assumendo che si sarebbero presentati se rilasciati.
   • Detenzione come fallimento ($daf$): Assegna un'etichetta FTA a tutti gli imputati trattenuti, assumendo che la detenzione rifletta una previsione accurata della mancata presentazione.
   • Solo osservati ($obs$): Esclude tutti i casi indeterminati, addestrando solo sui casi in cui la libertà sotto cauzione è stata concessa.
   • Osservati + Ponderazione inversa della propensione ($obs\_ip$): Addestra sui casi osservati ma applica una ponderazione inversa della propensione per correggere il bias del campione, assumendo che tutti i fattori che influenzano le decisioni sulla libertà sotto cauzione siano catturati nei dati.
   • Vicino più prossimo ($nn$): Imputa le etichette per gli imputati trattenuti basandosi sugli esiti dei casi più simili in cui la libertà sotto cauzione è stata concessa ($k=52$).

2. Configurazione Sperimentale:

   • Sono stati addestrati tre modelli di machine learning: Regressione Logistica, Random Forest e XGBoost.
   • Il dataset è stato suddiviso in un set di test (20%) e 25 sottoinsiemi di addestramento bilanciati (tramite undersampling della classe minoritaria FTA).
   • Gli attributi sensibili (razza, sesso) sono stati mantenuti per riflettere le distribuzioni dei dati reali, mentre le caratteristiche post-decisione (importo della cauzione, stato) sono state escluse.
   • È stato addestrato un totale di 348 modelli (3 modelli × 5 metodi × 25 sottoinsiemi).

3. Valutazione:

   • Le prestazioni predittive sono state misurate utilizzando il Coefficiente di Correlazione di Matthew (MCC) sia sui casi di test determinati che indeterminati.
   • Il comportamento predittivo è stato analizzato tramite distribuzioni di previsione (grafici a violino) e distanze di Wasserstein.
   • I processi decisionali interni sono stati esaminati utilizzando tecniche di Intelligenza Artificiale Spiegabile (XAI), specificamente i punteggi di importanza delle caratteristiche (metrica del guadagno) per il modello XGBoost.

Risultati Chiave

• Impatto dell'Imputazione vs. Scelta del Modello: La scelta del metodo di imputazione delle etichette ha avuto un impatto più sostanziale sul comportamento del modello e sulle distribuzioni di previsione rispetto alla scelta dell'algoritmo di machine learning stesso. I test statistici (distanza di Wasserstein, Kolmogorov–Smirnov) hanno confermato che metodi come $corr$, $daf$e$nn$ hanno prodotto distribuzioni significativamente diverse rispetto a $obs$e$obs_ip$.
• Varianza delle Prestazioni:
  • I metodi $obs$, $obs\_ip$ e $nn$ hanno ottenuto prestazioni migliori sui casi di test determinati ma peggiori sui casi indeterminati.
  • Il metodo $corr$ ha ottenuto le prestazioni peggiori sui casi determinati ma le migliori sui casi indeterminati, poiché è l'unico metodo che preserva le etichette originali per gli imputati trattenuti.
• Processi Decisionali Interni: L'analisi XAI ha rivelato che diversi metodi di imputazione hanno alterato le classifiche interne di importanza delle caratteristiche. Mentre le caratteristiche fondamentali (ad esempio, reato principale, tipo di avvocato) sono rimaste significative tra i metodi, l'importanza relativa di altre caratteristiche è cambiata a seconda della strategia di imputazione, indicando che la gestione delle etichette modifica fondamentalmente il modo in cui i modelli utilizzano le informazioni del caso.
• Spostamenti della Distribuzione: I metodi $obs$e$obs_ip$ hanno prodotto distribuzioni di previsione simili, suggerendo che la ponderazione inversa della propensione non ha alterato significativamente l'output del modello in questo contesto specifico rispetto alla semplice esclusione.

Significato e Affermazioni
Il documento sostiene che l'indeterminazione delle etichette non è meramente un problema tecnico dei dati, ma una questione normativa. Gli autori affermano che:

1. Le Scelte Tecniche sono Normative: Ogni metodo di imputazione codifica una concezione specifica di giustizia e governance del rischio. Ad esempio, $corr$ convalida implicitamente la detenzione preventiva come sostituto della valutazione del rischio individualizzata, mentre $daf$ tratta le decisioni di detenzione passate come prove affidabili di rischio, potenzialmente creando profezie che si autoavverano.
2. Assunzioni Non Verificabili: Tutti i metodi si basano su assunzioni non verificabili riguardo agli esiti controfattuali. Nessun singolo approccio può essere definitivamente dimostrato corretto, eppure ciascuno influenza significativamente il comportamento predittivo e l'equità.
3. Rischi di Responsabilità: Gli aggiustamenti statistici (come $obs\_ip$ e $nn$) possono creare una "fiducia tecnocratica" in cui inferenze probabilistiche sostituiscono osservazioni legali mancanti, potenzialmente minando la capacità degli imputati di contestare le decisioni basate su etichette controfattuali.
4. Implicazioni di Progettazione: Lo studio dimostra che le scelte metodologiche riguardanti il trattamento delle etichette possono essere più critiche della selezione del modello. Pertanto, gli sviluppatori di sistemi di supporto alle decisioni sulla libertà sotto cauzione devono riconoscere esplicitamente le implicazioni legali e filosofiche di come gestiscono le etichette indeterminate, anziché trattarle come problemi puramente algoritmici.

Gli autori concludono che affrontare correttamente l'indeterminazione delle etichette è fondamentale per la legittimità, l'equità e la responsabilità dei sistemi automatizzati sulla libertà sotto cauzione, esortando a un passaggio dal considerarli come lacune tecniche al riconoscerli come sedi di discorso legale e morale.