Sintesi Tecnica: Molteplicità dei Modelli e Arbitrarietà Predittiva nella Valutazione del Rischio di Recidiva

Definizione del Problema

Il documento affronta la sfida della molteplicità predittiva (spesso definita come l'Effetto Rashomon) nella valutazione del rischio di recidiva criminale in contesti ad alto impatto sociale. In compiti di predizione rumorosi, esistono spesso molteplici modelli con accuratezza comparabile, i quali tuttavia possono produrre predizioni divergenti per lo stesso individuo. Ciò crea un'arbitrarietà predittiva, sollevando preoccupazioni circa l'equità e la coerenza nei processi decisionali giudiziari.

Nello specifico, gli autori indagano il sistema RisCanvi, uno strumento di supporto alle decisioni utilizzato in Catalogna dal 2009. L'attuale sistema presenta diverse criticità:

1. Qualità dei Dati: Dipendenza da dati di addestramento obsoleti e da una etichettatura manuale complessa e soggetta a errori nel definire la recidiva (distinguendo tra ri-detenzione per nuovi reati rispetto a violazioni tecniche o sentenze preesistenti).
2. Disparità di Performance: L'attuale modello di regressione logistica presenta elevati tassi di falsi negativi e significative disparità nei tassi di errore tra gruppi demografici (es. cittadini nazionali vs stranieri).
3. Mancanza di Monotonicità: L'attuale sistema non garantisce che il progresso riabilitativo (caratteristiche dinamiche) porti a punteggi di rischio inferiori, un requisito fondamentale per incentivi alla riabilitazione equi.
4. Arbitrarietà: Anche se viene individuato un modello "meno discriminatorio", l'esistenza di un "Insieme Rashomon" (un insieme di modelli con prestazioni simili) implica che diversi modelli validi potrebbero generare punteggi di rischio differenti per lo stesso detenuto, minando l'affidabilità della valutazione.

Metodologia

1. Costruzione del Dataset

Gli autori hanno sviluppato un rigoroso algoritmo di etichettatura per costruire un dataset di alta qualità composto da 17.542 rilasci di detenuti dalle carceri catalane (2010–2019).

• Processo di Etichettatura: Hanno tradotto complesse regole giuridiche che definiscono la "recidiva penale" (condanna al carcere per un nuovo reato) in un algoritmo iterativo. Tale algoritmo è stato perfezionato attraverso la collaborazione con esperti di esecuzione delle pene fino a coincidere con le annotazioni degli esperti umani.
• Caratteristiche (Features): Il dataset include 43 caratteristiche per ogni rilascio (20 statiche, es. età all'insorgenza; 23 dinamiche, es. livello di istruzione) derivanti dalla valutazione finale del detenuto.
• Suddivisione (Split): È stata utilizzata una suddivisione cronologica tra addestramento e test (Train: 2010–2018; Test: 2019) per garantire la validità temporale.

2. Framework di Ottimizzazione (FairSLIM)

Gli autori propongono un framework a due fasi basato sulla Programmazione Lineare Intera Mista (MILP):

• Fase 1: SLIM con Monotonicità: Utilizzano la formulazione SLIM (Supersparse Linear Integer Model) per apprendere un sistema di punteggio lineare intero. Fondamentalmente, impongono vincoli di monotonicità limitando i coefficienti delle caratteristiche a interi non negativi. Ciò assicura che le caratteristiche statiche avverse aumentino il rischio, mentre le caratteristiche dinamiche positive (progresso riabilitativo) lo diminuiscano.
• Fase 2: Esplorazione dell'Insieme Rashomon: Basandosi sul lavoro di Langlade et al. (2025), ricercano l'Insieme $\epsilon$-Rashomon (modelli con rischio empirico entro $\epsilon$ dall'ottimo) alla ricerca di Modelli Meno Discriminatori (LDM).
  • Generalizzano la ricerca per $m > 2$ gruppi demografici.
  • Minimizzano la violazione dell'Equalized Odds ($\Delta EO$), definita come la massima disparità tra coppie di tassi di falsi positivi (FPR) e tassi di falsi negativi (FNR) tra i gruppi.
  • Ottimizzano questo processo tracciando i valori min/max di FPR/FNR tra i gruppi, riducendo i vincoli di equità da $O(m^2)$ a $O(m)$.

3. Analisi della Molteplicità Predittiva

Per quantificare l'arbitrarietà, gli autori estendono il concetto di auto-coerenza (Cooper et al., 2024) all'Insieme Rashomon:

• Definizione: Per un insieme finito di modelli $P$, l'auto-coerenza $SCP(x)$ è la probabilità che due modelli estratti uniformemente a caso da $P$ concordino sulla predizione per l'istanza $x$.
• Limite Teorico: Derivano un limite inferiore stretto sull'aspettativa di auto-coerenza (Proposizione 1) basato sulla perdita media 0-1 del pool di modelli. Questo limite rappresenta lo scenario peggiore di accordo.
• Valutazione delle Policy: Valutano tre policy per risolvere la molteplicità:
  1. Ensemble: Media delle predizioni.
  2. Selezione Casuale: Scelta di un modello casuale per ogni istanza.
  3. Politica del Rischio Minimo (LRP): Assegnazione al detenuto del punteggio di rischio più basso predetto da qualsiasi modello nel pool (allineandosi al principio del favor rei).

Risultati Chiave

1. Performance Predittiva ed Equità

• Superiorità rispetto ai Baseline: I modelli proposti (SLIM e FairSLIM) superano significativamente l'attuale modello operativo Riscanvi. Sebbene Riscanvi raggiunga un'alta accuratezza predicendo la classe maggioritaria, soffre di un alto tasso di falsi negativi (84,7%) e di una scarsa accuratezza bilanciata (56,2%).
• Modelli Interpretabili: I nuovi modelli lineari interi raggiungono accuratezze bilanciate di circa il 70–73% e riducono il tasso di falsi negativi di oltre il 65%.
• Equità: La ricerca di LDM entro l'1% del rischio ottimale ($\epsilon \le 0.01$) riduce la massima disparità dei tassi di errore ($\Delta EO$) tra i sottogruppi al 5% sul set di test. Questa performance è comparabile o superiore a quella di un complesso baseline CatBoost, mantenendo l'interpretabilità.

2. Molteplicità Predittiva e Auto-coerenza

• Alto Grado di Accordo: Nonostante l'esistenza di molti modelli strutturalmente diversi (con coefficienti variabili per le caratteristiche statiche e dinamiche), l'auto-coerenza osservata è del 91%. Questo valore è significativamente superiore al limite inferiore teorico del caso peggiore (0,53).
• Localizzazione del Disaccordo: Il disaccordo predittivo è concentrato quasi esclusivamente su istanze vicine al confine di decisione (istanze a basso margine). Per le istanze ad alto margine, i modelli concordano perfettamente.
• Diversità Strutturale vs. Accordo Predittivo: Lo studio dimostra che un'elevata diversità strutturale (coefficienti differenti) non si traduce necessariamente in una severa molteplicità predittiva.

3. Efficacia della Politica del Rischio Minimo

• La Politica del Rischio Minimo (FairSLIM-LRP) assegna il punteggio di rischio più basso tra il pool di modelli validi a ciascun detenuto.
• Performance: Questa policy raggiunge la massima accuratezza bilanciata (71,2%) tra tutti i meccanismi di risoluzione testati (inclusi l'ensemble e la selezione casuale), mantenendo al contempo una parità dei ti di errore comparabile.
• Implicazione: Selezionando l'esito più favorevole tra i modelli validi, il sistema riduce l'arbitrarietà senza sacrificare l'utilità predittiva o l'equità.

Significato e Contributi

Il documento rivendica diversi contributi al campo dell'equità algoritmica e della valutazione del rischio:

1. Generalizzazione dei Vincoli di Equità: Generalizza la ricerca di modelli meno discriminatori nell'Insieme Rashomon per $m > 2$ sottogruppi con soli $O(m)$ vincoli aggiuntivi, rendendola computazionalmente fattibile per partizioni demografiche complesse.
2. Limite Teorico sull'Arbitrarietà: Fornisce un limite inferiore stretto sull'aspettativa di auto-coerenza per qualsiasi insieme finito di classificatori binari, offrendo un benchmark teorico per confrontare l'accordo empirico.
3. Caso di Studio Reale: Presenta il primo studio reale di molteplicità predittiva nella valutazione del rischio di recidiva, andando oltre le simulazioni teoriche per analizzare un sistema implementato (Riscanvi).
4. Raccomandazione di Policy: Propone e valida una Politica del Rischio Minimo come meccanismo efficace per risolvere l'arbitrarietà predittiva. Questo approccio si allinea al principio legale del favor rei (nel dubbio, a favore dell'imputato) e al principio di anti-subordinazione, affrontando i bias sistemici scegliendo attivamente la predizione meno punitiva tra quelle valide.
5. Impatto della Qualità dei Dati: Il lavoro evidenzia come l'automazione dell'etichettatura degli esiti post-rilascio tramite regole legali produca un dataset 17 volte più grande dell'attuale set di addestramento, migliorando materialmente la performance e l'equità dei modelli.

Gli autori concludono che, sebbene la molteplicità dei modelli sia una preoccupazione teorica, nella pratica l'arbitrarietà risultante è spesso limitata a una piccola frazione di casi vicini al confine di decisione. Pertanto, policy semplici e basate su principi come la Politica del Rischio Minimo possono mitigare efficacemente l'arbitrarietà preservando i benefici derivanti dall'esplorazione di un insieme diversificato di modelli equi.