Triage Score: A Counterfactual Risk Assessment Instrument

Sintesi Tecnica: Triage Score: Uno Strumento di Valutazione del Rischio Controfattuale

Problema
Gli strumenti di valutazione del rischio (punteggi di rischio) sono ampiamente impiegati in domini ad alto impatto come la giustizia penale e la medicina per prevedere la probabilità di un esito indesiderato (ad esempio, riarresto o malattia) sotto una decisione basata sul baseline di nessuna intervento. Sebbene i punteggi elevati scatenino tipicamente interventi (ad esempio, cauzione o terapia intensiva), questo approccio soffre di un fondamentale disallineamento con la massimizzazione del benessere. I punteggi di rischio prevedono gli esiti solo sotto un singolo baseline (nessun intervento), fallendo nel tenere conto degli esiti controfattuali sotto decisioni alternative. Di conseguenza, non possono distinguere tra individui per i quali un intervento cambierebbe significativamente gli esiti e quelli per i quali non lo farebbe. Questa limitazione oscura i tradeoff etici e pratici, come il rimpianto associato al detenzione non necessaria di un individuo che non avrebbe commesso nuovi reati se fosse stato rilasciato. Gli esistenti framework si affidano spesso a "etichette selettive" (esiti osservati solo per coloro che hanno ricevuto una specifica decisione), complicando la valutazione di politiche alternative.

Metodologia
Gli autori propongono un framework basato sui triage scores, una classe di strumenti di valutazione del rischio controfattuale progettati per allineare il processo decisionale all'obiettivo di massimizzare l'utilità attesa. A differenza dei normali punteggi di rischio che dipendono esclusivamente dal potenziale esito baseline $Y(d_0)$, i triage score sono costruiti a partire da utilità controfattuali additive che dipendono dalla distribuzione congiunta dei potenziali esiti sotto decisioni alternative.

1. Framework dell'Utilità Controfattuale:

   • Il framework utilizza la stratificazione principale (Frangakis e Rubin, 2002), definendo gli strati in base alla distribuzione congiunta dei potenziali esiti $(Y(0), Y(1), \dots, Y(K_D-1))$. In un contesto binario, questi strati includono: Safe (nessun esito sotto qualsiasi decisione), Backlash (esito solo sotto intervento), Preventable (esito solo sotto nessun intervento) e Hopeless (esito sotto qualsiasi decisione).
   • Le utilità sono definite additivamente: $u(d, y) = u^d_{y_d} + \sum_{d' \neq d} \tilde{u}^{d'}_{y_{d'}}$. Il primo termine rappresenta l'utilità standard dell'esito realizzato, mentre il secondo termine cattura l'utilità controfattuale (o "rimpianto") associata all'esito che si sarebbe verificato sotto una decisione alternativa $d'$.
   • Questa struttura additiva permette al framework di distinguere tra casi in cui un intervento è realmente preventivo e casi in cui è invece superfluo (ad esempio, imporre la cauzione a un imputato "Safe").

2. Identificazione e Stima:

   • Sotto l'assunto di unconfoundedness (indipendenza condizionale tra potenziali esiti e decisioni dato i covariate osservati), gli autori stabiliscono che l'utilità attesa controfattuale è identificabile puntualmente, anche senza osservare l'intera distribuzione congiunta dei potenziali esiti.
   • Il paper impiega stimatori Augmented Inverse Probability Weighting (AIPW) per stimare le utilità attese. Questo approccio è doppiamente robusto, richiedendo una stima coerente sia del modello decisionale (propensione della decisione del giudice) sia del modello di esito.
   • Per gestire dati testuali ad alta dimensionalità e non strutturati (nello specifico, le dichiarazioni giurate di probabile causa/probable-cause affidavits) che confondono le decisioni giudiziarie, gli autori integrano l'inferenza basata su GenAI (GPI). Utilizzando modelli linguistici di grandi dimensioni (ad esempio, Llama3) e architetture come DragonNet, estraggono deconfounder a bassa dimensionalità dal testo per aggiustare l'eterogeneità non osservata, rendendo l'assunto di unconfoundedness più plausibile rispetto all'uso di soli covariate strutturati.

3. Apprendimento delle Politiche (Policy Learning):

   • Il framework consente l'apprendimento di regole decisionali ottimali risolvendo un problema empirico di massimizzazione dell'utilità. Per decisioni binarie, questo viene riformulato come un problema di classificazione pesata; per decisioni multiclasse, comporta la selezione della decisione con la più alta utilità attesa stimata per ogni profilo di covariate.

Applicazione Empirica e Risultati
La metodologia viene applicata a un esperimento controllato randomizzato (RCT) nello Utah che valuta il Public Safety Assessment (PSA), un punteggio di rischio pre-processuale. In questo studio, i giudici sono stati assegnati casualmente a ricevere o meno le raccomandazioni del PSA. Il dataset include 9.855 casi di primo arresto con esiti misurati come Nuova Attività Criminale (NCA), Nuova Attività Criminale Violenta (NVCA) e Mancata Comparsa (FTA).

• Specificazione dell'Utilità: Gli autori definiscono i parametri di utilità incorporando il costo delle decisioni (ad esempio, il costo della cauzione), il costo degli esiti indesiderati e i parametri di rimpianto per gli esiti controfattuali.
• Analisi Comparativa: Lo studio confronta tre sistemi: Solo Umano, Umano + PSA, e una politica di Albero Decisionale Ottimale derivata dal framework del triage score.
• Risultati Chiave:
  • Sensibilità ai Parametri di Utilità: La regola decisionale preferita (Umano vs. Umano+PSA) è altamente sensibile alla specificazione dei parametri di utilità, in particolare al costo della cauzione e al rimpianto associato alla detenzione non necessaria.
  • Divergenza dai Punteggi di Rischio: Sotto il normale framework del punteggio di rischio (che collassa gli strati basandosi sul rischio baseline), la politica ottimale differisce significativamente da quella derivata sotto il framework del triage score. Il framework del triage score identifica che la cauzione può essere controproducente per i soggetti "Safe" (coloro che non commetterebbero nuovi reati indipendentemente), una sfumatura che va persa nella normale valutazione del rischio.
  • Implicazioni Politiche: L'analisi dimostra che le conclusioni riguardanti il valore delle raccomandazioni algoritmiche non sono assolute ma dipendono dal peso etico attribuito agli esiti controfattuali. Ad esempio, quando il rimpianto per la detenzione non necessaria è elevato, il framework del triage tende a favorire politiche che riducono l'uso della cauzione rispetto agli approcci basati sul rischio standard.

Contributi e Significato
Il paper apporta tre contributi primari:

1. Generalizzazione Teorica: Introduce il triage score come una generalizzazione dei normali punteggi di rischio, spostando l'attenzione dalla previsione di un singolo esito baseline alla valutazione delle decisioni basata sulla distribuzione congiunta dei potenziali esiti. Ciò consente l'incorporazione esplicita di considerazioni etiche come il rimpianto.
2. Avanzamento Metodologico: Fornisce un framework decisionale statistico per valutare e apprendere politiche ottimali sotto utilità controfattuali, stabilendo risultati di identificazione sotto l'assunto di unconfoundedness e sviluppando stimatori semiparametrici (AIPW) che accomodano deconfounder testuali ad alta dimensionalità tramite GenAI.
3. Dimostrazione Empirica: Attraverso l'RCT nello Utah, il paper illustra come le valutazioni convenzionali dei punteggi di rischio possano produrre raccomandazioni politiche sostanzialmente distinte e potenzialmente subottimali rispetto agli approveriaggi basati sul triage. Evidenzia che la "migliore" regola decisionale è contingente alla specifica struttura di utilità (tradeoff etici e pratici) scelta dal decisore.

Rivendicazioni e Limitazioni
Gli autori posizionano il triage score non come uno strumento specifico per un singolo contesto, ma come un framework generale di supporto alle decisioni. Affermano esplicitamente di non aver sviluppato un particolare triage score per l'applicazione nello Utah, ma piuttosto di aver dimostrato la capacità del framework di catturare ricche strutture di utilità. Il paper riconosce che la validità dei risultati dipende dall'assunto di unconfoundedness, reso plausibile nella loro applicazione grazie alla disponibilità di informazioni giudiziarie complete (inclusi i documenti di probabile causa) e all'uso della GPI per aggiustare i deconfounder basati sul testo. Gli autori suggeriscono che il lavoro futuro dovrebbe concentrarsi sull'elicitazione nel mondo reale dei parametri di utilità con i decisori politici e sull'estensione del framework a contesti decisionali dinamici e sequenziali.