Sintesi Tecnica: Valutazione di Interventi Basati su Predizioni con in Considerazione i Decisori Umani

Problema

I Sistemi di Decisione Automatica (ADS) sono sempre più impiegati per supportare il processo decisionale umano in contesti consequenziali come la giustizia penale, la sanità e l'istruzione. Mentre la ricerca sul machine learning si concentra spesso sulla valutazione dell'accuratezza dei modelli predittivi rispetto a dataset di riferimento, queste valutazioni non riescono a catturare la complessa interazione tra esseri umani e algoritmi. Nello specifico, i design sperimentali attuali per la valutazione degli interventi basati su predizioni si affidano a ipotesi semplificate sul processo decisionale umano per derivare stime causali.

Il problema centrale identificato è che specifiche scelte di design sperimentale possono indurre bias cognitivi nei decisori umani, alterando significativamente le dimensioni degli effetti osservati. I paradigmi esistenti spesso assumono un modello "indipendente dal caso" in cui lo stato di trattamento di un soggetto decisionale non influenza un altro (aderendo alla Stable Unit Treatment Value Assumption, o SUTVA). Tuttavia, questo articolo sostiene che i decisori umani (ad esempio, i giudici) possiedono stati interni che evolvono in base all'esposizione alle raccomandazioni algoritmiche, creando dipendenze tra i soggetti decisionali che violano la SUTVA e portano a una stima distorta dell'effetto del trattamento.

Metodologia

Quadro Teorico

Gli autori propongono un nuovo modello causale di processo decisionale assistito da algoritmi che tiene esplicitamente conto dello stato interno del decisore. A differenza del modello standard indipendente dal caso, questo framework indicizza le decisioni sia per il soggetto decisionale ($i$) che per il decisore ($k$).

Il modello introduce due variabili latenti:

1. $J_{i,k}$: La reattività del giudice $k$ per l'unità di trattamento $i$, che rappresenta la probabilità che il giudice segua la raccomandazione algoritmica.
2. $\epsilon_{i,k}$: Una variabile casuale estratta da una distribuzione di Bernoulli con parametro $J_{i,k}$, che denota se il giudice è conforme alla raccomandazione.

La funzione decisionale $D_{i,k}$ è definita come una funzione della decisione predefinita del giudice $\lambda_k(X_i)$ e della raccomandazione algoritmica $\bar{D}(\hat{Y}_i)$, modulata dalla reattività $J_{i,k}$.

Modelli di Bias Cognitivo

L'articolo formalizza tre modelli specifici di bias cognitivo che rendono la reattività del giudice ($J_{i,k}$) dinamica e dipendente dalle scelte di design sperimentale:

1. Modello di Esposizione al Trattamento: La reattività aumenta all'aumentare dell'esposizione media all'ausilio predittivo. I giudici possono fare affidamento su informazioni coerenti piuttosto che regolare i protocolli per ogni singolo caso, portando a una maggiore conformità dopo un'esposizione frequente.
2. Modello di Vincolo di Capacità: La reattività diminuisce all'aumentare del tasso di predizioni positive (ad alto rischio). In ambienti ad alta posta in gioco, i decisori possono raggiungere una soglia in cui diventano meno reattivi a ulteriori avvisi di "alto rischio".
3. Modello di Bassa Fiducia: La reattività diminuisce all'aumentare del tasso di errore osservato dell'algoritmo. Se i giudici osservano gli esiti reali e rilevano errori di predizione (ad esempio, falsi positivi), la loro fiducia e la conseguente conformità diminuiscono.

Analisi Sperimentale

Gli autori dimostrano matematicamente che, sotto questi modelli, la decisione $D_{i,k}$ non è condizionatamente indipendente dalle assegnazioni di trattamento precedenti $(Z_{1,k}, \dots, Z_{i-1,k})$ data l'attuale assegnazione $Z_{i,k}$. Ciò costituisce una violazione della SUTVA.

Per dimostrare l'impatto pratico, l'articolo confronta due schemi di randomizzazione:

• Randomizzazione Uniforme: I casi sono randomizzati a livello individuale (single-level), risultando in un'esposizione al trattamento mista per ogni giudice.
• Randomizzazione a Due Livelli: I giudici sono randomizzati a cluster di trattamento (ad esempio, un giudice vede solo casi trattati al 100%, un altro lo 0%), creando profili di esposizione distinti.

Esperimenti Semi-Sintetici

Gli autori validano i loro risultati teorici utilizzando dati da un trial controllato randomizzato (RCT) reale di Imai et al. [2020] riguardante i punteggi di rischio della Public Safety Assessment (PSA) nella contea di Dane, Wisconsin. Simulano molteplici giudici e applicano i tre modelli di bias per generare sequenze decisionali alternative. Osservano come la modifica delle scelte di design sperimentale (assegnazione del trattamento, soglie del modello e accuratezza) alteri l'Average Treatment Effect (ATE) stimato.

Contributi Chiave

1. Formalizzazione della Reattività Dinamica: L'articolo va oltre l'assunzione che la reattività del giudice sia un attributo statico e inerente. Formalizza come la reattività sia una funzione dinamica delle scelte di design sperimentale, specificamente l'assegnazione del trattamento ($Z$), i tassi di predizione positiva del modello ($P(\hat{Y}=1)$) e la correttezza del modello ($P(\hat{Y}=Y)$).
2. Dimostrazione della Violazione della SUTVA: Gli autori forniscono prove matematiche mostrando come i modelli comportamentali proposti inducano interferenza tra i soggetti decisionali, violando l'assunto SUTVA comunemente usato nella causalità. Ciò invalida gli stimatori standard che assumono l'indipendenza.
3. Dimostrazione del Bias di Stima: L'articolo dimostra che gli schemi di randomizzazione standard (single-level) possono portare a una sottostima o sovrastima significativa dell'Average Treatment Effect (ATE) a seconda del modello di bias attivo. Ad esempio, sotto il modello di esposizione al trattamento, la randomizzazione uniforme sottostima l'ATE, mentre sotto il modello di vincolo di capacità, può sovrastimarlo.
4. Simulazione Empirica: Utilizzando esperimenti semi-sintetici basati su Imai et al. [2020], gli autori mostrano come la modifica dei design (es. cambiare la proporzione di casi trattati per giudice o la soglia dell'algoritmo) possa alterare le stime dell'effetto causale fino a 10 volte per specifici sottogruppi demografici.

Risultati

• Violazione della SUTVA: L'analisi teorica conferma che, quando la reattività del giudice dipende dall'esposizione storica, lo stato di trattamento di un caso influenza la decisione sui casi successivi gestiti dallo stesso giudice. I test di permutazione standard utilizzati in studi precedenti (come Imai et al., 2020) non riescono a rilevare questa interferenza perché preservano la proporzione media del trattamento, rendendo l'ordine dei casi irrilevante per la statistica del test.
• Direzionalità del Bias:
  • Esposizione al Trattamento: La randomizzazione uniforme porta a una sottostima dell'effetto del trattamento rispetto alla randomizzazione a due livelli. Il divario si amplia man mano che i giudici diventano più sensibili all'esposizione passata e la divergenza tra decisione predefinita e raccomandata aumenta.
  • Vincolo di Capacità: La randomizzazione uniforme porta a una sovrastima dell'effetto del trattamento. Il divario aumenta con tassi di predizione positiva più elevati.
  • Bassa Fiducia: Una minore accuratezza algoritmica porta a una ridotta reattività e a una sottostima dell'effetto del trattamento, impattando particolarmente le misure di correttezza decisionale.
• Risultati della Simulazione: Negli esperimenti semi-sintetici, cambiare il regime di esposizione al trattamento (ad esempio, assegnando il 100% dei casi a un giudice rispetto al 50%) ha prodotto deviazioni sostanziali nell'ATE misurato. Nello specifico, per i soggetti donne non bianche, l'effetto causale stimato sulle decisioni variava di un fattore 10 a seconda del regime di esposizione.

Significato e Rivendicazioni

L'articolo sostiene che la validità scientifica degli schemi di valutazione basati su interventi per i deployment di ADS è attualmente compromessa dall'ignorare la natura dinamica del processo decisionale umano. Trattando gli interventi basati su predizioni come problemi di predizione isolati anziché come interventi politici, i ricercatori rischiano di trarre conclusioni errate sull'efficacia di questi sistemi.

Gli autori sostengono che i futuri design sperimentali debbano tenere conto dell' "human-in-the-loop" come un agente dinamico il cui comportamento è plasmato dall'esperimento stesso. Suggeriscono che:

• La standard randomization single-level è insufficiente per stimare l'impatto causale dei sistemi predittivi quando distribuiti come politiche su larga scala.
• Sono necessari design di randomizzazione a due livelli (randomizzando a livello di decisore) o design multifattoriali per stimare accuratamente gli effetti del trattamento in presenza di bias del giudice.
• Le scoperte si estendono oltre la giustizia penale ad altri domini come la sanità e l'istruzione, dove è probabile che siano presenti simili bias cognitivi ed effetti di interferenza.

Il lavoro funge da richiamo all'azione per la comunità di ricerca affinché perfezioni i paradigmi sperimentali per riflettere meglio la realtà dell'interazione uomo-algoritmo, garantendo che le stime causali riflettano il vero impatto degli interventi predittivi sugli esiti a valle.