Sintesi Tecnica: Incertezza Diseguale: Ripensare gli Interventi Algoritmici per Mitigare la Discriminazione da IA

1. Definizione del Problema

Il documento affronta i rischi legali ed etici associati all'incertezza predittiva nei sistemi di Intelligenza Artificiale (IA) utilizzati per il processo decisionale ad alto impatto (ad es. credito al consumo e giustizia penale). Sebbene i modelli di machine learning (ML) spesso esibiscano prestazioni aggregate simili, l'incertezza predittiva è frequentemente distribuita in modo disomogeneo tra i diversi gruppi demografici, concentrandosi spesso sulle popolazioni sottorappresentate a causa della scarsità di dati o di pregiudizi storici.

Il problema centrale è come gestire tale incertezza senza esacerbare la discriminazione. Gli autori analizzano due comuni interventi algoritmici progettati per fungere da "parapetti" (guardrails) nell'interazione uomo-IA:

1. Astensione Selettiva (Selective Abstention): Trattenere le predizioni del modello dai decisori umani quando l'incertezza supera una determinata soglia, costringendo a una decisione basata esclusivamente sul giudizio umano non assistito.
2. Attrito Selettivo (Selective Friction): Presentare la predizione del modello al decisore umano ma accompagnandola con un avviso (ad es. un "segnale giallo") quando l'incertezza è elevata, stimolando la riflessione senza rimuovere la predizione.

Il documento sostiene che, sebbene questi interventi mirino a mitigare gli errori, possano involontariamente generare discriminazioni illecite ai sensi della legge del Regno Unito (UK), in particolare creando asimmetrie procedurali in cui le popolazioni sottorappresentate sono sproporzionatamente soggette al giudizio umano non assistito o a override influenzati da pregiudizi.

2. Metodologia

Gli autori impiegano una metodologia ibrida che combina definizioni tecniche formali con l'analisi dottrinale legale e l'applicazione di casi studio.

2.1 Definizioni Formali e Assunzioni

• Task: Classificazione binaria ($\hat{y} \in \{0, 1\}$) dove un modello $f$ predice le etichette per gli input $x$.
• Metrica di Incertezza: Gli autori utilizzano l'entropia di Shannon ($H(\hat{p})$) per quantificare l'incertezza predittiva, dove $\hat{p}$ è la probabilità predetta dal modello. L'entropia è 0 per predizioni certe e 1 per l'incertezza massima ($\hat{p}=0.5$).
• Soglia di Intervento: Viene impostata una soglia $\tau$ tale che se $H(\hat{y}) \geq \tau$, viene attivato un intervento.
• Assunzione di Calibrazione: Si assume che il modello sia ben calibrato a livello di popolazione, ma potenzialmente mal calibrato all'interno di specifici sottogruppi demografici (fallimento della calibrazione intra-gruppo). Ciò porta a differenze sistematiche nei valori di entropia tra i gruppi.
• Decisore Umano: Modellato come una funzione $r(x)$ (non assistita) o $r(x; f(x))$ (assistita). Il documento assume che i decisori possano esibire bias cognitivi, come il bias di automazione (eccessiva fiducia) o override inappropriati.

2.2 Casi Studio

Gli interventi sono applicati a due domini specifici per analizzare le conseguenze per i gruppi interessati:

1. Credito al Consumo: Predizione del rischio di insolvenza del prestito. Lo studio esamina come l'astensione o l'attrito influenzino i tassi di approvazione/diniego dei prestiti e i tempi di elaborazione per i gruppi sottorappresentati.
2. Rischio di Recidiva: Predizione della probabilità di recidiva nel sistema della giustizia penale. Lo studio analizza gli esiti delle sentenze (rigide vs. lievi) e l'impatto del Dovere di Parità del Settore Pubblico (PSED).

2.3 Quadro Legale

L'analisi si basa sulla legge del Regno Unito, in particolare:

• L'Equality Act 2010: Analisi della discriminazione diretta e indiretta, concentrandosi sul fatto che l'intervento costituisca una "Disposizione, Criterio o Pratica" (PCP) che pone un gruppo protetto in uno svantaggio particolare.
• Dovere di Parità del Settore Pubblico (PSED): Obblighi ai sensi della Sezione 149 per le autorità pubbliche.
• Legge sulla Protezione dei Dati: Il UK GDPR e il recentemente proposto Data (Use and Access) Act 2025 (DUAA), specificamente riguardo al "coinvolgimento umano significativo" e al processo decisionale esclusivamente automatizzato.

3. Contributi Principali

Il documento apporta due contributi primari:

1. Analisi Dottrinale Legale: Fornisce la prima analisi dottrinale degli interventi algoritmici basati sull'incertezza sotto la legge del Regno Unito. Dimostra che le soglie di incertezza, formalmente neutrali, possono generare effetti discriminatori, in particolare sotto il quadro della discriminazione indiretta.
2. Valutazione Comparativa degli Interventi: Sostiene che l'attrito selettivo sia legalmente preferibile all'astensione selettiva. Sebbene entrambi comportino rischi, l'attrito preserva l'accesso alla predizione del modello ed è più probabile che soddisfi il test di proporzionalità richiesto dall'Equality Act 2010.

4. Risultati e Analisi

4.1 Analisi dell'Astensione Selettiva

• Meccanismo: Quando l'incertezza è elevata, la predizione del modello viene nascosta e l'umano prende una decisione senza l'assistenza dell'IA.
• Rischio Discriminatorio: Poiché i gruppi sottorappresentati hanno spesso un'incertezza predittiva più elevata (a causa del bias nei dati), essi vengono dirottati in modo sproporzionato verso i percorsi decisionali "non assistiti".
• Risultato Legale: Questo crea un'asimmetria procedurale. I richiedenti appartenenti a gruppi protetti affrontano tempi di elaborazione più lunghi e la variabilità del giudizio umano individuale, mentre altri ricevono decisioni standardizzate assistite dall'IA. Gli autori sostengono che ciò costituisca discriminazione indiretta ai sensi dell'Equality Act 2010. È difficile giustificare tale pratica come "proporzionata" poiché esistono alternative meno discriminatorie (come la ricalibrazione o l'attrito) che non scartano l'informazione del modello.
• Esito: L'astensione non rimuove il rischio di discriminazione; sposta il peso dell'incertezza su gruppi specifici.

4.2 Analisi dell'Attrito Selettivo

• Meccanismo: La predizione del modello è sempre mostrata, ma le predizioni con alta incertezza sono accompagnate da un segnale di avviso.
• Rischio Discriminatorio: Il rischio risiede nel modo in cui gli umani interpretano il segnale. Se i decisori (ad es. funzionari di credito o giudici) sovrascrivono sistematicamente le predizioni incerte in un modo che correla con le caratteristiche protette (ad es. negando prestiti ai richiedenti segnalati appartenenti a minoranze), si verifica la discriminazione.
• Risultato Legale: L'attrito selettivo ha meno probabilità di essere ritenuto illecito rispetto all'astensione. Esso preserva la natura "assistita dall'IA" della decisione, evitando il sistema a due binari. È più probabile che soddisfi il requisito di proporzionalità perché è un mezzo meno restrittivo per raggiungere l'obiettivo legittimo di riduzione dell'errore. Tuttavia, la sua liceità dipende dalle prove empiriche che dimostrino che non peggiori sistematicamente gli esiti per i gruppi protetti nella pratica.
• Coinvolgimento Umano: Sotto il proposto DUAA 2025, l'attrito potrebbe soddisfare il requisito del "coinvolgimento umano significativo", potenzialmente esentando le decisioni dai più severi protocolli di salvaguardia del processo decisionale esclusivamente automatizzato. Tuttavia, gli autori avvertono che ciò potrebbe portare a una conformità "tokenistica" se gli umani approvano meccanicamente il modello nonostante il segnale.

4.3 Scenari di Caso Studio

Il documento delinea quattro scenari sia per il credito che per la sentenza:

1. Accordo (Incertezza $\to$ Avverso): L'umano concorda con una predizione negativa incerta. Rischio di eccessiva fiducia in un modello distorto.
2. Override (Incertezza $\to$ Avverso): L'umano sovrascrive una predizione positiva incerta per dare un esito avverso. Identificato come lo scenario più problematico per la discriminazione, poiché il pregiudizio umano può sovrascrivere il suggerimento (potenzialmente più neutrale) del modello.
3. Accordo (Incertezza $\to$ Favorevole): L'umano concorda con una predizione positiva incerta.
4. Override (Incertezza $\to$ Favorevole): L'umano sovrascrive una predizione negativa incerta per dare un esito favorevole. Sebbene teoricamente benefico, l'evidenza empirica suggerisce che gli override non favoriscono sistematicamente i gruppi sottorappresentati.

5. Significato e Rivendicazioni

Il documento rivendica la sua importanza come il primo ad applicare rigorosamente la dottrina legale del Regno Unito agli interventi basati sull'incertezza. La sua tesi centrale è che la neutralità tecnica (uso di soglie di entropia) non garantisce la neutralità legale.

• Preferenza Legale: Gli autori concludono che l'attrito selettivo è la scelta di design superiore dal punto di vista della conformità legale, poiché mantiene l'integrità della collaborazione uomo-IA ed evita i disvantaggi procedurali inerenti all'astensione.
• Incertezza Empirica: Il documento dichiara esplicitamente che stabilire se l'attrito selettivo migliori effettivamente la qualità delle decisioni nella pratica è una questione empirica aperta. Dipende dall'addestramento dei decisori, dalla calibrazione delle stime di incertezza e dalla cultura istituzionale.
• Lavoro Futuro: Gli autori identificano la necessità di studi empirici per verificare se i segnali di incertezza inneschino diversi tassi di override tra i gruppi demografici e di ricerca tecnica su come la calibrazione specifica per gruppo possa mitigare l'impatto sproporzionato di tali interventi.

Il documento non sostiene che gli interventi basati sull'incertezza siano intrinsecamente illeciti, ma che la loro implementazione debba essere attentamente scrutinata per garantire che non violino l'Equality Act 2010 penalizzando sproporzionatamente i gruppi protetti.