Measuring Perceptions of Fairness in AI Systems: The Effects of Infra-marginality

Questo studio dimostra che le percezioni umane di equità nei sistemi di intelligenza artificiale non dipendono esclusivamente dalla parità statistica dei risultati, ma sono fortemente influenzate dalla comprensione delle cause sottostanti delle disparità, come l'infra-marginalità e la disponibilità dei dati.

L'essenziale

Ecco una spiegazione semplice e creativa di questo studio, pensata per chiunque, anche senza conoscenze tecniche di informatica.

🎯 Il Titolo: "È giusto essere uguali? Quando l'AI deve tenere conto delle differenze"

Immagina di essere il capo di una grande cucina (l'Algoritmo AI) che deve preparare piatti per due gruppi di clienti: il Gruppo A e il Gruppo B.
Il tuo obiettivo è servire piatti deliziosi (decisioni giuste) a tutti. Ma c'è un problema: i due gruppi arrivano con esigenze e ingredienti molto diversi.

Questo studio si chiede: Cosa pensano le persone quando vedono che il tuo chef AI serve piatti con qualità leggermente diverse per i due gruppi? È ingiusto? O è normale?

---

🍳 La Situazione: Il Problema della "Cucina Diversa" (Infra-marginalità)

Spesso, quando costruiamo un'intelligenza artificiale, pensiamo che la "giustizia" significhi trattare tutti esattamente allo stesso modo. Se il 90% del Gruppo A viene curato bene, anche il 90% del Gruppo B dovrebbe esserlo.

Ma nella vita reale, le cose sono più complicate.

• Immagina che il Gruppo A sia composto da persone che mangiano da anni e conoscono bene i sapori (hanno molti dati, è facile prevedere cosa vogliono).
• Il Gruppo B è composto da persone con gusti molto specifici e difficili da capire (hanno pochi dati, è difficile prevedere cosa vogliono).

Se il tuo chef AI cerca di fare lo stesso identico piatto per entrambi, potrebbe finire per servire un piatto mediocre al Gruppo A (perché si è adattato troppo al difficile) o un piatto sbagliato al Gruppo B (perché non ha abbastanza informazioni).

Questo è il problema dell'"Infra-marginalità": le differenze nei risultati non sono sempre dovute a un razzismo o a un errore del computer, ma alla realtà dei dati che ha imparato.

---

🔍 L'Esperimento: Cosa hanno fatto gli scienziati?

Gli autori hanno fatto un gioco di ruolo con 85 persone. Hanno raccontato una storia su un AI medico che deve diagnosticare il cancro a due gruppi di persone (chiamati "Razza A" e "Razza B").

Hanno mostrato alle persone tre possibili modi in cui l'AI poteva funzionare:

1. L'Uguaglianza Perfetta (Opzione 1): L'AI diventa bravissima per entrambi i gruppi, raggiungendo il livello del gruppo più facile da curare. (Tutti felici, ma forse impossibile).
2. Il Compromesso (Opzione 2): L'AI trova una via di mezzo, curando entrambi i gruppi con una precisione media.
3. La Realtà (Opzione 3): L'AI mantiene le sue differenze naturali: cura benissimo il Gruppo A (facile) e un po' meno bene il Gruppo B (difficile), perché è onesto con i dati che ha.

Poi hanno cambiato le regole del gioco:

• Scenario A: "Non sappiamo se i gruppi sono diversi."
• Scenario B: "Sappiamo che il Gruppo A ha 20 volte più dati (più informazioni) del Gruppo B."

---

💡 Cosa hanno scoperto? (La Sorpresa)

Ecco la parte interessante: Le persone non sono rigide come pensiamo.

1. Quando non sanno nulla: Se non viene detto nulla sulle differenze, le persone dicono: "Deve essere uguale per tutti!". Vogliono l'Opzione 1 o 2.
2. Quando vedono le differenze: Se viene detto che i gruppi sono diversi (ad esempio, uno è molto più difficile da diagnosticare), le persone cambiano idea. Dicono: "Ok, allora è giusto che l'AI funzioni meglio per il Gruppo A e peggio per il Gruppo B, purché sia onesto sul perché".
   • Preferiscono l'Opzione 3 (quella che rispetta le differenze reali) piuttosto che forzare un'uguaglianza finta che potrebbe danneggiare tutti.

L'analogia della corsa:
Immagina una gara di corsa.

• Se fai correre un atleta professionista e un principiante sulla stessa pista, è "giusto" che il professionista vinca? Sì, perché le loro capacità sono diverse.
• Se l'AI forza il principiante a correre alla velocità del professionista (o viceversa), sta mentendo sulla realtà.
• Le persone dello studio hanno detto: "È più giusto riconoscere che il principiante è più lento e adattare la gara di conseguenza, piuttosto che dire 'correte tutti allo stesso modo' e far cadere il principiante".

---

🧠 Il Messaggio Chiave: La Giustizia ha un "Motivo"

Il punto fondamentale di questo studio è che le persone giudicano la giustizia basandosi sulla causa della differenza, non solo sulla differenza in sé.

• Se la differenza è dovuta a pregiudizi (es. l'AI ha visto meno dati sul Gruppo B perché qualcuno li ha ignorati), le persone la trovano ingiusta.
• Se la differenza è dovuta alla realtà (es. il Gruppo B ha condizioni più complesse o meno dati disponibili per natura), le persone la trovano accettabile, o addirittura più giusta di un'uguaglianza forzata.

🚀 Perché è importante per noi?

Oggi molti sistemi AI sono progettati per essere "ciechi" alle differenze e cercare l'uguaglianza statistica a tutti i costi. Questo studio ci avverte: Attenzione!

Se un'AI cerca di forzare l'uguaglianza in situazioni dove le differenze sono reali e legittime, potrebbe:

1. Prendere decisioni peggiori per tutti.
2. Far perdere fiducia alle persone, che penseranno: "Questo sistema non capisce la realtà, sta solo cercando di fare il politicamente corretto".

In sintesi: Per essere davvero giusti, gli algoritmi non devono solo guardare i numeri e dire "tutti uguali". Devono capire il contesto, come un buon medico o un buon insegnante che sa che ogni studente ha bisogno di un approccio diverso per imparare allo stesso modo. La vera equità non è trattare tutti allo stesso modo, ma trattare ognuno in modo appropriato alla sua situazione.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Measuring Perceptions of Fairness in AI Systems: The Effects of Infra-marginality" in lingua italiana.

1. Il Problema: Infra-marginalità e Percezione della Fairness

Il lavoro affronta una sfida fondamentale nell'equità algoritmica: la discrepanza tra le definizioni formali di fairness (equità) basate sulla parità statistica e le percezioni umane della stessa.
Il concetto centrale è l'infra-marginalità. Questo fenomeno si verifica quando le distribuzioni dei dati tra diversi gruppi demografici differiscono intrinsecamente (ad esempio, tassi di base diversi o difficoltà di compito variabili). Queste differenze legittime possono portare a metriche di performance diseguali (come accuratezza o tassi di falsi positivi) anche in un modello unico e non discriminatorio.
Il problema nasce dal fatto che le metriche di group fairness più comuni (es. demographic parity, equalized error rates) spesso impongono la parità statistica a prescindere dalle distribuzioni sottostanti. Se ignorate, le differenze legittime possono essere erroneamente interpretate come discriminazione, portando a interventi correttivi che, paradossalmente, possono danneggiare i gruppi che si intende proteggere o ridurre l'accuratezza complessiva del sistema. Gli autori sostengono che manca una comprensione empirica di come gli utenti percepiscano queste disparità quando sono causate da differenze distribuzionali legittime piuttosto che da bias algoritmico.

2. Metodologia: Studio Utenti e Design Sperimentale

Gli autori hanno condotto uno studio utente online con 85 partecipanti (principalmente persone con background tecnico in informatica o data science) utilizzando un scenario ipotetico di diagnosi del cancro su due gruppi razziali (etichettati come "Race A" e "Race B" per evitare bias sociali preesistenti).

Lo studio ha manipolato due fattori chiave (trattamenti) per osservare come influenzano il giudizio sulla fairness:

1. Performance Specifica del Gruppo: È stata variata l'accuratezza dei modelli addestrati separatamente su ciascun gruppo (7 istanze diverse: da pari performance a differenze del 10% in entrambe le direzioni, o assenza di informazioni). Questo agisce come un proxy per le differenze distribuzionali sottostanti (tassi di base o difficoltà del compito).
2. Disponibilità dei Dati di Addestramento: È stata variata la quantità relativa di dati disponibili per ciascun gruppo (nessuna informazione, quantità uguali, Race A con 3x i dati, Race A con 20x i dati). Questo serve a far capire ai partecipanti se le disparità di performance siano dovute a difficoltà intrinseche del compito o a raccolta dati sbilanciata/biased.

Compito dei partecipanti:
Per ogni combinazione di trattamenti, i partecipanti dovevano valutare la "fairness" (su una scala Likert da 1 a 7) di tre modelli candidati:

• Opzione 1 (Parità Massimizzata): Il modello finale ottiene la stessa accuratezza del gruppo che performato meglio (es. 95% per entrambi).
• Opzione 2 (Parità Compromesso): Il modello finale ottiene la stessa accuratezza della media dei due gruppi (es. 90% per entrambi).
• Opzione 3 (Preservazione delle Differenze): Il modello finale mantiene le performance osservate per ciascun gruppo (es. 95% per Race A, 85% per Race B).

3. Risultati Chiave

L'analisi dei dati ha rivelato pattern significativi che sfidano le definizioni tradizionali di equità:

• Dipendenza dal Contesto Distribuzionale: Quando le performance specifiche dei gruppi erano uguali o non fornite, i partecipanti preferivano fortemente le opzioni che garantivano la parità dei risultati (Opzioni 1 e 2). Tuttavia, quando le differenze di performance erano visibili, i partecipanti tendevano a giudicare più equa l'Opzione 3 (che preservava le differenze), specialmente se le differenze erano coerenti con le informazioni sulla disponibilità dei dati.
• Ruolo della Causa Percepita: I partecipanti non valutavano la fairness basandosi solo sull'uguaglianza dei risultati, ma sulla causa percepita della disparità.
  • Se una disparità era associata a una maggiore difficoltà del compito o a una distribuzione naturale (rappresentata da performance diverse), veniva considerata legittima.
  • Se la disparità era attribuita a dati sbilanciati o biased, la percezione di equità cambiava.
• Effetto di Ancoraggio (Anchoring): I giudizi di fairness non erano assoluti ma relativi. I partecipanti usavano le performance originali dei gruppi come "punto di riferimento" (baseline). Modelli che si allontanavano da questo baseline (cercando di forzare la parità) venivano spesso percepiti come meno equi, anche se miglioravano l'outcome complessivo.
• Impatto della Disponibilità dei Dati: La quantità di dati ha influenzato il ragionamento. Ad esempio, se un gruppo aveva una performance più alta ma anche molti più dati, la disparità era meno giustificata rispetto al caso in cui un gruppo con meno dati avesse una performance più alta (interpretato come maggiore difficoltà del compito).

4. Contributi Principali

1. Evidenza Empirica sull'Infra-marginalità: Il paper fornisce dati sperimentali che dimostrano come la percezione umana della fairness sia sensibile alle differenze distribuzionali legittime, contraddicendo l'assunzione implicita di molte metriche tecniche secondo cui la parità statistica è sempre l'obiettivo desiderabile.
2. Ridefinizione del Ruolo della Parità: Dimostra che forzare la parità (parity) in contesti di infra-marginalità può essere percepito come ingiusto dagli utenti, creando un divario tra le metriche tecniche e la legittimità sociale del sistema.
3. Framework per la Progettazione: Suggerisce che la progettazione di sistemi di IA equi deve andare oltre la semplice ottimizzazione di metriche di parità. È necessario incorporare il contesto distribuzionale e comunicare chiaramente le cause delle disparità agli stakeholder.

5. Significato e Implicazioni

Lo studio ha profonde implicazioni per la ricerca e la pratica dell'IA:

• Divario Metrica-Umano: Esiste un rischio concreto che gli interventi di fairness basati sulla parità forzata (come l'equalizzazione dei tassi di errore) possano erodere la fiducia pubblica se non tengono conto delle ragioni legittime delle disparità.
• Progettazione Centrata sull'Uomo: I sistemi di decisione algoritmica (in sanità, giustizia penale, prestiti) devono essere progettati considerando non solo la matematica della fairness, ma anche come gli utenti interpretano le cause delle differenze.
• Flessibilità nelle Definizioni: Le definizioni di fairness dovrebbero essere adattive al contesto. In scenari con distribuzioni eterogenee, preservare le disparità legittime potrebbe essere più equo e socialmente accettabile che imporre una parità artificiale.
• Comunicazione: La trasparenza non riguarda solo spiegare come funziona il modello, ma anche spiegare perché esistono determinate disparità (es. differenze nei tassi di base), aiutando gli utenti a distinguere tra bias ingiusto e variazione naturale.

In conclusione, il paper argomenta che per allineare le metriche algoritmiche alle aspettative umane, è fondamentale passare da una visione rigida della parità statistica a un approccio che integri la comprensione del contesto distribuzionale e delle cause sottostanti alle disparità.