Triangle-Motif Proxy Entanglement in Markov Boundary-Based Fair Feature Selection: A Structural and Empirical Study

Nel mondo ad alta posta in gioco del moderno processo decisionale, dal determinare chi ottiene un prestito bancario al decidere chi viene assunto per un lavoro, i sistemi informatici sono sempre più incaricati di prendere la decisione. Questi algoritmi sono progettati per essere accurati, ma vi è una crescente richiesta che siano anche equi, garantendo che non discriminino le persone in base a caratteristiche protette come la razza o il genere. Per raggiungere questo obiettivo, i data scientist spesso cercano di eliminare le informazioni sensibili prima che il computer le veda. Un metodo popolare per trovare l'informazione più utile prevede un concetto chiamato confine di Markov. Pensate a questo come al modo di uno scienziato di identificare il gruppo più piccolo ed essenziale di indizi necessari per prevedere un risultato. Se si hanno gli indizi giusti, si può prevedere il risultato perfettamente senza bisogno di altri dati ridondanti. La logica suggerisce che se si trova questo insieme perfetto e minimo di indizi e poi si rimuovono semplicemente quelli sensibili, si dovrebbe ottenere un modello che sia sia accurato che equo.

Tuttavia, un nuovo studio dei ricercatori Roopa Maliakal e S. Asharaf della Kerala University of Digital Sciences, Innovation and Technology sfida questo approccio diretto. Hanno indagato una situazione specifica e comune in cui gli indizi necessari per fare una previsione sono profondamente intrecciati con le stesse informazioni che il sistema dovrebbe ignorare. I ricercatori hanno scoperto che in molti scenari del mondo reale, i predittori più utili non sono solo debolmente correlati ai tratti sensibili; sono strutturalmente bloccati nello stesso schema che li rende bravi a prevedere il risultato. Quando i ricercatori cercano di estirpare questi indizi "proxy" dal sistema per garantire l'equità, spesso compromettono la capacità del modello di prevedere con precisione. Lo studio suggerisce che rimuovere semplicemente una variabile perché è legata a un gruppo protetto non è un atto neutro; è un compromesso che può costare al sistema la sua precisione, e il costo è spesso più alto di quello che si avrebbe rimuovendo una variabile casuale e non correlata.

I ricercatori hanno concentrato la loro attenzione su una specifica forma di relazioni tra variabili, che chiamano "motivo a triangolo". Immaginate tre punti: un attributo protetto, come il genere di una persona; un risultato target, come il suo reddito; e una terza variabile, un proxy, come la qualifica lavorativa o le ore lavorate. In questo triangolo, la qualifica lavorativa è direttamente collegata al reddito, rendendola un indizio vitale per la previsione. Allo stesso tempo, la qualifica lavorativa è anche direttamente collegata al genere, forse a causa di modelli di assunzione storici. Poiché la qualifica lavorativa è così utile per prevedere il reddito e non è solo un duplicato dell'informazione sul genere, il computer nella sua ricerca del "miglior" insieme di indizi la manterrà naturalmente. I ricercatori hanno dimostrato che se si forza il sistema a rimuovere questa qualifica lavorativa per proteggere contro il pregiudizio di genere, non si sta solo rimuovendo un legame sensibile; si sta rimuovendo un pezzo del puzzle di cui il sistema ha genuinamente bisogno per svolgere il proprio compito.

Per testare questa idea, il team non si è basato solo sulla teoria astratta. Hanno costruito una simulazione controllata in cui sapevano esattamente come i dati venivano generati, creando appositamente questi rapporti triangolari. In queste simulazioni, hanno scoperto che quando rimuovevano la variabile proxy, la quantità di informazioni utili disponibili per il computer diminuiva significativamente. Il sistema perdeva la sua capacità di prevedere il risultato con la stessa efficacia di prima. Ciò ha confermato che la perdita di accuratezza non era un glitch casuale ma una conseguenza diretta del taglio di una variabile che era sia predittiva che intrecciata con l'attributo protetto. Lo studio si è poi spostato sui dati del mondo reale, utilizzando due grandi e ben noti dataset sull'impiego: uno dal dataset UCI Adult e un altro dall'American Community Survey. Hanno utilizzato due metodi diversi e standard per trovare il "miglior" insieme di indizi per prevedere il reddito, imitando il modo in cui un data scientist lavorerebbe normalmente.

I risultati nel mondo reale hanno rispecchiato le simulazioni. Gli algoritmi mantenevano costantemente determinate variabili, come lo stato civile, l'occupazione e le ore lavorate, perché erano i predittori più affidabili del reddito. Queste variabili erano anche altamente correlate con attributi protetti come sesso e razza. Quando i ricercatori hanno poi rimosso manualmente queste variabili per cercare di rendere il modello equo, l'accuratezza delle previsioni è scesa. Il calo di accuratezza non è stato piccolo o accidentale; è stato misurabile e costante attraverso diversi tipi di modelli informatici, inclusi modelli lineari semplici e sistemi più complessi basati su alberi decisionali. In un dataset, la rimozione delle variabili proxy ha causato un calo di accuratezza molto maggiore rispetto alla rimozione di un set casuale di variabili non correlate. Ciò ha dimostrato che il costo era specifico per la perdita dell'informazione proxy, non solo il risultato di avere meno indizi a disposizione.

Lo studio ha anche esaminato se la rimozione di queste variabili rendesse effettivamente il sistema più equo. La risposta è stata complicata. In alcuni casi, il divario tra il modo in cui i diversi gruppi venivano trattati si è ridotto, ma in altri casi non è cambiato affatto. Il miglioramento dell'equità dipendeva fortemente da quale specifica misura di equità veniva utilizzata e da quale modello informatico era in funzione. Questa incoerenza evidenzia una realtà difficile: non esiste un unico interruttore da attivare che renda un modello sia perfettamente accurato che perfettamente equo quando i dati sono così aggrovigliati. I ricercatori hanno introdotto un nuovo strumento chiamato "Proxy Entanglement Penalty" (Penalità di Intreccio dei Proxy), che funge da segnale di avvertimento. Aiuta i data scientist a identificare quali variabili sono così profondamente connesse sia al risultato che all'attributo protetto da rendere probabile un danno alle prestazioni del modello se rimosse.

Gli autori sottolineano con cautela che i loro risultati non significano che l'apprendimento automatico equo sia impossibile. Invece, sostengono che la pratica comune di trovare prima i migliori indizi e poi cercare di tagliare via quelli "cattivi" è fallace in queste situazioni specifiche. Se gli indizi necessari per l'accuratezza sono gli stessi che portano il pregiudizio, un semplice taglio non funzionerà. Lo studio suggerisce che i data scientist devono essere più cauti. Prima di eliminare una variabile, dovrebbero controllare se si tratta di un pezzo vitale del puzzle che è solo sfortunatamente legato a un tratto sensibile. Se lo è, semplicemente eliminarlo danneggerà probabilmente l'accuratezza del modello senza garantire l'equità. I ricercatori raccomandano un approccio più riflessivo in cui la decisione di rimuovere una variabile sia trattata come una scelta di governance documentata, pesando la perdita di accuratezza rispetto al potenziale guadagno in equità, piuttosto che assumere che la rimozione di una variabile sia un passo tecnico innocuo.

In definitiva, questa ricerca rivela una tensione strutturale nel modo in cui costruiamo gli algoritmi. Mostra che in molti contesti economici del mondo reale, l'informazione che rende buona una previsione è spesso la stessa informazione che la rende ingiusta. Lo studio fornisce prove del fatto che cercare di risolvere questo problema semplicemente potando i dati è uno strumento rozzo che spesso fallisce. Chiede un cambiamento nel modo in cui affrontiamo questi problemi, passando dall'idea che possiamo semplicemente cancellare il pregiudizio e mantenere l'accuratezza, verso metodi che potrebbero richiedere un cambiamento nel modo in cui il modello apprende o rappresenta i dati stessi. Il lavoro serve da promemoria: nella complessa rete dei dati umani, le linee tra ciò che è utile e ciò che è ingiusto sono spesso tracciate nello stesso punto, e tagliare l'una senza comprendere l'altra può lasciare l'intero sistema rotto.