Fair Supervised Learning Through Constraints on Smooth Nonconvex Unfairness-Measure Surrogates

Sintesi Tecnica: Apprendimento Supervisionato Equo Attraverso Vincoli su Surrogati di Misura dell'Iniquità Lisci e Non Convessi

Definizione del Problema
I modelli di apprendimento automatico supervisionato, pur essendo efficaci in domini quali la finanza, la giustizia penale, le assunzioni e l'assistenza sanitaria, spesso ereditano o introducono pregiudizi che portano a esiti discriminatori. Questi pregiudizi si manifestano come iniquità nelle previsioni tra diversi gruppi demografici. Le strategie esistenti per mitigare l'iniquità si dividono generalmente in categorie di pre-elaborazione, in-elaborazione o post-elaborazione. Questo articolo si concentra sulle strategie di in-elaborazione, nello specifico l'incorporazione di misure di iniquità nei problemi di ottimizzazione utilizzati per l'addestramento dei modelli.

Gli approcci attuali affrontano sfide computazionali e teoriche significative:

1. Non derivabilità e Non convessità: La formulazione diretta delle misure di iniquità (ad esempio, Parità Demografica, Impatto Disparato) comporta funzioni a gradino di Heaviside discontinue, che portano a problemi di ottimizzazione non convessi e non derivabili, difficili da risolvere.
2. Limitazioni dei Surrogati Convessi: Per affrontare le difficoltà computazionali, i ricercatori utilizzano spesso surrogati convessi (ad esempio, approssimazioni basate sulla covarianza). Tuttavia, questi non garantiscono che la misura di iniquità originale rimanga entro limiti accettabili; un piccolo valore del surrogato non implica necessariamente una piccola misura di iniquità effettiva.
3. Limitazioni della Regolarizzazione: L'uso diffuso di termini di regolarizzazione (vincoli morbidi) per imporre l'equità richiede una costosa sintonizzazione degli iperparametri. Inoltre, aumentare l'intensità della regolarizzazione per ridurre l'iniquità può degradare severamente l'accuratezza della previsione, e la relazione tra il parametro di regolarizzazione e l'iniquità risultante è spesso non monotona e difficile da controllare.
4. Gestione di Misure Multiple: Le strategie che tentano di bilanciare più misure di iniquità, potenzialmente contrastanti, tramite la regolarizzazione, portano spesso a problemi di addestramento intrattabili e ulteriori costi di sintonizzazione.

Metodologia
Gli autori propongono una nuova strategia di in-elaborazione che combina surrogati non convessi e lisci con vincoli rigidi per imporre l'equità.

1. Surrogati Non Convessi e Lisci:
   Invece di utilizzare approssimazioni convesse o funzioni a gradino discontinue, gli autori introducono surrogati non convessi, limitati e lisci per approssimare la funzione di Heaviside. Vengono utilizzate due specifiche approssimazioni:
   • La funzione sigmoide.
   • Una funzione a gradino smussata derivata dalle tecniche di smoothing della letteratura sull'ottimizzazione (specificamente, un'approssimazione piecewise-affine smussata tramite un termine di radice quadrata).

Fondamentalmente, questi surrogati sono limitati nell'intervallo $[0, 1]$ e sono scalati (tramite un parametro $\alpha$) per garantire che approssimino strettamente la funzione a gradino. Gli autori dimostrano (tramite il Teorema 2.1, derivato da lavori precedenti) che se il valore del surrogato è piccolo, anche la reale misura empirica di iniquità è piccola, a condizione che i valori del surrogato siano sufficientemente vicini a 0 o 1. Questa approssimazione stretta non è garantita dai surrogati lineari o convessi non limitati.

2. Vincoli Rigidi:
   Invece di aggiungere misure di iniquità come termini di regolarizzazione nella funzione obiettivo, gli autori formulano il problema di addestramento come un problema di ottimizzazione vincolata:
   $$\min_w \sum_{i \in [N]} \ell(N(x_i, s_i, w), y_i) + \frac{1}{\lambda}r(w) \quad \text{soggetto a} \quad l \leq c(w) \leq u$$
   Qui, $c(w)$ rappresenta il vettore delle misure surrogate per una o più misure di iniquità (ad esempio, Impatto Disparato, Impatto Uguale). I limiti $l$ e $u$ impongono specifiche tolleranze per l'iniquità direttamente.

   • Trattabilità: Gli autori sfruttano recenti tecniche stocastiche di Newton/Sequential Quadratic Programming (SQP) per risolvere efficientemente questi problemi non convessi vincolati.
   • Gradienti Stocastici: Il Teorema 3.1 dimostra che è possibile ottenere stime del gradiente stocastico non distorte per le funzioni di vincolo se i mini-batch mantengono un numero bilanciato di campioni da ciascun gruppo sensibile.

Contributi Chiave

1. Approssimazione Stretta del Surrogato: L'articolo introduce surrogati non convessi, limitati e lisci che forniscono una garanzia teorica: se il vincolo del surrogato è soddisfatto, la misura di iniquità reale è limitata. Ciò contrasta con i surrogati convessi dove un piccolo valore del surrogato non garantisce una bassa iniquità.
2. Vincoli Rigidi vs. Regolarizzazione: Gli autori propongono l'uso di vincoli rigidi invece della regolarizzazione. Ciò elimina la necessità di una costosa sintonizzazione dei parametri di regolarizzazione ed evita il comportamento non monotono spesso visto negli approcci basati sulla regolarizzazione. Permette l'imposizione esplicita di specifiche tolleranze di iniquità.
3. Scalabilità a Misure Multiple: Il framework si adatta naturalmente all'imposizione simultanea di più misure di iniquità, potenzialmente contrastanti, all'interno di un singolo problema di ottimizzazione, senza l'esplosione computazionale associata alla sintonizzazione di molteplici pesi di regolarizzazione.

Risultati Sperimentali
Gli autori hanno valutato il loro metodo su tre dataset benchmark: Dutch (previsione del reddito, attributo sensibile: genere), Law School (superamento dell'esame di abilitazione, attributo sensibile: razza) e ACSIncome (previsione del reddito, attributo sensibile: genere).

• Strettezza del Surrogato: Gli esperimenti hanno mostrato che i surrogati non scalati portavano a scostamenti tra i livelli di iniquità desiderati e quelli reali. Tuttavia, quando i surrogati sono stati scalati (ad esempio, $\alpha=50$), i livelli di iniquità realizzati corrispondevano strettamente ai vincoli imposti sia per la funzione a gradino smussata che per la sigmoide. Al contrario, i surrogati basati sulla covarianza rendevano difficile mappare un valore di vincolo specifico su un livello di iniquità desiderato.
• Vincolo vs. Regolarizzazione: Confrontando l'approccio proposto "solo vincoli" con un approccio "solo regolarizzazione", è emerso che il metodo dei vincoli ha ottenuto un miglioramento monotono dell'iniquità man mano che le soglie venivano rese più stringenti, mentre il metodo della regolarizzazione ha mostrato un comportamento imprevedibile e non monotono. L'approccio basato sui vincoli ha mantenuto un'elevata accuratezza della previsione anche quando i vincoli di iniquità sono diventati attivi, mentre l'approccio di regolarizzazione ha spesso subito cali significativi di accuratezza nel tentativo di imporre una rigorosa equità.
• Misure Multiple: Il framework ha applicato con successo vincoli simultanei su Impatto Disparato e Impatto Uguale. Sebbene l'aggiunta di più vincoli abbia ridotto l'accuratezza leggermente di più rispetto ai singoli vincoli, il metodo ha costantemente soddisfatto entrambi i criteri, dimostrando robustezza nella gestione di requisiti di equità complessi.

Significatività e Rivendicazioni
L'articolo sostiene che il suo approccio offra un paradigma di addestramento trattabile per l'apprendimento supervisionato equo. Risolvendo un singolo problema di ottimizzazione vincolata, i professionisti possono ottenere modelli che rispettano i limiti prescritti di iniquità senza l'onere computazionale della sintonizzazione dei parametri di regolarizzazione. Gli autori sottolineano che, sebbene la risoluzione di problemi non convessi vincolati sia più costosa per iterazione rispetto a quelli non vincolati, il costo computazionale complessivo è ridotto eliminando la necessità di una ricerca estensiva degli iperparametri. Il metodo è presentato come una soluzione robusta per applicazioni del mondo reale in cui sono richiesti rigorosi garanti di equità insieme a un'elevata accuratezza predittiva.