Applied and Filtered: An End-to-End Algorithmic Fairness Audit of A Public Employment Agency
Questo articolo presenta il primo audit di equità indipendente ed end-to-end del sistema di assunzione semi-automatizzato di Barcelona Activa, rivelando che, sebbene esista una parità di genere aggregata, persistono disparità significative tra i livelli salariali, le fasce d'età e le identità di genere a causa di complesse interazioni tra l'elaborazione automatizzata, la discrezionalità umana e l'opacità del fornitore che risultano invisibili alle tradizionali valutazioni a livello di modello.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di cercare un lavoro, ma invece di consegnare il tuo curriculum a una persona, di entrare in un enorme labirinto tecnologico. Questo è il mondo dell'equità algoritmica, un campo della scienza che pone una domanda semplice ma complicata: Quando i computer aiutano a prendere grandi decisioni come l'assunzione, trattano tutti allo stesso modo o, accidentalmente, spingono certe persone verso vicoli ciechi? Per molto tempo, gli esperti hanno controllato principalmente il "cervello" del computer — il codice stesso — per vedere se fosse influenzato da pregiudizi. Ma questo articolo sostiene che controllare solo il cervello è come controllare il motore di un'auto ignorando il conducente, le condizioni della strada e le regole del traffico. Si scopre che anche se il motore è perfetto, l'auto può comunque schiantarsi se il conducente è distratto o la mappa è sbagliata. Questo è importante per tutti perché gli algoritmi di assunzione stanno diventando i guardiani dei nostri mezzi di sussistenza e, se sono difettosi, possono silenziosamente bloccare le persone dalle opportunità senza che nessuno se ne accorga.
Questo articolo è una storia investigativa su un vero labirinto del lavoro a Barcellona, in Spagna. I ricercatori, agendo come auditor indipendenti, non si sono limitati a guardare il codice del computer; hanno seguito 4-497.000 cercatori di lavoro attraverso ogni singolo passaggio di un viaggio di cinque anni (dal 2017 al 2022) per vedere dove il sistema ha fallito. Hanno esaminato un sistema semi-automatizzato in cui un analista umano utilizza un software di terze parti chiamato "TalentClue" per trovare candidati per i datori di lavoro. Immaginatelo come una staffetta con sette tappe: il datore di lavoro pubblica un annuncio, l'analista umano sceglie le parole chiave, il computer filtra l'elenco, l'umano sceglie una rosa di candidati e, infine, il datore di lavoro assume qualcuno.
Il colpo di scena più sorprendente della storia? Se avessi guardato solo il traguardo finale, la corsa sarebbe sembrata equa. Il numero di uomini e donne assunti era quasi identico. Era come vedere due squadre con lo stesso punteggio finale e assumere che la partita fosse perfettamente equilibrata. Ma quando gli auditor hanno riavvolto il nastro e guardato ogni tappa della corsa, hanno scoperto una storia diversa. Quel punteggio finale "equo" nascondeva in realtà molta ingiustizia lungo il percorso.
Ecco dove il sistema ha iniziato a far inciampare le persone:
- La trappola dello stipendio: Mentre uomini e donne venivano assunti a tassi simili complessivamente, le donne avevano molte meno probabilità di essere incluse nella rosa per lavori con stipendi medi (tra 15.000 € e 24.000 €). Infatti, per questi specifici lavori, le donne venivano selezionate a un tasso di solo 7,43% rispetto al 9,45% degli uomini. È come se il sistema avesse una regola nascosta che diceva: "Puoi ottenere il lavoro, ma forse non quello migliore".
- Il muro dell'età: Il sistema sembrava avere un punto cieco per i lavoratori più anziani. Le persone di età pari o superiore a 55 anni costituivano il 15,6% della forza lavoro locale, ma erano completamente assenti dal processo di selezione. Era come se il labirinto avesse un muro che nessuno sopra i 55 anni poteva vedere, tanto meno scalare.
- Il problema dell' "Altro": Per i candidati che si identificavano come non binari (né strettamente maschi né femmine), le probabilità erano incredibilmente scarse. Erano inclusi nella rosa a meno di un terzo del tasso degli uomini. Tuttavia, i ricercatori osservano che c'erano pochissimi candidati di questo tipo nei dati (solo 285), quindi, sebbene la disparità sia chiara, non possono ancora dire con precisionza quanto sia grande il problema per l'intera popolazione.
- Il paradosso dell'istruzione: Curiosamente, le persone con un'istruzione superiore avevano meno probabilità di essere incluse nella rosa rispetto a chi aveva solo un diploma di scuola superiore. Poiché le donne tendono ad avere titoli di studio più elevati in questo dataset, questa regola ha accidentalmente danneggiato ulteriormente le possibilità delle donne.
L'articolo evidenzia anche un grave problema di comunicazione. Le persone che gestiscono l'agenzia per il lavoro (Barcelona Activa) non sapevano in realtà come il software informatico (TalentClue) decidesse chi mostrargli. Era come assumere uno chef ma non potersi permettere di vedere la ricetta o gli ingredienti. L'agenzia non poteva controllare se il computer fosse prevenuto perché la società del software teneva segreta la sua "formula segreta".
Infine, i ricercatori hanno scoperto che il sistema non era statico; è cambiato nel tempo. Il divario tra uomini e donne nell'essere inclusi nella rosa si è ridotto dal 2017 al 2022, ma solo perché meno persone di entrambi i generi venivano selezionate complessivamente. È come una gara in cui il divario tra i corridori si restringe perché tutti corrono più lentamente, non perché la pista sia diventata più equa.
Il punto fondamentale è che non puoi limitarti a controllare il codice di un computer una volta sola e dichiararlo "equo". Devi osservare l'intero processo — gli esseri umani, i dati, il software e il tempo che intercorre. Se guardi solo il risultato finale, potresti perdere il fatto che il sistema sta silenziosamente indirizzando certi gruppi lontano dalle migliori opportunità. L'autore suggerisce che, invece di fare un controllo una tantum, le aziende devono mantenere un controllo costante sui loro sistemi di assunzione, come un faro che tiene d'occhio le onde, per assicurarsi che il percorso verso un lavoro sia aperto per tutti, ogni giorno.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.