Applied and Filtered: An End-to-End Algorithmic Fairness Audit of A Public Employment Agency
Este artículo presenta la primera auditoría de equidad independiente de extremo a extremo del sistema de contratación semiautomatizado de Barcelona Activa, revelando que, si bien existe paridad de género agregada, persisten disparidades significativas en los niveles salariales, grupos de edad e identidades de género debido a interacciones complejas entre el procesamiento automatizado, la discreción humana y la opacidad del proveedor que son invisibles para las evaluaciones tradicionales a nivel de modelo.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que estás intentando encontrar un trabajo, pero en lugar de entregar tu currículum a una persona, entras en un laberinto gigante y de alta tecnología. Este es el mundo de la equidad algorítmica, un campo de la ciencia que plantea una pregunta sencilla pero complicada: Cuando las computadoras ayudan a tomar decisiones importantes como la contratación, ¿tratan a todos por igual o, accidentalmente, empujan a ciertas personas hacia callejones sin salida? Durante mucho tiempo, los expertos se limitaron a revisar el "cerebro" de la computadora —el código en sí— para ver si era sesgado. Pero este artículo sostiene que revisar solo el cerebro es como revisar el motor de un coche ignorando al conductor, las condiciones de la carretera y las normas de tráfico. Resulta que, incluso si el motor es perfecto, el coche puede chocar si el conductor está distraído o si el mapa es erróneo. Esto nos importa a todos porque los algoritmos de contratación se están convirtiendo en los porteros de nuestro sustento, y si están rotos, pueden bloquear silenciosamente las oportunidades de las personas sin que nadie lo note.
Este artículo es una historia de detectives sobre un laberinto de contratación de la vida real en Barcelona, España. Los investigadores, actuando como auditores independientes, no se limitaron a mirar el código de la computadora; siguieron a 497.000 buscadores de empleo a través de cada uno de los pasos de un viaje de cinco años (de 2017 a 2022) para ver dónde fallaba el sistema. Observaron un sistema semiautomático donde un analista humano utiliza un software de terceros llamado "TalentClue" para encontrar candidatos para los empleadores. Piensa en ello como una carrera de relevos con siete etapas: el empleador publica un puesto, el analista humano elige las palabras clave, la computadora filtra la lista, el humano elige una lista corta y, finalmente, el empleador contrata a alguien.
¿El giro más sorprendente de la historia? Si solo mirabas la línea de meta final, la carrera parecía justa. El número de hombres y mujeres contratados era casi exactamente el mismo. Era como ver a dos equipos con el mismo marcador final y asumir que el juego era perfectamente equilibrado. Pero cuando los auditores rebobinaron la cinta y observaron cada etapa de la carrera, encontraron una historia diferente. El marcador final "justo" en realidad ocultaba mucha injusticia ocurriendo en el camino.
Aquí es donde el sistema empezó a hacer tropezar a la gente:
- La trampa salarial: Aunque las mujeres y los hombres fueron contratados en tasas similares en general, las mujeres tenían muchas menos probabilidades de ser preseleccionadas para trabajos de salario medio (entre 1.─24.000 €). De hecho, para estos trabajos específicos, las mujeres fueron preseleccionadas a una tasa de solo el 7,43 % en comparación con el 9,45 % de los hombres. Es como si el sistema tuviera una regla oculta que dijera: "Puedes conseguir el trabajo, pero tal vez no el mejor trabajo".
- El muro de la edad: El sistema parecía tener un punto ciego para los trabajadores mayores. Las personas de 55 años o más representaban el 15,6 % de la fuerza laboral local, pero estaban completamente ausentes del proceso de contratación. Era como si el laberinto tuviera un muro que nadie de 55 años o más pudiera ver, y mucho menos escalar.
- El problema del "otro": Para los candidatos que se identificaban como no binarios (ni estrictamente hombres ni mujeres), las probabilidades eran increíblemente escasas. Fueron preseleccionados a menos de un tercio de la tasa de los hombres. Sin embargo, los investigadores señalan que había muy pocos candidatos de este tipo en los datos (solo 285), por lo que, aunque la disparidad es clara, aún no pueden determinar con exactitud qué tan grande es el problema para toda la población.
- La paradoja de la educación: Curiosamente, las personas con mayor educación tenían menos probabilidades de ser preseleccionadas que aquellas con solo un diploma de secundaria. Dado que las mujeres tienden a tener mayores niveles de educación en este conjunto de datos, esta regla perjudicó accidentalmente aún más sus posibilidades.
El artículo también destaca una importante ruptura en la comunicación. Las personas que gestionan la agencia de contratación (Barcelona Activa) no sabían realmente cómo el software de la computadora (TalentClue) decidía a quién mostrarles. Era como contratar a un chef pero no poder ver la receta ni los ingredientes. La agencia no podía comprobar si la computadora era sesgada porque la empresa de software mantenía la "salsa secreta" oculta.
Finalmente, los investigadores descubrieron que el sistema no era estático; cambió con el tiempo. La brecha entre hombres y mujeres en la preselección se redujo de 2017 a 2022, pero solo porque menos personas de ambos géneros estaban siendo preseleccionadas en total. Es como una carrera donde la brecha entre los corredores se reduce porque todos corren más lento, no porque la pista se haya vuelto más justa.
La gran conclusión es que no puedes simplemente revisar el código de una computadora una vez y llamarlo "justo". Tienes que observar todo el proceso: los humanos, los datos, el software y el tiempo que transcurre. Si solo miras el resultado final, podrías perderte el hecho de que el sistema está dirigiendo silenciosamente a ciertos grupos lejos de las mejores oportunidades. El autor sugiere que, en lugar de realizar una comprobación de una sola vez, las empresas necesitan mantener una vigilancia constante sobre sus sistemas de contratación, como un faro que vigila las olas, para asegurar que el camino hacia un trabajo esté abierto para todos, todos los días.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.