AI Alignment Amplifies the Role of Race, Gender, and Disability in Hiring Decisions

Resumen Técnico: La Alineación de la IA Amplifica el Papel de la Raza, el Género y la Discapacidad en las Decisiones de Contratación

Declaración del Problema
A medida que los modelos de lenguaje (ML) participan cada vez más en la toma de decisiones con consecuencias, incluido el empleo, persiste una pregunta crítica: ¿estos sistemas reproducen patrones históricos de discriminación humana o generan nuevos? Si bien los mercados laborales humanos exhiben sesgos bien documentados contra las mujeres, las minorías raciales (específicamente los candidatos negros) y las personas con discapacidad, no está claro si los ML heredan estos sesgos de los datos de preentrenamiento o si los procesos de alineación posteriores al entrenamiento los reconfiguran. La literatura existente sugiere que la IA podría replicar los sesgos cognitivos humanos, pero los mecanismos específicos y las magnitudes de los efectos demográficos en los ML en comparación con los empleadores humanos no se comprenden totalmente.

Metodología
Los autores realizaron un estudio de auditoría a gran escala que involucró a 27 modelos de lenguaje (19 ajustados mediante instrucciones y 8 modelos base preentrenados) en 177 ocupaciones, representando casi la mitad del empleo en EE. UU.

• Diseño Experimental: El estudio utilizó un diseño de emparejamiento por pares. Para cada ocupación, se generaron perfiles de candidatos muestreando independientemente de distribuciones específicas de la ocupación para habilidades, educación, experiencia laboral y promedio de calificaciones (GPA). Estos perfiles se convirtieron en currículums en lenguaje natural.
• Contrafactuales Demográficos: Cada currículum se replicó en ocho variantes que representan todas las combinaciones de género (masculino/femenino), raza (blanco/negro) y estado de discapacidad (con discapacidad/sin discapacidad). Todos los atributos relevantes para la productividad se mantuvieron constantes; solo varió el bloque de información demográfica.
• Tarea: Se solicitó a los modelos que eligieran al mejor candidato entre dos perfiles emparejados aleatoriamente con calificaciones y demografías diferentes. Este diseño aísla el efecto causal de la identidad demográfica en las decisiones de contratación.
• Análisis Estadístico: Los autores emplearon regresión logística sobre los log-odds de seleccionar a un candidato sobre otro, regresando el resultado sobre las diferencias demográficas y las diferencias de calificación. Utilizaron:
  • Pares Emparejados: Nueve conjuntos de modelos que comparten la misma arquitectura pero difieren en alineación (preentrenados vs. ajustados mediante instrucciones) para aislar el efecto causal de la alineación.
  • Metaanálisis: Metaanálisis de efectos aleatorios para agregar estimaciones por modelo y compararlas con puntos de referencia humanos derivados de un metaanálisis de 361 experimentos de correspondencia.
  • Prueba de Mecanismos: Especificaciones para "retornos diferenciales" (probar si las calificaciones generan retornos diferentes según el grupo) y "asimetría de información" (probar si la ausencia de señales perjudica desproporcionadamente a grupos específicos).

Contribuciones Clave

1. Cuantificación de Efectos Demográficos: El estudio proporciona la primera cuantificación a gran escala y transversal de ocupaciones de cómo los ML tratan a las candidatas, candidatos negros y candidatos con discapacidad en relación con sus contrapartes, manteniendo fijas las calificaciones.
2. Papel Causal de la Alineación: Al comparar modelos preentrenados y ajustados mediante instrucciones emparejados, el artículo aísla la alineación posterior al entrenamiento como el principal impulsor de los efectos demográficos, demostrando que la alineación amplifica significativamente los sesgos existentes en lugar de simplemente heredarlos.
3. Divergencia de los Patrones Humanos: La investigación establece que los ML no replican simplemente la discriminación humana; invierten la dirección de la discriminación racial, atenúan la penalización por discapacidad y amplifican la ventaja femenina en comparación con los empleadores humanos.
4. Identificación de Mecanismos: El artículo identifica que los ML operan mediante mecanismos de discriminación estadística (retornos diferenciales y asimetría de información), pero que la alineación altera la magnitud y la dirección de estos efectos de manera asimétrica entre los grupos.

Resultados

• Efectos Demográficos: En los modelos ajustados mediante instrucciones, las candidatas y los candidatos negros reciben ventajas en la contratación, mientras que los candidatos con discapacidad enfrentan una penalización.
  • Magnitud: La ventaja femenina corresponde a un aumento de aproximadamente el 12% en las probabilidades de contratación, y la ventaja negra a un aumento del 8%. La penalización por discapacidad corresponde a una disminución del 6%. Estos efectos son comparables a seis meses a un año de educación adicional.
  • Amplificación por Alineación: En relación con los modelos preentrenados, la alineación amplifica la ventaja femenina en un 325% y la ventaja negra en un 330%. Por el contrario, empeora la penalización por discapacidad en un 171%.
• Comparación con la Discriminación Humana:
  • Raza: Los empleadores humanos muestran una penalización del 32% para los candidatos negros; los ML invierten esto, mostrando una ventaja de aproximadamente el 9%.
  • Discapacidad: Los empleadores humanos muestran una penalización del 41%; los ML la atenúan a aproximadamente el 5%, pero no la invierten.
  • Género: Los empleadores humanos muestran una ligera ventaja del 4% para las mujeres; los ML la amplifican al 13%.
• Mecanismos:
  • Retornos Diferenciales: Los ML recompensan las mismas calificaciones de manera más generosa para los grupos marginados (mayores retornos a las habilidades generales para los tres grupos; mayores retornos a la experiencia laboral para las candidatas y candidatos negros, pero una penalización para los candidatos con discapacidad).
  • Asimetría de Información: Cuando faltan señales de calificación (experiencia laboral), los ML imponen penalizaciones adicionales a los grupos marginados. Esta penalización es mayor para los candidatos con discapacidad. La alineación amplifica causalmente estas penalizaciones por asimetría de información para los tres grupos.
• Variación Ocupacional: Las ventajas para mujeres y personas negras son mayores en ocupaciones de salarios más altos. La penalización por discapacidad es más severa en ocupaciones donde los trabajadores con discapacidad son más prevalentes.

Significado y Afirmaciones
El artículo afirma que la IA no solo reproduce la discriminación humana histórica, sino que produce un patrón de resultados fundamentalmente diferente. Los autores argumentan que el papel de la raza, el género y la discapacidad en la contratación impulsada por la IA es comparable a diferenciales educativos significativos (6–12 meses de educación).

Crucialmente, el estudio desafía la premisa subyacente a las regulaciones actuales (como la Ley de IA de la UE y la Ley Local 144 de la Ciudad de Nueva York) de que la IA simplemente replicará los sesgos históricos. En cambio, los hallazgos sugieren que la alineación posterior al entrenamiento reconfigura activamente el tratamiento relativo de los grupos marginados. Los autores concluyen que la pregunta política ya no es si la IA discrimina contra los grupos marginados, sino cómo la alineación reconfigura el tratamiento relativo entre ellos, señalando que, si bien la alineación beneficia a las candidatas y candidatos negros en este contexto, exacerba las desventajas para los candidatos con discapacidad.