Developing and assessing a scale for measuring human–AI alignment in hiring decisions

En el mundo moderno, los guardianes de las oportunidades están cambiando. Durante décadas, la decisión de contratar a alguien para un trabajo recayó enteramente en el juicio humano, un proceso influenciado por la experiencia, la intuición y, en ocasiones, el sesgo inconsciente. Hoy en día, la inteligencia artificial está interviniendo cada vez más en ese rol, filtrando miles de currículums y realizando las selecciones iniciales antes de que un humano vea siquiera un nombre. Este cambio plantea una pregunta fundamental: cuando una máquina toma una decisión de contratación, ¿piensa como una persona? La respuesta no es tan simple como preguntar si la computadora tiene razón o se equivoca. En cambio, los investigadores se preguntan qué tan de cerca las elecciones de la máquina reflejan las formas desordenadas, variadas y a menudo inconsistentes en que los humanos realmente deciden. Para entender esto, los científicos han comenzado a tratar la contratación no solo como una transacción económica, sino como una prueba de alineación, midiendo la distancia entre el razonamiento humano y la lógica algorítmica.

Un equipo de investigadores se propuso medir esta distancia con un nuevo enfoque que llaman Test de Turing del Mercado Laboral. El clásico Test de Turing, propuesto hace décadas, fue diseñado para ver si una máquina podía convencer a un humano de que también era humano. Esta nueva versión invierte el guion. En lugar de preguntar si una máquina puede engañar a una persona, pregunta cuánto se parecen las decisiones de una máquina a las de una persona. Los investigadores no simplemente le pidieron a una IA que eligiera al mejor candidato. Crearon un experimento controlado en Ecuador con 277 reclutadores profesionales humanos. Estas personas reales fueron contratadas para revisar pares de solicitantes de empleo para diez tipos diferentes de trabajos, que iban desde asistentes de almacén hasta desarrolladores de software. Para asegurar que la prueba fuera justa y se centrara en el estilo de toma de decisiones en lugar de en las calificaciones específicas, los solicitantes en cada par fueron emparejados en cuanto a sus habilidades, educación y experiencia. Las únicas diferencias entre ellos eran marcadores de identidad, como el género, la orientación sexual o el estatus migratorio, factores que lógicamente no deberían influir en quién es contratado para el trabajo.

Los reclutadores humanos tomaron sus decisiones, y luego los investigadores construyeron un espejo digital. Crearon cuatro equipos diferentes de agentes de inteligencia artificial, cada uno impulsado por un modelo de lenguaje de gran tamaño, para realizar exactamente la misma tarea. El primer equipo, llamado "Robots", recibió solo instrucciones básicas para elegir al mejor candidato. El segundo equipo, "Avatares", recibió la instrucción de pretender ser reclutadores humanos específicos, imitando su personalidad, educación y antecedentes profesionales. El tercer equipo, "Clones", fue un paso más allá; no solo se les dijo que pretendieran ser un humano específico, sino que también se les restringió a ver solo la misma información que el humano había visto, en el mismo orden exacto. El equipo final, "Randomistas", tomó sus decisiones lanzando una moneda digital, sirviendo como una línea base de pura aleatoriedad. El objetivo era ver qué equipo de IA realizaba decisiones que se parecieran más a las de los reclutadores humanos.

Para medir los resultados, los investigadores desarrollaron una escala para situar a cada reclutador, tanto humano como máquina, en una sola línea. En un extremo de la línea se encuentra un punto de referencia llamado "Skynet", que representa la elección promedio realizada por el equipo básico de Robots. Esto no es una medida de equidad, sino una medida de pura consistencia algorítmica. Un reclutador que siempre está de acuerdo con Skynet actúa de una manera altamente similar a la de una máquina. Un reclutador que discrepa a menudo actúa de una manera más humana. El estudio encontró que el reclutador humano promedio era significativamente diferente de la máquina promedio. De hecho, las elecciones humanas estaban aproximadamente a 1.73 desviaciones estándar de distancia del comportamiento típico de la máquina. Esto significa que, en promedio, los humanos son mucho menos predecibles y menos consistentes que la IA básica.

Los investigadores descubrieron que cuanto más intentaban que la IA actuara como un humano, más cerca se acercaba al promedio humano, pero nunca llegaba del todo. Incluso los "Clones", que fueron programados para imitar a humanos específicos y restringidos a la misma información que estos vieron, siguieron produciendo un patrón de elecciones que era estadísticamente diferente de las personas reales. El hallazgo más sorprendente provino de los "Randomistas". Los agentes de IA que simplemente lanzaron una moneda para tomar sus decisiones terminaron teniendo, de hecho, un patrón de elecciones que estaba más cerca del promedio humano que cualquier otro equipo de IA sofisticado. Esto sugiere que la toma de decisiones humana en la contratación contiene un nivel de aleatoriedad o inconsistencia que es difícil de replicar incluso para la IA más humanizada. Los humanos no solo estaban tomando decisiones racionales y basadas en reglas; estaban tomando decisiones que incluían un grado de imprevisibilidad que las máquinas, incluso cuando se les pedía ser humanas, no podían capturar por completo.

El estudio también reveló que la brecha entre humanos y máquinas se ampliaba dependiendo de la complejidad del trabajo. Cuando los reclutadores elegían entre candidatos para trabajos simples, como un conserje o un trabajador de almacén, los humanos y las máquinas coincidían con más frecuencia. Sin embargo, a medida que los trabajos se volvían más exigentes, requiriendo habilidades especializadas o mayor educación, el acuerdo disminuía. Las máquinas y los humanos empezaron a divergir más marcadamente. Además, cuando los dos candidatos en un par eran muy similares, con diferencias mínimas en su edad o años de experiencia, los humanos y las máquinas discrepaban con más frecuencia. Las máquinas parecían aferrarse a estos detalles diminutos y tomar una decisión basados en ellos, mientras que los humanos eran más propensos a tratar a los candidatos como esencialmente iguales. Esto indica que la IA es hipervigilante ante las pequeñas diferencias, mientras que los humanos están más dispuestos a aceptar la ambigüedad.

Los investigadores también analizaron si podían explicar por qué algunos humanos eran más "parecidos a una máquina" que otros. Examinaron la personalidad de los reclutadores, sus puntuaciones en pruebas cognitivas, su educación y sus años de experiencia. Sorprendentemente, ninguno de estos factores proporcionó una explicación clara. La inteligencia de un reclutador o sus años en el campo no predijeron si tomaría decisiones que se parecieran a las de una máquina. Los únicos rasgos que mostraron una débil conexión fueron de personalidad: los reclutadores con mayor autoestima tendían a ser ligeramente más parecidos a una máquina, mientras que aquellos con mayor neuroticismo lo eran ligeramente menos. Pero incluso con estos factores, la gran mayoría de la diferencia entre las elecciones humanas y las de las máquinas permaneció sin explicar. Esto sugiere que la forma en que los humanos toman estas decisiones involucra una dimensión compleja y oculta que no puede medirse fácilmente mediante encuestas o pruebas estándar.

En última instancia, el estudio sugiere que la imitación perfecta del juicio humano requiere capturar no solo la tendencia promedio de elegir un cierto tipo de candidato, sino también la plena diversidad del razonamiento humano, incluyendo sus inconsistencias. Los sistemas de IA, incluso cuando se ajustan para parecer humanos, tienden a ser más consistentes y basados en reglas que las personas a las que intentan imitar. Esto crea una paradoja: cuanto más intenta un sistema de IA ser perfectamente consistente y racional, menos se parece a un humano. Los investigadores argumentan que esta diferencia es crucial para entender cómo usar la IA en la contratación. Si queremos que la IA sea confiable, debemos entender que no se comportará naturalmente como un humano. No abrazará naturalmente el mismo nivel de ambigüedad o aleatoriedad que los humanos. El estudio concluye que, antes de entregar las llaves de la contratación a los algoritmos, debemos reconocer que estos sistemas no son solo humanos más rápidos; son tomadores de decisiones fundamentalmente diferentes, que operan bajo una lógica que es estable y reglamentada, pero a menudo ajena a la realidad desordenada de la elección humana.