Developing and assessing a scale for measuring human–AI alignment in hiring decisions

Nel mondo moderno, i guardiani delle opportunità stanno cambiando. Per decenni, la decisione di assumere qualcuno per un lavoro è dipesa interamente dal giudizio umano, un processo influenzato dall'esperienza, dall'intuizione e, talvolta, dai pregiudizi inconsci. Oggi, l'intelligenza artificiale sta entrando sempre più in quel ruolo, esaminando migliaia di curricula e compiendo le selezioni iniziali prima ancora che un essere umano veda un nome. Questo cambiamento solleva una domanda fondamentale: quando una macchina prende una decisione di assunzione, pensa come una persona? La risposta non è semplice come chiedere se il computer abbia ragione o torto. Al contrario, i ricercatori si chiedono quanto da vicino le scelte della macchina rispecchino i modi disordinati, vari e spesso incoerenti con cui gli esseri umani decidono realmente. Per comprendere questo, gli scienziati hanno iniziato a trattare l'assunzione non solo come una transazione economica, ma come un test di allineamento, misurando la distanza tra il ragionamento umano e la logica algoritmica.

Un team di ricercatori si è posto l'obiettivo di misurare questa distanza con un nuovo approccio che chiamano Labour Market Turing Test (Test di Turing del Mercato del Lavoro). Il classico Test di Turing, proposto decenni fa, era progettato per vedere se una macchina potesse convincere un essere umano di essere anch'essa umana. Questa nuova versione ribalta lo schema. Invece di chiedere se una macchina possa ingannare una persona, chiede quanto le decisioni di una macchina somiglino a quelle di una persona. I ricercatori non hanno semplicemente chiesto a un'IA di scegliere il candidato migliore. Hanno creato un esperimento controllato in Ecuador coinvolgendo 277 selezionatori professionisti umani. Queste persone reali sono state assunte per esaminare coppie di candidati per dieci diversi tipi di lavoro, che andavano dagli assistenti di magazzino agli sviluppatori di software. Per garantire che il test fosse equo e focalizzato sullo stile decisionale piuttosto che sulle specifiche qualifiche, i candidati in ogni coppia erano stati accoppiati per competenze, istruzione ed esperienza. Le uniche differenze tra loro erano i marcatori di identità, come genere, orientamento sessuale o stato migratorio — fattori che non dovrebbero logicamente influenzare chi viene assunto per il lavoro.

I selezionatori umani hanno effettuato le loro scelte, e poi i ricercatori hanno costruito uno specchio digitale. Hanno creato quattro diversi team di agenti di intelligenza artificiale, ciascuno alimentato da un modello linguistico di grandi dimensioni, per eseguire esattamente lo stesso compito. Il primo team, chiamato "Robots", ha ricevuto solo istruzioni di base per scegliere il candidato migliore. Il secondo team, "Avatars", gli è stato chiesto di fingere di essere specifici selezionatori umani, imitando i loro tratti di personalità, la loro istruzione e il loro background professionale. Il terzo team, "Clones", è andato oltre; non solo gli è stato chiesto di fingere di essere un umano specifico, ma sono stati anche limitati a vedere solo le stesse informazioni che l'umano aveva visto, esattamente nello stesso ordine. L'ultimo team, "Randomistas", ha effettuato le proprie scelte lanciando una moneta digitale, fungendo da base per la pura casualità. L'obiettivo era vedere quale di questi team di IA prendesse decisioni che somigliassero di più ai selezionatori umani.

Per misurare i risultati, i ricercatori hanno sviluppato una scala per collocare ogni selezionatore, umano o macchina, su una singola linea. All'estremità di questa linea si trova un punto di riferimento chiamato "Skynet", che rappresenta la scelta media fatta dal team di base dei Robot. Questa non è una misura di equità, ma una misura di pura coerenza algoritmica. Un selezionatore che concorda sempre con Skynet agisce in modo altamente simile a una macchina. Un selezionatore che dissente spesso agisce in modo più umano. Lo studio ha scoperto che il selezionatore umano medio era significativamente diverso dalla macchina media. Infatti, le scelte umane erano circa 1,73 deviazioni standard lontane dal comportamento tipico della macchina. Ciò significa che, in media, gli esseri umani sono molto meno prevedibili e meno coerenti rispetto alla IA di base.

I ricercatori hanno scoperto che più cercavano di far agire l'IA come un essere umano, più essa si avvicinava alla media umana, ma non vi arrivava mai del tutto. Anche i "Clones", che erano programmati per imitare specifici umani e limitati a vedere le stesse informazioni viste dagli umani, producevano comunque un modello di scelte statisticamente diverso dalle persone reali. La scoperta più sorprendente è arrivata dai "Randomistas". Gli agenti di IA che hanno semplicemente lanciato una moneta per prendere le loro decisioni hanno effettivamente prodotto un modello di scelte che era più vicino alla media umana rispetto a qualsiasi dei sofisticati team di IA. Ciò suggerisce che il processo decisionale umano nelle assunzioni contenga un livello di casualità o incoerenza che è difficile da replicare anche per l'IA più simile all'uomo. Gli esseri umani non stavano solo prendendo scelte razionali e basate su regole; stavano prendendo scelte che includevano un grado di imprevedibilità che le macchine, anche quando istruite a essere umane, non riuscivano a catturare pienamente.

Lo studio ha anche rivelato che il divario tra umani e macchine si ampliava a seconda della complessità del lavoro. Quando i selezionatori sceglievano tra candidati per lavori semplici, come un custode o un operaio di magazzino, umani e macchine concordavano più spesso. Tuttavia, man mano che i lavori diventavano più impegnativi, richiedendo competenze specializzate o un'istruzione superiore, l'accordo diminuiva. Le macchine e gli umani iniziavano a divergere più nettamente. Inoltre, quando i due candidati in una coppia erano molto simili, con solo minime differenze di età o anni di esperienza, umani e macchine erano in più disaccordo. Le macchine sembravano concentrarsi su questi dettagli minimi e prendere una decisione basata su di essi, mentre gli umani erano più propensi a trattare i candidati come essenzialmente uguali. Ciò indica che l'IA è iper-vigile riguardo alle piccole differenze, mentre gli umani sono più disposti ad accettare l'ambiguità.

I ricercatori hanno anche esaminato se potessero spiegare perché alcuni umani fossero più "simili a una macchina" di altri. Hanno esaminato la personalità dei selezionatori, i loro punteggi nei test cognitivi, la loro istruzione e i loro anni di esperienza. Sorprendentemente, nessuno di questi fattori forniva una spiegazione chiara. L'intelligenza di un selezionatore o i suoi anni nel campo non predicevano se avrebbe preso decisioni che somigliavano a quelle di una macchina. Gli unici tratti che mostravano una debole connessione erano legati alla personalità: i selezionatori con un'autostima più alta tendevano a essere leggermente più simili a una macchina, mentre quelli con un livello di nevroticismo più alto lo erano leggermente meno. Ma anche con questi fattori, la stragrande maggioranza della differenza tra le scelte umane e quelle delle macchine rimaneva inspiegata. Ciò suggerisce che il modo in cui gli esseri umani prendono queste decisioni coinvolga una dimensione complessa e nascosta che non può essere facilmente misurata tramite sondaggi o test standard.

In definitiva, lo studio suggerisce che la perfetta imitazione del giudizio umano richiede di catturare non solo la tendenza media a scegliere un certo tipo di candidato, ma anche la piena diversità del ragionamento umano, incluse le sue incoerenze. I sistemi di IA, anche quando calibrati per essere simili all'uomo, tendono a essere più coerenti e basati su regole rispetto alle persone che cercano di imitare. Questo crea un paradosso: più un sistema di IA cerca di essere perfettamente coerente e razionale, meno somiglia a un essere umano. I ricercatori sostengono che questa differenza sia cruciala per capire come utilizzare l'IA nelle assunzioni. Se vogliamo che l'IA sia affidabile, dobbiamo capire che non si comporterà naturalmente come un essere umano. Non abbraccerà naturalmente lo stesso livello di ambiguità o casualità che hanno gli umani. Lo studio conclude che, prima di consegnare le chiavi delle assunzioni agli algoritmi, dobbiamo riconoscere che questi sistemi non sono solo umani più veloci; sono decisori fondamentalmente diversi, che operano su una logica che è stabile e vincolata dalle regole, ma spesso estranea alla disordinata realtà della scelta umana.