Developing and assessing a scale for measuring human–AI alignment in hiring decisions

現代の世界において、機会の門番（ゲートキーパー）は変わりつつある。数十年の間、誰かを仕事に採用するかどうかの決定は、経験や直感、そして時には無意識のバイアスに影響される人間の判断に完全に委ねられてきた。今日、人工知能は、何千もの履歴書をスクリーニングし、人間の目に名前が触れる前に初期の選別を行うという役割に、ますます踏み込んでいる。この変化は、根本的な問いを投げかける。機械が採用の決定を下すとき、それは人間のように考えるのだろうか？ その答えは、コンピュータが正しいか間違っているかを問うような単純なものではない。むしろ、研究者たちは、機械の選択がいかに人間の、あの混沌として多様で、しばしば一貫性のない決定方法を反映しているのかを問うているのである。これを理解するために、科学者たちは採用を単なる経済的な取引としてではなく、アライメント（適合性）のテストとして扱い、人間の推論とアルゴリズムの論理との間の距離を測定し始めている。

ある研究チームは、「労働市場チューリング・テスト」と彼らが呼ぶ新しいアプローチを用いて、この距離を測定しようと試みた。数十年前に提案された古典的なチューリング・テストは、機械が人間に自分を人間であると信じ込ませることができるかどうかを検証するためのものだった。この新しいバージョンはその脚本を逆転させている。機械が人を欺けるかどうかを問うのではなく、機械の決定がいかに人間の決定に似ているかを問うのである。研究者たちは、単にAIに最適な候補者を選ばせたわけではない。彼らはエクアドルで、277人のプロの人間によるリクルーターを対象とした制御実験を行った。これらの実在の人々は、倉庫作業員からソフトウェア開発者に至るまで、10種類の異なる職種について、一対の応募者を審査するために雇われた。テストが特定の資格ではなく意思決定のスタイルに焦ついたものとなるよう、各ペアの応募者はスキル、教育、経験において一致させてある。両者の唯一の違いは、ジェンダー、性的指向、あるいは移民ステータスといった、本来であればその仕事の採用に論理的に影響を与えるべきではないアイデンティティの指標であった。

人間のリクルーターは選択を行い、その後、研究者たちはデジタルな鏡を作り上げた。彼らは、大規模言語モデルによって駆動される4つの異なる人工知能エージェントのチームを作成し、全く同じタスクを実行させた。第一のチーム「ロボット（Robots）」は、最適な候補者を選ぶという基本的な指示のみを与えられた。第二のチーム「アバター（Avatars）」は、特定の人間になりきり、その性格特性、教育、職業的背景を模倣するように指示された。第三のチーム「クローン（Clones）」はさらに一歩進み、特定の人間になりきるよう指示されただけでなく、その人間が見たのと全く同じ情報を、全く同じ順番で見ることが制限された。最後のチーム「ランドニスタ（Randomistas）」は、デジタルコインを投げて決定を下すことで、純粋なランダム性のベースラインとしての役割を果たした。目的は、どのAIチームが最も人間のリクルーターの決定に似た決定を下すかを確認することであった。

結果を測定するために、研究者たちはすべてのリクルーター（人間および機械）を一本の線上に配置するスケールを開発した。線の片端には「スカイネット（Skynet）」と呼ばれる参照点があり、これは基本的なロボット・チームが行った平均的な選択を表している。これは公平性の尺度ではなく、純粋なアルゴリズムの一貫性の尺度である。常にスカイネットと一致するリクルーターは、極めて機械的な方法で行動していることになる。スカイネットと頻繁に異なるリクターは、より人間的な方法で行動していることになる。研究の結果、平均的な人間のリクルターは、平均的な機械とは著しく異なっていることが判明した。実際、人間の選択は、機械の典型的な振る舞いから約1.73標準偏差離れていた。これは、平均して、人間は基本的なAIよりもはるかに予測不可能であり、一貫性に欠けていることを意味している。

研究者たちは、AIをより人間らしくさせようとすればするほど、人間の中央値に近づくものの、決してそこには到達しないことを発見した。特定の人間を模倣するようにプログラムされ、その人間が見た情報に制限されていた「クローン」でさえ、実在の人々とは統計的に異なる選択パターンを生み出した。最も驚くべき発見は「ランドニスタ」からもたらされた。決定を下す際に単にコインを投げていたAIエージェントたちが、実は、洗練された他のAIチームよりも、人間の平均に近い選択パターンを示したのである。これは、採用における人間の意思決定には、最も人間らしいAIでさえも再現することが困難な、ある種のランダム性や不整合性が含まれていることを示唆している。人間は単に合理的でルールに基づいた選択をしているのではなく、機械が、たとえ人間になろうとしても捉えきれないほどの、予測不可能性を伴う選択を行っていたのである。

また、この研究は、仕事の複雑さによって人間と機械の間の隔たりが広がることも明らかにした。リクルターが清掃員や倉庫作業員のような単純な仕事の候補者を選んでいるとき、人間と機械はより頻繁に一致した。しかし、専門的なスキルや高度な教育を必要とする、より要求の高い仕事になると、その一致度は低下した。機械と人間はより鋭く乖離し始めたのである。さらに、ペアとなっている二人の候補者が非常に似通っており、年齢や経験年数のわずかな違いしかない場合、人間と機械の不一致はより多くなった。機械はこれらの微細な詳細に固執して決定を下すようであったが、人間はそれらの候補者を本質的に同等として扱う傾向があった。これは、AIが小さな差異に対して過剰に警戒心を持つ一方で、人間は曖昧さを受け入れる傾向があることを示している。

研究者たちはまた、なぜ一部の人間がより「機械的」であるのかを説明できるかどうかについても調査した。彼らはリクルターの性格、認知テストのスコア、教育、および経験年数を調べた。驚くべきことに、これらの要因のどれもが明確な説明を提供することはなかった。リクルターの知性や現場での経験年数は、その人物が機械のような選択をするかどうかを予測しなかった。唯一、弱い関連性を示したのは性格に基づく特性であった。自己肯定感が高いリクルターは、わずかに機械的になる傾向があり、神経症傾向が高いリクルターは、わずかにそうではない傾向があった。しかし、これらの要因を考慮しても、人間と機械の選択における差異の大部分は説明されないまま残された。これは、人間が行うこれらの決定には、標準的な調査やテストでは容易に測定できない、複雑で隠れた次元が存在することを示唆している。

最終的に、この研究は、人間の判断を完璧に模倣するためには、単にあるタイプの候補者を選ぶという平均的な傾向を捉えるだけでなく、その不整合性を含む、人間の推論の全多様性を捉える必要があることを示唆している。AIシステムは、たとえ人間らしく調整されたとしても、模倣しようとしている人々よりも一貫しており、ルールに基づいている傾向がある。ここにパラドックスが生じる。AIシステムがより完璧に一貫し、合理的であろうとすればするほど、それは人間らしくなくなるのである。研究者たちは、この違いこそが、採用におけるAIの使い方を理解する上で極めて重要であると主張している。もしAIに信頼させたいのであれば、AIは自然には人間のように振る舞わないということを理解する必要がある。AIは、人間が持つようなレベルの曖昧さやランダム性を、自然に受け入れることはないのである。研究は、アルゴリズムに採用の鍵を渡す前に、これらのシステムが単に「速い人間」なのではなく、根本的に異なる種類の意思決定者であり、安定していてルールに縛られているものの、人間の選択という混沌とした現実とはしばしばかけ離れた論理に基づいて動いているのだということを認識しなければならない、と結論づけている。