Developing and assessing a scale for measuring human–AI alignment in hiring decisions

현대 사회에서 기회의 문지기들이 변하고 있다. 수십 년 동안 누군가를 채용할지 여부에 대한 결정은 경험, 직관, 때로는 무의식적 편향의 영향을 받는 인간의 판단에 전적으로 달려 있었다. 오늘나날 인공지능은 점점 더 그 역할을 대신하며, 인간이 이름조차 보기 전에 수천 건의 이력서를 스크리닝하고 초기 선발을 수행하고 있다. 이러한 변화는 근본적인 질문을 던진다. 기계가 채용 결정을 내릴 때, 그것은 사람처럼 생각하는가? 답은 컴퓨터가 옳으냐 틀리냐를 묻는 것만큼 간단하지 않다. 대신, 연구자들은 기계의 선택이 실제 인간이 결정하는 복잡하고 다양하며 종종 일관성 없는 방식과 얼마나 유사한지를 묻고 있다. 이를 이해하기 위해 과학자들은 채용을 단순한 경제적 거래가 아니라, 인간의 추론과 알고리즘 논리 사이의 거리를 측정하는 '정렬(alignment)'의 시험으로 다루기 시작했다.

한 연구팀은 '노동 시장 튜링 테스트(Labour Market Turing Test)'라고 부르는 새로운 접근법을 통해 이 거리를 측정하고자 했다. 수십 년 전 제안된 고전적인 튜링 테스트는 기계가 인간을 속여 자신이 인간임을 믿게 할 수 있는지를 설계한 것이었다. 이 새로운 버전은 그 형식을 뒤집는다. 기계가 사람을 속일 수 있는지를 묻는 대신, 기계의 결정이 사람의 결정과 얼마나 닮았는지를 묻는다. 연구진은 단순히 AI에게 최고의 후보자를 뽑으라고 요청한 것이 아니다. 그들은 에콰도르에서 창고 보조부터 소프트웨어 개발자에 이르기까지 10가지 유형의 직무에 대해 지원자 쌍을 검토하는 277명의 전문 인간 채용 담당자를 대상으로 통제된 실험을 설계했다. 테스트가 특정 자격 요건이 아닌 의사결정 스타일에 집중하도록 하기 위해, 각 쌍의 지원자들은 기술, 교육, 경험 면에서 서로 매칭되었다. 두 사람의 유일한 차이점은 성별, 성적 지향, 또는 이민 상태와 같은 정체성 표식이었는데, 이는 논리적으로 직업 선택에 영향을 미쳐서는 안 되는 요소들이다.

인간 채용 담당자들은 선택을 내렸고, 그 후 연구진은 디지털 거울을 만들었다. 그들은 대규모 언어 모델을 기반으로 한 네 가지 서로 다른 인공지능 팀을 구축하여 동일한 과업을 수행하게 했다. 첫 번째 팀인 '로봇(Robots)'은 최고의 후보자를 뽑으라는 기본적인 지침만을 받았다. 두 번째 팀인 '아바타(Avatars)'는 특정 인간 채용 담당자인 척하며 그들의 성격 특성, 교육 배경, 전문적 배경을 모방하도록 지시받았다. 세 번째 팀인 '클론(Clones)'은 한 단계 더 나아가, 특정 인간인 척할 뿐만 아니라 해당 인간이 본 것과 동일한 정보만을 동일한 순서로 보도록 제한되었다. 마지막 팀인 '랜더미스타(Randomistas)'는 디지털 동전 던지기로 결정을 내리며 순수한 무작위성의 기준점 역할을 했다. 목표는 어떤 AI 팀이 인간 채용 담당자와 가장 닮은 결정을 내리는지 확인하는 것이었다.

결과를 측정하기 위해 연구진은 모든 채용 담당자(인간과 기계 모두)를 하나의 선상에 배치할 수 있는 척도를 개발했다. 선의 한쪽 끝에는 '스카이넷(Skynet)'이라는 참조점이 있는데, 이는 기본 로봇 팀이 내린 평균적인 선택을 나타낸다. 이것은 공정성에 대한 척도가 아니라 순수한 알고리즘적 일관성의 척도이다. 스카이넷과 항상 일치하는 채용 담당자는 매우 기계적인 방식으로 행동하는 것이다. 스카이넷과 자주 불일치하는 사람은 더 인간적인 방식으로 행동하는 것이다. 연구 결과, 평균적인 인간 채용 담당자는 평균적인 기계와 유의미하게 달랐다. 실제로 인간의 선택은 기계의 전형적인 행동으로부터 약 1.73 표준편차만큼 떨어져 있었다. 이는 평균적으로 인간이 기본 AI보다 훨씬 덜 예측 가능하고 덜 일관적임을 의미한다.

연구진은 AI를 인간처럼 만들려고 노력할수록 인간의 평균에 가까워지지만, 결코 완전히 도달하지는 못한다는 것을 발견했다. 특정 인간을 모방하도록 프로그래밍되고 그들이 본 것과 동일한 정보로 제한된 '클론'조차도 여전히 실제 사람들과는 통계적으로 다른 선택 패턴을 만들어냈다. 가장 놀라운 발견은 '랜더미스타'에서 나왔다. 단순히 동전을 던져 결정을 내린 AI 에이전트들이 오히려 정교한 다른 AI 팀들보다 인간의 평균에 더 가까운 선택 패턴을 보였다. 이는 인간의 채용 의사결정에 가장 정교한 AI조차도 완전히 포착하기 어려운 수준의 무작위성이나 불일성이 포함되어 있음을 시사한다. 인간은 단순히 합리적이고 규칙 기반의 선택을 하는 것이 아니라, 기계가 인간을 흉내 낼 때조차 완전히 재현할 수 없는 정도의 예측 불가능성을 포함한 선택을 하고 있었다.

또한 이 연구는 직무의 복잡성에 따라 인간과 기계 사이의 간극이 넓어진다는 것을 밝혔다. 청소부나 창고 노동자와 같은 단순한 직업의 후보자를 선택할 때 인간과 기계는 더 자주 일치했다. 그러나 직업이 더 까다로워지고 전문 기술이나 높은 교육 수준을 요구하게 되자, 합의 수준은 떨어졌다. 기계와 인간은 더 급격하게 갈라지기 시작했다. 더욱이, 두 후보자가 연령이나 경력 차이가 아주 미세하여 매우 유사할 때, 인간과 기계는 더 자주 의견이 엇갈렸다. 기계는 이러한 미세한 세부 사항에 집착하여 결정을 내리는 반면, 인간은 후보자들을 본질적으로 동등하게 취급하는 경향이 있었다. 이는 AI가 작은 차이에 초민감하게 반응하는 반면, 인간은 모호함을 더 잘 수용한다는 것을 나타낸다.

연구진은 또한 왜 어떤 인간이 더 '기계적인지' 설명할 수 있는지 조사했다. 그들은 채용 담당자의 성격, 인지 능력 점수, 교육 수준, 그리고 경력을 검토했다. 놀랍게도 이러한 요소 중 어느 것도 명확한 설명을 제공하지 못했다. 채용 담당자의 지능이나 경력이 기계와 유사한 선택을 하는지를 예측하지 못했다. 유일하게 약한 상관관계를 보인 것은 성격 기반의 특성이었는데, 자존감이 높은 채용 담당자는 약간 더 기계적인 경향이 있었고, 신경증이 높은 채양 담당자는 약간 덜한 경향이 있었다. 그러나 이러한 요인들을 고려하더라도, 인간과 기계의 선택 차이의 대다수는 설명되지 않은 채로 남았다. 이는 인간의 의사결정 방식에 표준적인 설문이나 테스트로는 쉽게 측정할 수 없는 복잡하고 숨겨진 차원이 존재함을 시사한다.

궁극적으로 이 연구는 인간의 판단을 완벽하게 모방하려면 특정 유형의 후보자를 선택하는 평균적인 경향뿐만 아니라, 불일성을 포함한 인간 추론의 전체적인 다양성을 포착해야 함을 시사한다. 인간처럼 보이도록 조정된 AI 시스템이라 할지라도, 일관성과 규칙에 기반한 경향이 있어 인간을 모방하려는 데 한계가 있다. 여기에는 역설이 존재한다: AI 시스템이 더 완벽하게 일관되고 합리적이려고 노력할수록, 오히려 인간과는 더 멀어진다. 연구진은 채용에 AI를 사용하는 방법을 이해하기 위해서는 이 차이를 인식하는 것이 중요하다고 주장한다. 우리가 AI가 자연스럽게 인간처럼 행동할 것이라고 기대한다면, 그것은 잘못된 기대다. AI는 인간이 가진 것과 같은 수준의 모호함이나 무작위성을 자연스럽게 수용하지 않을 것이다. 연구는 우리가 채용의 열쇠를 알고리즘에 넘겨주기 전에, 이 시스템들이 단순히 더 빠른 인간이 아니라, 안정적이고 규칙에 얽매여 있지만 인간의 복잡한 현실과는 근본적으로 다른 종류의 의사결정자라는 점을 인식해야 한다고 결론짓는다.