기술적 요약: 채용의 알고리즘적 단일문화

문제 제기

본 논문은 채용 과정에서 발생하는 알고리즘적 단일문화(algorithmic monoculture) 현상을 다룬다. 이는 많은 의사결정자 (고용주) 가 동일한 또는 유사한 알고리즘에 의존하여 구직자를 선별하는 상태를 의미한다. 미국 고용주의 90% 이상이 채용 알고리즘을 사용하지만, 소수의 제 3 자 벤더 (예: HireVue, pymetrics) 에 집중되어 있다. 저자들은 이러한 단일 벤더에 대한 의존도가 동질적인 결과를 초래한다고 가정한다. 즉, 동일한 개인과 인종 집단이 여러 고용주에 걸쳐 반복적으로 불합격하게 되어 노동 시장으로부터 체계적으로 배제된다는 것이다.

기존의 알고리즘 채용 연구는 종종 데이터의 한계에 시달려 왔다:

• 단일 고용주 연구는 A 사에서의 불합격이 B 사에서의 불합격을 예측하는지 추적할 수 없다.
• 대응 연구(가짜 이력서 발송) 는 알고리즘의 근본적인 의사결정 과정을 관찰할 수 없다.
• 정적 감사는 실제 노동 시장 전반에 걸친 배포 시점의 결과를 관찰할 수 없다.

따라서 알고리즘적 단일문화가 체계적 수준에서 상관관계가 있는 불합격과 부정적 영향을 초래하는지에 대한 경험적 증거가 부족하다.

방법론

저자들은 단일 벤더를 사용하는 여러 고용주에 걸쳐 배포된 알고리즘 채용 결정을 관찰하는 최초의 대규모 경험적 연구를 수행했다.

데이터 수집

• 출처: 인재 평가 플랫폼인 pymetrics의 새로운 데이터셋.
• 범위: 156 개 고용주의 1,746 개 고유 직무에 제출된 3,372,132 명의 고유 지원자가 작성한 4,197,168 건의 지원서.
• 기간: 2018 년 12 월부터 2022 년 12 월까지.
• 과정: 지원자들은 인지적 특성을 측정하는 12~16 개의 온라인 게임을 수행한다. pymetrics 는 현재 직원의 게임 플레이 특성 (긍정적 예시) 과 무작위 프로필 (부정적 예시) 을 기반으로 이진 분류기 (추천/비추천) 를 훈련한다.
• 인구통계학적 특성: 지원자의 40.2% 가 인종을 직접 보고했다 (아시아계 16.8%, 백인 14.2%, 흑인 3.6%, 히스패닉 3.0%). 본 연구는 자가 보고 데이터에 초점을 맞추며 인종을 추정하지 않는다.

분석 프레임워크

본 연구는 세 가지 주요 렌즈를 활용한다:

1. 부정적 영향 분석:
   • 저자들은 미국 고용주평등위원회 (EEOC) 의 "4/5 규칙"(영향 비율 < 0.8) 과 통계적 유의성 검정 (z-검정) 을 적용한다.
   • 중요한 차이점: 이전 벤더 보고서가 모든 직무를 집계하는 것과 달리, 본 연구는 직무별 (1,746 개의 별도 모델) 로 분석을 세분화한다. 이는 직무별 차별을 규정하는 미국 법적 기준과 부합한다.
2. 체계적 불합격 분석:
   • 저자들은 체계적 불합격을 지원자가 지원한 모든 직무에서 불합격하는 것으로 정의한다.
   • 독립성 기준선을 도입한다: 고용주가 통계적으로 독립적인 결정을 내린다면 체계적 불합격이 발생할 확률을 계산하는 이론적 모델이다. 이는 개별 직무 선정률을 기반으로 포아송 - 이항 분포를 사용하여 계산된다.
   • 비교: pymetrics 데이터에서 관찰된 체계적 불합격률은 이 기준선과 108 개 포춘 500 기업을 대상으로 한 대규모 대응 연구 (Kline et al., 2022) 의 데이터와 비교된다.
3. 반사실적 시뮬레이션:
   • 알고리즘의 결정론적 재현성(동일한 게임 플레이 특성이 동일한 점수를 산출함) 을 활용하여, 1,000 명의 지원자가 사용 가능한 모든 직무 (495 개 모델) 에 지원했다면 어떤 결과가 나왔을지 시뮬레이션했다.
   • 또한 지원자가 실제 지원한 모델과 지원자를 공유하는 "연결된 집합"의 모델에 지원하는 "중간 체제"를 모델링하여, 추천을 보장하기 위해 필요한 지원 건수를 추정했다.

주요 결과

1. 직무 수준에서의 부정적 영향

모든 지원서를 집계한 데이터는 이전 벤더 주장과 일치하게 유의미한 부정적 영향을 보이지 않았으나, 세분화 분석은 상당한 불균형을 드러냈다:

• 흑인 지원자: 직무의 10.62% 가 흑인 지원자에 대해 부정적 영향을 보였다. 흑인 지원자의 30.70% 가 적어도 하나의 그러한 직무에 지원했으며, 흑인 지원자가 제출한 모든 지원서의 25.87% 가 부정적 영향을 미치는 모델에 제출된 것이었다.
• 아시아계 지원자: 직무의 5.32% 가 아시아계 지원자에 대해 부정적 영향을 보였으며, 이는 아시아계 지원자의 18.53% 와 그들의 지원서의 14.74% 에 영향을 미쳤다.
• 직업별 변동: 건축 및 엔지니어링 직무에서 흑인과 아시아계 지원자 모두에게 부정적 영향이 특히 두드러졌다.

2. 체계적 불합격과 동질성

• 관찰값 vs 기준선: 관찰된 체계적 불합격률 (지원한 $k$개 직무 모두에서 불합격) 은 독립성 기준선을 현저히 초과했다 ($\chi^2 = 18,481, p < 0.001$).
• 구체적 비율: 10 개 직무에 지원한 지원자의 4% 가 모든 직무에서 불합격했다. 이 비율은 우연히 발생할 것으로 예상되는 것보다 높다.
• 비알고리즘 채용과의 비교: 반면, 인간과 알고리즘 선별을 혼용한 108 개 기업을 대상으로 한 Kline et al. (2022) 연구에서는 관찰된 체계적 불합격률이 독립성 기준선과 거의 일치했다. 이는 과도한 동질성이 중앙 집중식 알고리즘 평가의 고유한 특징임을 시사한다.
• 메커니즘: 42 개의 pymetrics 모델이 서로 다른 기업 간에 공유된다. 전체적인 단일문화 (모두가 동일한 모델 사용) 는 드물지만, 여러 고용주 간에 공유되는 부분적 단일문화는 상관관계가 있는 결과를 생성한다.

3. 지원자 행동 시뮬레이션

• 보편적 추천: 지원자가 모든 직무에 지원한다는 시뮬레이션에서, 단 한 명의 지원자도 모든 모델에 의해 불합격하지 않았다. "가장 나쁜" 지원자도 52 개 모델 (11%) 에 의해 추천받았다.
• 중간 체제: 체계적 불합격률을 0.1% 미만 (최소 하나의 추천을 받을 확률 99.9%) 으로 낮추기 위해서는, 알고리즘적 단일문화 시나리오 하에서 지원자가 25 건의 지원서를 제출해야 한다. 독립성 기준선 하에서는 10 건의 지원서만 필요하다.
• 시사점: 지원자들은 알고리즘적 단일문화의 동질화 효과를 극복하기 위해 훨씬 더 광범위하게 지원해야 한다.

주요 기여

1. 최초의 고용주 간 경험적 연구: 본 논문은 이전 연구의 데이터 실루를 극복하고, 여러 고용주에 걸쳐 동일한 지원자에 대한 실제 알고리즘 결과를 관찰하는 최초의 대규모 데이터셋을 제공한다.
2. 세분화된 부정적 영향: 채용 데이터를 집계하면 직무별 중요한 부정적 영향이 가려진다는 것을 입증하여, 규정 준수를 위한 벤더 수준의 집계 보고의 타당성에 의문을 제기한다.
3. 체계적 불합격에 대한 증거: 알고리즘적 단일문화가 상관관계가 있는 모델 행동으로 인해 지원자가 노동 시장 전반에 걸쳐 체계적으로 불합격하는 "알고리즘적 블랙볼링"을 초래한다는 이론을 경험적으로 검증한다. 이는 비단일문화 선별에서는 관찰되지 않는 현상이다.
4. 방법론적 혁신: 알고리즘적 상관관계로 인한 체계적 불합격의 한계 증가를 정량화하기 위해 "독립성 기준선"을 도입하고, 반사실적 노동 시장 결과를 생성하기 위해 결정론적 시뮬레이션을 활용한다.

중요성과 주장

저자들은 알고리즘적 단일문화가 체계적 배제를 창출함으로써 노동 시장 역학을 근본적으로 변화시킨다고 주장한다.

• 구조적 해악: 단일 벤더에 대한 의존은 병목 현상을 만들어, 단일 알고리즘적 결정이 여러 고용주에 걸쳐 불합격으로 이어지는 연쇄 반응을 일으키며, 특정 인종 집단과 개인에게 불균형적으로 영향을 미친다.
• 정책적 함의: 이 발견들은 현재 규제 체계 (예: 뉴욕시 지역법 144 호) 가 집계 데이터에 의존하거나 직무별 부정적 영향과 고용주 간 상관관계를 고려하지 않는다면 불충분할 수 있음을 시사한다.
• 연구 접근성: 본 논문은 독립적인 연구가 불투명한 채용 시스템을 밝히는 데 필수적이라고 주장한다. 이러한 데이터를 획득하는 어려움과 EU 디지털 서비스법과 유사한 정책이 중앙 집중식 채용 데이터셋에 대한 연구자 접근을 의무화하는 데 필요할 수 있음을 강조한다.

저자들은 연구 결과의 일반화 가능성에 대해 겸손한 태도를 유지하며, 데이터가 pymetrics 의 게임 기반 접근법에 국한되어 있으며 지원자의 질이나 모델 유효성에 대한 외부 측정이 부족함을 지적한다. 그러나 관찰된 부정적 영향과 체계적 불합격의 패턴은 규제적 검토와 추가적인 독립적 조사를 정당화하기에 충분하다고 주장한다.