Human, Algorithm, or Both? Gender Bias in Human-Augmented Recruiting

이 연구는 실제 채용 플랫폼 데이터를 분석한 결과, AI 만을 활용한 채용보다 인간 채용 담당자의 단독 검토가 성별 편향성이 낮았으나, AI 추천을 먼저 확인한 후 인간이 추가적으로 후보자를 탐색하는 '인간-AI 협력' 방식이 가장 공정한 채용 결과를 도출함을 실증적으로 규명했습니다.

핵심

🍳 요리사 (채용 담당자) vs. 레시피 추천 앱 (AI)

상상해 보세요. 훌륭한 요리를 만들기 위해 **요리사 (채용 담당자)**가 있습니다. 과거에는 요리사가 직접 재료를 찾아서 고르곤 했습니다. 하지만 최근에는 AI 레시피 추천 앱이 등장했습니다. 이 앱은 "이 요리에 딱 맞는 재료 100 가지를 추천해 드릴게요!"라고 말합니다.

이 연구는 세 가지 상황을 비교했습니다.

1. 인간만 (Human Only): 요리사가 앱 없이 직접 재료를 찾아서 고릅니다.
2. AI 만 (AI Only): 요리사가 개입하지 않고, 앱이 추천한 재료만 그대로 사용합니다.
3. 인간 + AI (Hybrid): 요리사가 먼저 AI 가 추천한 재료를 보고, 그다음에 직접 더 찾아서 고릅니다.

🔍 연구의 핵심 발견 (결과는 어땠을까요?)

1. 인간만 할 때: "조금 편향되지만, 생각할수록 나아져요"

요리사가 직접 재료를 고르면 (인간만), 여성 요리사 (여성 지원자) 가 남성보다 조금 더 적게 선택되는 경향이 있었습니다. 하지만 요리사가 재료를 꼼꼼히 살펴보고 (클릭하고, 연락할수록) 선택의 기준을 더 신중하게 적용할수록, 성별 편향이 줄어들어 더 공평해졌습니다.

비유: 요리사가 서둘러 재료를 고르면 실수가 많지만, 천천히 하나하나 살펴보면 더 공평하게 고르게 됩니다.

2. AI 만 할 때: "과거의 편견을 그대로 가져옵니다"

AI 가 추천한 재료만 믿고 고르면, 여성 요리사가 더 적게 선택되는 편향이 인간이 할 때보다 더 심했습니다.

비유: AI 는 과거의 레시피 데이터를 배웠는데, 그 과거 데이터에는 "남성 요리사가 더 많았다"는 편견이 담겨 있었습니다. AI 는 그 편견을 그대로 복제해서 추천해 주는 것입니다.

3. 인간 + AI (둘 다) 할 때: "1+1 이 2 보다 큰 마법!"

가장 놀라운 결과는 인간이 AI 의 추천을 먼저 보고, 그다음에 직접 찾아서 고른 경우였습니다. 이 조합이 가장 공평한 결과를 낳았습니다.

비유: AI 가 "이 재료들이 좋아요"라고 추천해 주면, 요리사는 그 목록을 보며 "아, 내가 평소엔 이걸 안 봤는데, AI 가 추천하니까 한번 더 생각해 봐야겠다"라고 생각하게 됩니다. AI 가 편향을 만들었지만, 인간이 그걸 보고 다시 생각하면서 오히려 편향을 고쳐버린 것입니다.
핵심: 인간과 AI 가 합쳐지면, 각각의 단점을 보완하고 장점을 더해서 가장 공정한 채용이 가능해졌습니다.

📊 구체적인 숫자로 본 이야기

연구진은 'CDP'라는 지표를 썼는데, 이는 1.0 이면 완벽한 공평함을 의미합니다. (0.8 이상이면 괜찮다고 봅니다.)

• 인간만 (최종 연락): 0.81 (꽤 좋음)
• AI 만 (추천 상위): 0.70 (편향 존재)
• 인간 + AI (최종 연락): 0.85 (가장 좋음!)

즉, AI 가 추천한 목록을 먼저 훑어본 후, 인간이 직접 추가 검색을 한 경우가 여성 지원자를 가장 공정하게 대우했습니다.

💡 왜 이런 일이 일어났을까요?

1. AI 의 과거 데이터: AI 는 과거의 채용 데이터를 배웠는데, 그때는 여성보다 남성이 더 많이 채용되거나, 사진/이름을 보고 편견을 가졌던 시절의 데이터가 섞여 있었습니다.
2. 인간의 '각성' 효과: 인간이 AI 의 추천 목록을 먼저 보면, "아, 내가 생각지 못한 인재들이 있구나"라고 깨닫게 됩니다. 이 '깨달음'이 인간이 나중에 직접 검색할 때 편견을 줄이는 데 도움을 주었습니다.
3. 직업의 성별 편향: 어떤 직업은 원래 여성이 많고 (예: 보육, 간호), 어떤 직업은 남성이 많습니다. 흥미롭게도, 여성이 많은 직종에서 남성이 더 많이 뽑히는 경향이 더 강하게 나타났습니다. (반대로 남성 직종에서 여성이 뽑히는 경우는 상대적으로 덜했습니다.)

🏁 결론: 인간이 AI 를 통제해야 합니다

이 연구는 **"AI 가 다 해주면 편견이 사라질까?"**라는 질문에 **"아니요"**라고 답합니다. 오히려 AI 만 믿으면 편향이 심해질 수 있습니다.

하지만 "AI 가 추천하고, 인간이 그걸 검토하고 다시 생각하면" 가장 좋은 결과를 얻을 수 있습니다. AI 는 효율적인 '도구'일 뿐이며, 최종적인 공정함은 인간의 ' Oversight(감독)'와 '신중한 판단'에서 나옵니다.

한 줄 요약:

"AI 는 좋은 조수지만, 요리사 (인간) 가 먼저 AI 의 레시피를 보고 생각한 뒤 직접 재료를 고르면, 가장 맛있고 공정한 요리를 만들 수 있습니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: HR 기술 및 AI 기반 채용 솔루션 시장이 급성장하고 있으며, Fortune 500 기업의 99% 가 채용 프로세스에 알고리즘과 AI 를 활용하고 있습니다.
• 문제: AI 는 효율성을 높이지만, 훈련 데이터의 편향이나 사회적 구조적 불평등으로 인해 기존 편향 (특히 성별, 인종 등) 을 강화할 위험이 있습니다. 반면, 인간 채용 담당자의 판단 또한 무의식적 편향을 가질 수 있습니다.
• 연구 격차: 알고리즘 채용의 공정성에 대한 연구는 많지만, 인간 (Human), AI 만 (AI-only), 인간-AI 협력 (Human-augmented/Hybrid) 세 가지 시나리오 간의 공정성을 정량적으로 비교한 실증 연구는 부족합니다.
• 연구 질문 (RQs):
  1. AI 도움 없이 인간 채용 담당자가 직접 검색할 때의 성별 공정성은 어떠한가?
  2. AI 만이 추천하는 후보자 리스트의 성별 공정성은 어떠한가?
  3. AI 추천을 받은 후 인간이 추가 검색을 수행하는 하이브리드 방식의 성별 공정성은 어떠한가?

2. 방법론 (Methodology)

2.1 실험 설계 및 데이터

• 데이터 소스: 덴마크 최대 구인구직 사이트인 Jobindex의 실제 채용 데이터 (2023 년 4 월 ~ 2025 년 7 월, 27 개월).
• 데이터 규모: 총 58,765 개의 채용 공고, 약 134 만 명의 후보자 연락처 기록.
• 세 가지 시나리오:
  1. Human Recruiting: AI 추천을 건너뛰고 (Skip) 채용 담당자가 수동으로 CV 데이터베이스를 검색하여 후보자를 선정.
  2. AI Recruiting: AI 추천 시스템이 생성한 100 명 추천 리스트 자체의 공정성 분석 (인간 개입 유무와 무관하게 추천된 리스트 전체).
  3. Human + AI Recruiting: 채용 담당자가 AI 추천 리스트를 먼저 검토 (Check) 한 후, 필요시 수동 검색을 추가하여 최종 후보자를 선정하는 하이브리드 방식.
• 데이터 전처리:
  • 성별 추론: 2021 년 9 월 이후 성별을 기입하지 않는 지원자가 많아, **이름 (First Name)**을 기반으로 성별을 추론하는 분류기를 사용 (F1 점수 99.25%, 커버리지 94.5%).
  • 행동 데이터: 채용 담당자의 Viewed (조회), Clicked (클릭), Contacted (연락) 행위를 추적.

2.2 공정성 지표 (Fairness Metrics)

• 주요 지표: 조건부 인구통계학적 균등성 (Conditional Demographic Parity, CDP).
  • 단순 인구통계학적 균등성 (Demographic Parity, DP) 은 자격 요건과 무관하게 그룹별 비율이 같아야 한다는 것이지만, CDP 는 자격 (Qualifications) 을 조건으로 할 때 성별에 따른 선택 확률이 동일해야 함을 의미합니다.
  • 수식: $P(\hat{Y}=1 | A=a, Q) = P(\hat{Y}=1 | A=b, Q)$
  • CDP 비율이 1 에 가까울수록 공정하며, 0.8 미만은 불공정 (80% 룰) 으로 간주합니다.

3. 주요 결과 (Key Results)

3.1 인간 채용만 (Human Recruiting)

• 결과: 여성 후보자는 Viewed 및 Clicked 단계에서 지속적으로 과소대표되었습니다.
• 공정성 향상: 채용 담당자가 후보자와 더 깊이 상호작용할수록 (Viewed → Clicked → Contacted) 공정성이 향상되었습니다.
  • 최종 Contacted 집단의 평균 CDP 점수는 0.813으로, 0.8 을 상회하여 상대적으로 공정한 결과를 보였습니다.
  • 이는 인간이 더 많은 시간을 투자하여 심사할 때 편향이 완화됨을 시사합니다.

3.2 AI 만 (AI Recruiting)

• 결과: AI 추천 리스트는 인간이 선정한 최종 리스트보다 성별 편향이 더 컸습니다.
  • Recommended Top-K(추천된 상위 후보자) 집단의 평균 CDP 점수는 0.699로, 0.8 기준을 크게 하회했습니다.
  • 여성 후보자가 지속적으로 과소대표되었으며, 이는 과거의 편향된 데이터 (이름, 사진 등) 를 학습한 알고리즘의 결과로 추정됩니다.

3.3 인간-AI 협력 (Human + AI Recruiting)

• 핵심 발견: 하이브리드 방식이 세 가지 중 가장 공정한 결과를 도출했습니다.
  • Contacted 집단의 평균 CDP 점수는 0.854로, 인간 단독 (0.813) 과 AI 단독 (0.699) 모두보다 높았습니다.
  • 시너지 효과: AI 추천을 먼저 검토한 후 수동 검색을 수행하는 과정이, 단순히 두 방식을 합친 것보다 더 큰 공정성 향상을 가져왔습니다.
  • 편향 완화 단계: 편향 완화는 AI 추천을 검토하는 단계 (AI oversight) 와 그 이후의 수동 검색 단계 (Post-AI oversight) 모두에서 발생했습니다. 특히 수동 검색 단계에서 CDP 점수가 가장 높게 나타났습니다.

3.4 추가 분석

• 직종별 편향: 여성 우세 직종 (예: 보육, 간호) 에서 남성 후보자가 과대표되는 경향이 더 강하게 나타났습니다. 이는 채용 담당자가 성별 편향을 의식하고 보상하려는 행동의 결과일 수 있습니다.
• 반응률: 공정성 (CDP) 이 높을수록 긍정적인 응답률 (Positive Response Rate) 도 약간 증가하여, 공정성과 정확성 (효율성) 사이의 트레이드오프가 약함을 보여주었습니다.

4. 주요 기여 (Key Contributions)

1. 실증적 비교: 실제 채용 플랫폼 데이터를 기반으로 인간, AI, 하이브리드 세 가지 채용 프로세스의 성별 공정성을 정량적으로 비교한 최초의 연구 중 하나입니다.
2. 하이브리드 모델의 우월성 입증: "인간 + AI"가 단순히 두 요소의 합을 넘어 (More than the sum of its parts) 가장 공정한 채용 결과를 만들어낸다는 것을 실증했습니다.
3. 인간 감독의 중요성 강조: 알고리즘의 편향을 완화하기 위해 인간의 감독 (Human Oversight) 이 필수적이며, 특히 AI 추천을 검토한 후 인간이 추가적인 검색을 수행하는 프로세스가 효과적임을 보였습니다.
4. 공정성 지표의 적용: 채용 맥락에 적합한 조건부 인구통계학적 균등성 (CDP) 지표를 적용하여, 자격 요건을 고려한 공정한 비교를 가능하게 했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실무적 시사점: 기업은 AI 를 채용 프로세스에 도입할 때, 이를 완전히 자동화하기보다는 인간 채용 담당자가 AI 추천을 검토하고 보완하는 'Human-in-the-loop' 방식을 채택해야 성별 편향을 효과적으로 줄일 수 있음을 시사합니다.
• 정책적 함의: 알고리즘의 편향만 제거하는 것이 아니라, 인간과 AI 의 상호작용 프로세스를 설계하는 것이 더 중요합니다.
• 한계 및 향후 연구:
  • 연구는 덴마크의 특정 플랫폼에 국한되어 있어 문화적/국가적 일반화에는 주의가 필요합니다.
  • 성별 외의 다른 민감한 속성 (인종, 연령 등) 에 대한 분석은 향후 과제로 남았습니다.
  • 인간이 AI 추천에 의해 어떻게 무의식적으로 영향을 받는지에 대한 심층적인 메커니즘 분석이 필요합니다.

이 논문은 AI 기반 채용 시스템이 편향을 악화시킬 수 있다는 우려와 달리, 적절히 설계된 인간-AI 협력 시스템이 오히려 인간 단독 또는 AI 단독 시스템보다 더 공정하고 효율적인 채용을 가능하게 함을 입증했습니다.