기술 요약: LLM은 공정하게 채용할 수 있는가? 이력서 스크리닝에서의 인종적 편향

문제 제기

대규모 언어 모델(LLM)이 채용과 같은 중대한 경제적 결정에 점점 더 깊숙이 개입함에 따라, 이러한 시스템이 기존의 인간 차별 패턴을 영속화하는지 아니면 이를 재편하는지를 판단하는 것이 매우 중요한 과제가 되었다. 법적 쟁점(예: 2026년 워크데이 집단 소송)은 알고리즘 차별의 가능성을 강조해 왔으나, LLM 기반 채용 스크리너의 구체적인 편향 성격과 방향에 관한 실증적 증거는 여전히 제한적이다. 본 연구가 다루는 핵심 질문은 LLM이 인사 담당자 역할을 수행할 때 인종 및 성별 편향을 보이는지, 그리고 이러한 편향이 서로 다른 모델 세대와 제공업체에 따라 어떻게 진화하는가 하는 점이다.

방법론

본 연구는 Bertrand와 Mullainathan(2004)이 확립하고 Kline, Rose, Walters(2022)가 확장한 대응 실험 설계를 직접적으로 채택하여 대규모 쌍 이력서 감사(paired-resume audit) 방법론을 사용한다.

• 실험 설계: 연구진은 후보자의 성명만을 제외하고 모든 실질적 속성(학력, 경력, 연령, 성별)이 동일한 후보자 프로필을 구성하였다. 이름은 뚜렷하게 구분되는 흑인 및 백인 이름을 추출한 목록에서 가져왔다(Bertrand and Mullainathan, 2004; Kline et al., 2022).
• 데이터 소스: 감사는 Revelio Labs 유니버스에서 추출한 6,007개의 실제 미국 신입직 채용 공고를 활용하였으며, Fortune-500 기업 분포와 일치하도록 샘플링되었다.
• 모델 패널: 2023년 5월부터 2026년 4월까지의 출시일을 포괄하는 14개의 주요 LLM을 테스트하였다. 패널에는 8B에서 397B 사이의 파라미터 크기를 가진 8개 제공업체(OpenAI, Anthropic, Meta, Google, xAI, DeepSeek, Alibaba, Zhipu)의 모델이 포함된다.
• 프롬프팅 및 점수 산정: 각 모델에는 HR 매니저로서 행동하고, 후보자를 다음 단계로 진행시킬지 여부를 단 하나의 단어("yes" 또는 "no")로 응답하도록 하는 표준화된 시스템 지침이 프롬프트로 제공되었다. 결정론적 출력을 보장하기 위해 온도는 0으로 설정되었다.
• 규모: 연구는 인종 축에 대해 모델당 24,024개의 쌍을 구성된 공고를, 성별 축에 대해 모델당 48,048개의 쌍을 구성된 공고를 생성하였다.
• 통계 분석: 주요 지표는 우위 집단과 열위 집단 간의 '예(yes)' 비율 차이인 콜백 갭($\Delta$)이었다. 유의성은 불일치 쌍(discordant pairs)에 대한 McNemar 검정을 사용하여 평가되었으며, 공고 내 의존성을 고려하기 위해 클러스터 강건 추론(부트스트랩 및 표준 오차)을 적용하였다.

주요 기여

1. 체계적인 멀티 모델 감사: 본 연구는 인적 베이스라인을 구축한 현장 실험과 유사한 규모로 14개 모델(인종 축) 및 13개 모델(성별 축)을 조사하여, LLM 채용 차별에 대한 최초의 체계적인 감사를 제공한다.
2. 부호 역전(Sign Reversal)의 기록: 본 연구는 모델 세대에 따라 알고리즘 차별의 방향이 질적으로 변화함을 기록하였다. 즉, 2023년 모델의 백인 우호/남성 우호 편향에서 2024년 이후 모델의 흑인 우호/여성 우호(또는 차이가 없는 상태)로 이동함을 보여준다.
3. 편향 축 간의 상관관계: 본 논문은 인종 및 성별 편향이 모델 전반에 걸쳐 양의 상관관계를 가짐을 입증한다. 흑인 코드로 명명된 이름을 선호하는 모델은 여성 코드로 명명된 이름을 선호하는 경향이 있다.

주요 결과

인종 차별

• 2023년 빈티지 (GPT-3.5-turbo): 유일한 2023년 모델은 인간의 현장 실험에서 발견된 백인 우호 콜백 갭을 재현했다. 백인 코드로 명명된 이름은 흑인 코드로 명명된 이름보다 2.12 퍼센트 포인트(pp) 더 자주 콜백을 받았으며, 이는 1% 수준에서 유의미했다. 이 크기는 Kline 등이 보고한 1.6 pp의 격차를 상회했다.
• 2024년 이후 빈티지: 2024년 또는 그 이후에 출시된 모든 모델은 차이가 없거나 통계적으로 유의미한 흑인 우호 역전 현상을 보였다. 유의미한 흑인 우호 격차는 -0.37 pp에서 -3.01 pp 사이였다 (예: Llama-3.1-8B-Instruct는 -3.01 pp를 기록). 2024년 이후 모델 중 백인 우호 격차를 보인 모델은 없었다.
• 궤적: 모델 제품군 내에서 이러한 경향은 일관되었다. OpenAI의 계보는 GPT-3.5-turbo의 +2.12 pp(백인 우호)에서 GPT-4o-mini의 -0.61 pp(흑인 우호)로, 최종적으로 GPT-5.4-mini의 차이 없음(null gap)으로 이동했다.

성별 차별

• 2023년 빈티지: GPT-3.5-turbo는 남성 후보자를 1.92 pp 더 선호했다 (1% 수준에서 유의미).
• 2024년 이후 빈티지: 나머지 12개 모델 중 10개 모델이 여성 우호 격차를 보였으며, 그 범위는 -0.18 pp에서 -5.80 pp 사이였다. 두 모델(Gemini-2.5-flash 및 GPT-5.4-mini)은 차이가 없는 것으로 나타났다.
• 상관관계: 인종과 성별 축은 양의 상관관계를 보였다. 유일한 백인 우호 모델(GPT-3.5-turbo)은 유일한 남성 우호 모델이기도 했다. 반대로, 가장 강력한 흑인 우호 편향을 보인 모델들(예: Claude 3 Haiku)은 가장 강력한 여성 우호 편향을 나타냈다.

강건성

결과는 클러스터 강건 추론 및 다중 비교를 위한 Bonferroni 교정 하에서도 강건하게 유지되었다. 일부 경계선에 있는 결과(예: Gemma-4-31B의 성별 격차)는 엄격한 교정 하에서 유의성을 잃었으나, 세대를 가로지르는 부호 역전이라는 핵심 결과는 확고히 유지되었다.

의의 및 주장

본 논문은 알고리즘 채용 편향의 방향이 언어 모델의 고정된 속성이 아니라 모델의 빈티지, 제공업체 및 규모에 따라 체계적으로 변한다는 점을 주장한다.

• 정렬(Alignment)의 진화: 사전 학습 데이터의 편향(백인 우호)에서 소수자 코드로 명명된 이름을 적극적으로 선호(흑인 우호)하고, 최신 모델에서는 중립성으로 향하는 관찰된 궤적은 2023년과 2024년 사이의 사후 학습 정렬 절차의 변화에 기인한다.
• 공정성 함의: 저자들은 원래의 백인 우호 편향이나 그 이후의 흑인 우호 역전 모두 공정성 관점에서 바람직하지 않다고 주장한다. 한 집단을 다른 집단보다 체계적으로 선호하는 채용 스크리너는, 그 방향이 무엇이든 간에 평등한 대우라는 기본 요건을 충족하지 못한다.
• 규제 관련성: 본 결과는 규제 기관(예: EU AI Act 또는 NYC Local Law 144를 집행하는 기관)에 대하여, 편향의 크기와 방향이 특정 배포 선택(모델 버전, 학습 날짜, 프롬프팅)에 따라 달라진다는 실증적 근거를 제공한다. 저자들은 AI 도구가 고용 스크리닝에서 보편화됨에 따라 이와 같은 체계적인 감사가 규제 준수와 공적 책무를 위해 필수적이라고 결론짓는다.