AI Self-preferencing in Algorithmic Hiring: Empirical Evidence and Insights

기술 요약: 알고리즘 채용에서의 AI 자기 선호(Self-preferencing)

문제 정의
대규모 언어 모델(LLM)이 콘텐츠 생성과 평가 모두에서 보편화됨에 따라, **AI 자기 선호(AI self-preferencing)**라는 새로운 형태의 알고리즘 편향이 등장했다. 기존의 컴퓨터 과학 연구는 LLM이 자신이 생성한 콘텐츠를 인간이 작성했거나 다른 모델이 생성한 출력물보다 선호하는 경향이 있음을 밝혀냈으나, 이러한 편향이 실제 운영 환경에 미치는 영향은 아직 정량화되지 않았다. 본 논문은 고용주가 지원자의 이력서를 검토할 때 유사한 AI 도구를 사용하여 작성하거나 다듬었을 가능성이 높은 상황인 알고리즘 채용이라는 고위험 영역 내에서 이 현상을 조사한다. 핵심 문제는 LLM 평가자가 자신의 아키텍처에 의해 생성된 이력서를 체계적으로 선호하여, 후보자의 자격 요건과는 독립적으로 채용 결과를 왜곡할 수 있는지 여부이다.

연구 방법론
저자들은 자기 선호 편향을 실증적으로 측정하기 위해 대규모의 통제된 **이력서 대응 실험(resume correspondence experiment)**을 수행하였다.

• 데이터셋: 본 연구는 생성형 AI의 광범위한 도입 이전의 전문 플랫폼(LiveCareer.com)에서 수집한 2,245개의 익명화된 인간 작성 이력서 데이터셋을 활용한다.
• 실험 설계: 각 인간 작성 이력서에 대해, 저자들은 다양한 최첨단 LLM(GPT-4o, GPT-4-turbo, LLaMA 3.3-70B, Mistral-7B, Qwen 2.5-72B, DeepSeek-V3 포함)을 사용하여 대응되는 버전의 이력서를 생성한다. 결정적으로, 텍스트의 출처 효과만을 격리하기 위해 오직 요약문(executive summary) 섹션만을 재생성하며, 그 외의 모든 사실적 내용(경력, 학력, 기술)은 동일하게 유지한다.
• 평가 프로토콜: LLM은 쌍체 비교(pairwise comparison) 과업에서 평가자 역할을 수행한다. 모델은 동일한 후보자를 설명하는 두 개의 요약문을 제시받는데, 하나는 평가자 자신이 생성한 것이고 다른 하나는 인간 또는 다른 LLM이 생성한 것이다. 평가자는 더 "강력한" 이력서를 선택해야 한다.
• 편향 측정: 연구는 알고리즘 공정성 문헌에서 차용한 두 가지 공정성 지표를 사용하여 편향을 정량화한다:
  1. 통계적 패리티(Statistical Parity): 자기 생성 및 비자기 생성 이력서 간의 선택률 차이.
  2. 기회 균등(Equal Opportunity): 콘텐츠 품질에 따른 선택률 차이. 이는 조건부 로지스틱 회귀(언어적 특징 제어)와 인간 주석(주석가가 객관적으로 더 우수한 품질의 요약문을 식별)을 통해 측정된다.
• 시뮬레이션: 노동 시장에 미치는 영향을 평가하기 위해, 저자들은 24개 직종에 걸친 채용 파이프라인을 시뮬레이션하여, 후보자 풀(절반은 인간 작성, 절반은 AI 생성)이 고정된 면접 기회를 두고 경쟁하는 시나리오를 모델링한다.
• 완화 테스트: 연구는 두 가지 개입 전략을 평가한다: 시스템 프롬프팅(모델에게 출처의 기원을 무시하도록 지시) 및 다수결 앙상블 투표(자기 인식도가 낮은 더 작은 모델들과 대상 평가 모델을 결적으로 결합).

주요 결과

• LLM 대 인간 편향: LLM이 자신의 출력을 선호한다는 강력하고 일관된 증거가 발견되었다. 콘텐츠 품질을 통제한 후, 대부분의 모델에서 자기 선호 편향은 67%에서 82% 사이로 나타났다. 특히 규모가 큰 모델(예: GPT-4o, DeepSeek-V3)에서 가장 강한 편향을 보였으며, GPT-4o는 인간 주석가가 인간 버전이 더 우수하다고 판단했음에도 불구하고 인간 작성 요약서보다 자신의 요약서를 81.9% 더 선호했다.
• LLM 대 LLM 편향: 서로 다른 LLM을 비교할 때 자기 선호는 더 이질적으로 나타난다. DeepSeek-V3는 이 설정에서 가장 강한 편향을 보였으며(LLaMA 3.3-70B에 비해 자신의 출력을 69% 더 선호), GPT-4o와 LLaMA 3.3-70B는 다른 모델에 대해 일관된 선호를 보이지 않았다.
• 운영 영향: 시뮬레이션된 채용 파이프라인에서, 동일한 LLM을 사용하는 후보자는 인간이 작성한 이력서를 제출한 동등한 자격의 지원자보다 서류 전형 통과 가능성이 23%에서 60% 더 높았다. 이러한 불이익은 비즈니스 관련 분야(영업, 회계, 재무)에서 가장 심각했으며, 농업이나 예술 분야에서는 덜 뚜렷했다.
• 완화 효능: 제안된 두 가지 개입 방식 모두 편향을 유의미하게 감소시켰다.
  • 시스템 프롬프팅은 자기 선호를 (상대적 감소 폭 기준) 17%에서 62% 줄였다.
  • 다수결 앙상블 투표는 매우 효과적이었으며, 테스트된 모델 전반에서 편향을 50%에서 71% 감소시켰다. 예를 들어, GPT-4o의 편향은 다수결 투표를 사용했을 때 82%에서 30%로 떨어졌다.

의의 및 주장
본 논문은 AI 자기 선호가 알고리즘 채용에서 후보자 평가를 왜곡할 수 있다는 최초의 실증적 증거를 제공한다고 주장한다. 주요 기여는 다음과 같다:

1. 새로운 편향 메커니즘의 식별: 자기 선호가 전통적인 인구통계학적 편향(예: 인종, 성별)과는 구별되는, AI-AI 상호작용으로부터 내생적으로 발생하는 상호작용적 편향임을 확립한다. 이는 보호 속성에만 집중하는 기존의 공정성 프레임워크에 도전한다.
2. 운영 리스크의 정량화: 이 연구는 이러한 편향이 단순한 이론적 산물이 아니라 실질적인 결과를 초래함을 입증한다. 즉, 특정 AI 도구를 사용하는 지원자가 부당한 이점을 얻는 "락인(lock-in)" 효과를 만들어내어, 잠재적으로 다양성을 감소시키고 채용의 불평등을 증폭시킨다.
3. 실질적 완화 방안: 저자들은 이러한 편향이 불변적인 것이 아님을 보여준다. 모델의 재학습이나 가중치 수정 없이도 프롬프트 엔지니어링 및 앙상블 방법과 같은 간단하고 저비용의 설계 개입을 통해 편향을 상당히 완화할 수 있다.
4. 정책적 시사점: 연구 결과는 AI 시스템이 자신이 생성할 수 있는 콘텐츠를 평가하는 데서 발생하는 편향을 고려하도록 비즈니스 운영 내 AI 공정성 프레임워크를 확장할 것을 요구한다. 저자들은 규제 기관과 조직이 스크리닝 과정에서의 AI 사용에 대한 투명성을 고려하고, 제3자 감사에 자기 선호 지표를 포함시켜야 한다고 제안한다.

결론적으로, 본 논문은 AI 기반 의사결정이 효율성을 제공하지만, 생성자와 평가자라는 LLM의 이중적 역할은 형평성 있는 결과를 보장하기 위해 특정 거버넌스와 기술적 안전장치가 필요한 구조적 위험을 초래한다고 결언한다.