PopResume: Causal Fairness Evaluation of LLM/VLM Resume Screeners with Population-Representative Dataset

1. 연구 배경 및 문제 정의 (Problem)

• 현재의 한계: 기존 LLM 채용 시스템의 편향 평가는 주로 인위적으로 인구통계학적 정보 (이름, 성별 등) 를 주입하거나 결과값의 불균형 (outcome-level disparity) 만을 측정하는 방식에 의존합니다.
  • 이는 실제 세계의 변수 간 자연스러운 상관관계를 파괴하여 인과적 분석을 어렵게 만듭니다.
  • 단순히 "차별이 있는지"만 확인할 뿐, "어떤 경로를 통해 차별이 발생했는지"를 구분하지 못합니다.
• 법적 필요성: 고용 차별법 (미국 Title VII 등) 에서는 불공정한 결과의 원인이 **합법적인 직무 관련 요인 (Business Necessity)**인지, **불법적인 인구통계학적 대리 변수 (Redlining)**인지에 따라 법적 책임이 달라집니다.
  • 예: 경력이나 학력 차이로 인한 점수 차이는 합법적일 수 있으나, 이름이나 주소로 인한 인종/성별 추론에 의한 차이는 불법입니다.
• 핵심 질문: 모델이 보호 속성 (성별, 인종 등) 을 통해 점수에 영향을 미칠 때, 그 영향이 합법적인 직무 요인을 통한 것인지, 아니면 불법적인 대리 변수를 통한 것인지 어떻게 구분할 것인가?

2. 방법론 (Methodology)

A. PopResume 데이터셋 구축

• 인구 통계 기반 생성: 실제 미국 인구 통계 (ACS PUMS, PSID, SSA, Census 등) 를 기반으로 60,884 개의 이력서를 생성했습니다.
• 자연스러운 상관관계 유지: 기존 연구처럼 인위적으로 정보를 주입하는 것이 아니라, 인구 통계 분포를 따르는 구조화된 프로필을 생성한 후 규칙 기반 (rule-based) 으로 자연어 이력서 (텍스트 및 이미지) 로 변환했습니다.
• 변수 매핑:
  • 보호 속성 (X): 성별, 인종, 나이
  • 교란 변수 (Z): 기타 배경
  • 매개 변수 (Mediators):
    • B (Business Necessity): 직무 관련 자격 (경력, 학력)
    • R (Redlining): 인구통계학적 대리 변수 (이름, 주소/주)
• 다양한 포맷: 텍스트 이력서 (LLM 평가용), 프로필 사진 없는 이미지 이력서, 프로필 사진 포함된 이미지 이력서 (VLM 평가용) 를 모두 제공합니다.

B. 인과적 공정성 평가 프레임워크 (PSE-based Framework)

• 경로별 효과 (Path-Specific Effect, PSE) 분석: 보호 속성 (X) 이 결과 (Y, 채용 점수) 에 미치는 영향을 두 가지 경로로 분해합니다.
  1. BIE (Business Necessity Indirect Effect): 보호 속성 $\rightarrow$ 직무 관련 자격 (B) $\rightarrow$ 점수 경로. (법적으로 허용 가능한 경로)
  2. RIE (Redlining Indirect Effect): 보호 속성 $\rightarrow$ 인구통계학적 대리 변수 (R) $\rightarrow$ 점수 경로. (법적으로 허용 불가능한 경로)
• 직접 효과 (NDE): 명시적인 정보가 없어도 모델이 다른 변수를 통해 보호 속성을 추론하여 점수에 직접 영향을 미치는 경로.
• 추정 알고리즘: DML-UCA (Double Machine Learning - Unified Covariate Adjustment) 알고리즘을 사용하여 편향 추정치를 계산하고 신뢰구간을 산출했습니다.

3. 주요 기여 (Key Contributions)

1. PopResume 데이터셋: 인구 통계 기반의 대규모 이력서 데이터셋으로, 실제 세계의 변수 간 상관관계를 보존하며 인과적 추론이 가능한 최초의 벤치마크입니다.
2. 법적 근거를 갖춘 인과적 감사 프레임워크: 결과의 불균형만 보는 것이 아니라, **BIE(합법적)**와 **RIE(불법적)**를 분리하여 평가함으로써 법적 책임 소재를 명확히 할 수 있는 도구를 제공합니다.
3. 새로운 차별 패턴 발견: 단순한 집계 지표로는 포착되지 않는 5 가지 대표적 차별 시나리오를 규명했습니다.

4. 실험 결과 및 발견 (Results & Findings)

4 개의 LLM 과 4 개의 VLM 을 5 개 직종 (간호사, 교사, 개발자, 회계사, 건설 노동자) 에 대해 평가한 결과, 다음과 같은 5 가지 차별 패턴이 발견되었습니다.

1. Case 1: 명시적 정보 부재 시 직접 차별
   • 이력서에 성별/인종 정보가 명시되지 않아도 모델이 이름, 학력 등 다른 변수를 통해 보호 속성을 추론하여 직접적으로 (NDE) 차별합니다. (평가 사례의 약 60% 에서 발생)
2. Case 2: 상쇄 효과에 의한 차별 은폐
   • 직접 효과 (NDE) 와 간접 효과 (NIE) 가 서로 반대 방향으로 작용하여 전체 효과 (TE) 가 0 에 가까워진 경우입니다. 기존 지표는 "공정하다"고 오인하지만, 실제로는 큰 차별이 존재합니다.
3. Case 3: 합법적 자격에 의한 불균형
   • BIE 만 유의미하고 RIE 는 0 인 경우. 이는 직무 관련 자격 (학력, 경력) 차이로 인한 결과로, 법적 '비즈니스 니세시티'로 정당화될 수 있는 영역입니다.
4. Case 4: 인구통계학적 대리 변수를 통한 차별
   • RIE 만 유의미한 경우. 이름이나 주소와 같은 대리 변수를 통해 인종/성별을 추론하여 차별합니다. 이는 명백한 불법 (Redlining) 입니다.
5. Case 5: 혼합 매개 경로
   • BIE 와 RIE 가 모두 유의미하게 작용하는 경우. 두 경로가 서로 증폭되거나 상쇄되어 전체 효과만으로는 차별의 원인을 파악하기 어렵습니다.

추가 발견 (VLM 및 프로필 사진):

• 프로필 사진이 포함된 이미지 이력서를 VLM 에 입력할 경우, 직접 효과 (NDE) 가 유의미하게 증가하는 경향이 관찰되었습니다. 이는 모델이 시각적 정보를 통해 보호 속성을 더 쉽게 추론하여 차별을 강화할 수 있음을 시사합니다.

5. 의의 및 결론 (Significance)

• 법적·정책적 함의: 단순한 "공정/불공정" 이진 분류를 넘어, 차별의 인과적 경로를 규명함으로써 기업이 법적 리스크를 관리하고 시스템 개선 방향을 설정하는 데 실질적인 도움을 줍니다.
• 기술적 발전: 기존 벤치마크의 인위적 주입 방식을 탈피하여, 실제 인구 통계 분포를 반영한 데이터셋을 통해 더 현실적이고 엄격한 공정성 평가를 가능하게 했습니다.
• 미래 방향: AI 기반 채용 시스템의 투명성을 높이고, 인종이나 성별에 기반한 간접 차별 (Redlining) 을 방지하기 위한 인과적 감사 (Causal Auditing) 의 표준으로 자리 잡을 것으로 기대됩니다.

요약하자면, 이 논문은 "왜 (Why)" 차별이 발생하는지 그 인과 경로를 **BIE(합법)**와 **RIE(불법)**로 나누어 분석함으로써, AI 채용 시스템의 공정성 평가를 법적·기술적으로 한 단계 진화시켰다는 점에서 의의가 큽니다.