Mitigating Label Bias with Interpretable Rubric Embeddings

기술적 요약: 해석 가능한 루브릭 임베딩을 통한 레이블 편향 완화

문제 제기
채용, 대학 입학, 콘텐츠 중재와 같은 고위험 의사결정 영역에서 관심 대상의 양 (예: 지원자의 실제 질 또는 향후 직무 수행 능력) 에 대한 실제 레이블은 종종 구할 수 없거나 획득 비용이 너무 비쌉니다. 따라서 모델은 종종 과거 채용 결정이나 입학 점수와 같은 과거 인간 평가 (대리 레이블) 로 훈련됩니다. 이 논문은 이러한 역사적 평가가 특정 인구통계학적 집단을 불공정하게 우대하는 편향을 포함하고 있다면, 이를 기반으로 훈련된 모델이 이러한 편향을 물려받아 심화시킬 수 있다고 주장합니다.

저자들은 블랙박스 텍스트 임베딩을 사용하는 표준 접근 방식이 이러한 문제를 악화시킨다는 것을 입증합니다. 이러한 임베딩은 정보가 풍부하지만, 명시적 표지가 제거되더라도 성별과 같은 민감한 속성을 암묵적으로 인코딩합니다. 이론적으로 저자들은 표현 $R$이 집단 소속을 인코딩할 경우, 편향된 레이블 $Y' = Y + B$ (여기서 $B$는 집단 의존적 잡음 항) 로 훈련된 모델이 예측에서 편향을 복제하고 심화시킬 수밖에 없음을 보여줍니다.

방법론
이 논문은 루브릭 임베딩을 해결책으로 제안합니다. 텍스트의 모든 통계적 규칙성을 포착하는 블랙박스 임베딩과 달리, 루브릭 임베딩은 관심 있는 근본 구성 요소와 정렬된 전문가가 정의한 기준에서 구축됩니다.

1. 루브릭 구축: 저자들은 입학 담당자들과 협력하여 에세이 명확성, 경력 궤적, 특정 과목 성적, 추천서의 강도 등 396 개의 해석 가능하고 도메인 기반의 측정 지표를 정의했습니다.
2. 특징 추출: 대규모 언어 모델 (LLM) 을 사용하여 이러한 특정 루브릭 차원을 따라 지원서를 점수화하여 구조화되고 의미적으로 유의미한 특징 벡터를 생성합니다.
3. 비교 기준: 제안된 방법은 다음과 같은 기준과 비교 평가됩니다.
   • 블랙박스 임베딩: 표준 텍스트 임베딩 (예: text-embedding-3-large).
   • 삭제 (Redaction): 임베딩 전에 성별 단서를 제거합니다.
   • 변량화 (Marginalization): 반사실적 성별 조작에 대한 예측을 평균화합니다.
   • 직교화 (Orthogonalization): 특징을 집단 소속과 독립적으로 투영합니다.
   • 키친 싱크 (Kitchen Sink): 블랙박스 및 루브릭 특징을 결합합니다.

이론적 프레임워크
저자들은 대응 실험 (감사 연구) 프레임워크를 사용하여 편향을 공식화합니다. 편향을 지원자의 특징이 다른 성별처럼 조작되었을 때 ($T(X, m)$ 대 $T(X, f)$) 모델 예측의 기대 차이로 정의합니다.

• 명제 2는 대리 레이블로 훈련된 모델의 편향이 표현이 집단 소속을 인코딩하는 정도에 의존함을 보여줍니다. 표현 $R$이 성별에 기반한 특징 이동을 허용하면, 모델은 레이블 편향을 물려받습니다.
• 명제 3은 편향 없는 레이블이 있더라도 블랙박스 임베딩이 결과와 보호 속성과 모두 상관관계가 있는 관련 변수를 생략할 경우 (생략된 변수 편향) 편향을 유발할 수 있음을 강조합니다.
• 이론적 분석에 따르면, 루브릭 임베딩은 의미적으로 관련 있는 특징으로 가설 공간을 제한하고 집단 상관 잡음을 배제함으로써 레이블 편향이 전파되는 메커니즘을 이론적으로 제거해야 합니다.

실증 결과
이 연구는 공공 정책 석사 과정에 지원한 1,112 건의 지원서 데이터를 활용합니다. 저자들은 여성 지원자에 대한 역사적 차별을 시뮬레이션하기 위해 입학 점수에 다양한 정도의 편향 ($b$) 을 인위적으로 주입했습니다.

• 블랙박스 임베딩: 이러한 임베딩으로 훈련된 모델은 높은 편향을 나타냈습니다. 인위적 남성 우위 ($b$) 가 증가함에 따라 합격한 여성 비율은 급격히 감소하여 (높은 편향 수준에서 거의 0% 에 근접) 합격 코호트의 평균 질 (실제 점수로 측정) 이 하락했습니다. 임베딩은 99.6% AUC 로 성별을 예측하여 민감한 속성을 인코딩함을 확인했습니다.
• 삭제 및 변량화: 특정 조작 $T$와 관련하여 이론적으로 편향이 없더라도 이러한 방법은 실제로 실패했습니다. 삭제된 임베딩은 잔여 통계적 규칙성으로 인해 여전히 모델이 81.2% AUC 로 성별을 예측할 수 있게 했습니다. 변량화는 명백한 편향을 교정했지만, 실제로는 실제 질에서 더 자격이 있는 집단을 실수로 불이익하게 하여 코호트 질을 저하시켰습니다.
• 루브릭 임베딩: 루브릭 임베딩으로 훈련된 모델은 주입된 레이블 편향의 모든 수준에서 거의 0 의 편향을 보여주었습니다. 중요한 점은 인구통계학적으로 다양한 합격 코호트 (여성 비율 안정) 를 유지하면서 다른 모든 방법과 비교해 최고의 코호트 질 (최고의 평균 실제 점수) 을 달성했다는 것입니다.
• 예측 정확도: 역설적으로 블랙박스 모델이 편향된 대리 레이블에서 더 낮은 평균 제곱근 오차 (RMSE) 를 달성한 반면, 루브릭 임베딩 모델은 실제 레이블에서 가장 낮은 RMSE 를 달성했습니다. 이는 편향과 상관관계가 있는 특징 (블랙박스 임베딩의 성별 신호 등) 을 포함하는 것이 레이블이 편향되었을 때 실제 결과에 대한 성능을 저하시킨다는 이론적 주장을 뒷받침합니다.

주요 기여

1. 이론적 통찰: 이 논문은 레이블 편향 전파가 표현의 집단 소속 인코딩 능력에 달려 있음을 보여주는 공식 분해를 제공합니다. 이는 레이블 편향과 생략된 변수 편향을 구분하며, 블랙박스 임베딩이 이 둘을 어떻게 혼동할 수 있는지 보여줍니다.
2. 방법론적 제안: 레이블링 과정에 대한 강력한 구조적 가정에 의존하지 않고 편향을 유발하는 특징 제거를 실행 가능한 특징 선택을 위한 실용적이고 구성적인 방법으로 도입합니다.
3. 실증 검증: 인위적 편향 주입이 포함된 새로운 데이터셋을 사용하여, 루브릭 임베딩이 직교화 및 삭제와 같은 표준 공정성 개입보다 공정성 (집단 평등) 과 유용성 (코호트 질) 을 동시에 개선함을 입증합니다.

의의 및 주장
저자들은 루브릭 임베딩이 실제 질을 알 수 없는 의사결정 맥락에서 레이블 편향을 완화하는 실용적 전략을 제공한다고 주장합니다. 그 의의는 단순히 손실 함수를 조정하거나 데이터를 재가중하는 데서 벗어나 입력이 어떻게 표현되는지 재고하는 것에 초점을 맞추는 데 있습니다.

이 논문은 해석 가능하고 도메인 특화된 기준에 예측을 근거로 삼음으로써 모델이 관심 있는 근본 구성 요소와 정렬되도록 하여 편향된 결과로 이어지는 허위 상관관계 (성별 신호 등) 를 효과적으로 필터링할 수 있다고 주장합니다. 저자들은 루브릭 구축의 높은 비용과 특정 형태의 차별적 영향에 대처하거나 집단별 개입을 정당화하지 못할 수 있다는 한계를 인정하지만, 이 접근법이 편향된 레이블 하에서 학습하는 원칙적인 방법을 제공하며 알고리즘의 공평한 설계에서 오랜 기간 지속된 과제를 해결한다고 결론지었습니다.