기술 요약: 연관 규칙과 공정 빈닝을 통한 모기지 대출의 차별적 패턴 감사

문제 정의

미국의 모기지 대출은 지속적인 인종 및 성별 불평려를 보이고 있다. 기존 연구들이 모델 수준의 편향을 감사하거나 공정한 분류기를 구축하는 데 집중해 온 반면, 본 논문은 업스트림 데이터 관리 작업, 구체적으로는 **속성 빈닝(attribute binning)**이 이러한 불평등을 증폭시키는지 여부를 조사한다. 수치형 속성(예: 소득)에 대한 표준 등빈도 빈닝(equal-frequency binning)은 인구통계학적 구성이 왜곡된 빈(bin)을 생성할 수 있으며, 이는 다운스트림 패턴 마이닝을 왜곡할 가능성이 있다. 저자들은 다음과 같은 질문을 던진다: 공정성을 고려한 빈닝이 대출 데이터에서 채굴된 차별적 패턴을 변화시키는가?

본 연구는 연간 1,000만 건 이상의 기록을 포함하는 풍부한 공개 소스인 HMDA 2023 데이터셋(Home Mortgage Disclosure Act)을 활용하며, 시카고 대도시 지역에 초점을 맞춘다.

방법론

저자들은 차별적 패턴을 감사하기 위한 3단계 파이프라인을 제안한다:

1. 데이터 정제 및 빈닝

• 데이터 소스: 시카고-나이레프-엘진 대도시 분할 구역에서 필터링된 103,481건의 정제된 모기지 신청 건수 (전국 HMDA 2023 스냅샷에서 추출).
• 전처리: 파이프라인은 승인 및 거절된 대출을 필터링하고, 인구통계학적 데이터가 누락된 기록을 제거하며, 금융 필드를 형변환하고, 소득 이상치(0.5~99.5 백분위수)를 클리핑(clipping)한다.
• 빈닝 전략:
  • 표준 등빈도 빈닝 (Standard Equal-Frequency Binning): 수치형 속성(소득, 대출 금액)을 약등한 빈도를 가진 $k=5$개의 버킷으로 나눈다.
  • $\epsilon$-편향 공정 빈닝 ($\epsilon$-Biased Fair Binning): Asudeh 등[1]이 제안한 분할 정복(Divide-and-Conquer, D&C) 알고리즘을 구현한다. 이 알고리즘은 각 빈 내의 인구통계학적 편차를 최대 $\epsilon$ 이내로 제한하는 것을 목표로 한다. 이는 등빈도로부터의 편차인 "공정성의 가격(Price of Fairness, PoF)"을 최소화한다.

2. 연관 규칙 마이닝 (FP-Growth)

• 기법: FP-Growth를 사용하여 빈번한 아이템셋과 대출 거절을 예측하는 연관 규칙을 채굴한다.
• 입력: 신청 건수를 11개의 범주형 항목(예: 인종, 성별, 소득 빈, DTI 범주, 결과)을 가진 트랜잭션으로 변환한다.
• 목표: 표준 빈닝과 공정 빈닝 하에서 생성된 규칙 세트를 비교하여, 명시적인 차별적 패턴(예: 인종이 전건(antecedent)인 규칙)이 변화하는지 확인한다.
• 매개변수: 최소 지지도(support) 0.10, 최소 신뢰도(confidence) 0.50, 최소 향상도(lift) 1.0.

3. 클러스터링 및 불균등한 영향 감사

• 클러스터링: 네 가지 금융 특징(소득, 대출 금액, DTI, 결합 대출 상환 비율)에 K-Means 클러스터링을 적용하여 신청자를 금융 프로필별로 그룹화한다. 이자율은 거절된 대출을 걸러내는 것을 방지하기 위해 제외한다.
• 감사: 각 클러스터 내에서 참조 그룹에 대한 인구통계학적 그룹(인종, 민족, 성별)의 **불균등한 영향 비율(Disparate Impact Ratio, DIR)**을 계산한다.
• 지표: DIR이 0.80 미만인 경우(4/5 규칙) 불균등한 영향이 있는 것으로 간주한다. 이 접근 방식은 클러스터에 포착된 정당한 금융 위험 요인으로 설명할 수 없는 차별을 격리하여 보여준다.

주요 결과

1. 빈닝 편향 및 실행 가능성

• 표준 빈닝: 소득 이산화에서 9.63%의 인종적 편향을 생성하며, 이는 기존 연구 결과(8~10%)와 일치한다.
• 공정 빈닝 실행 가능성: 7개의 인종 그룹이 존재할 때, $\epsilon$-편향 알고리즘은 엄격한 임계값($\epsilon=0.03$)에서 실행 불가능하다. 이 알고리즘은 소득에 대해서는 $\epsilon=0.08$, 대출 금액에 대해서는 $\epsilon=0.06$에서만 성공한다.
• 공정성의 가격 (PoF): 이러한 임계값에서 공정성을 달取得하는 것은 높은 비용을 수반하며, 빈 크기가 등빈도로부터 크게 벗어난다 (소득의 경우 PoF 29.4%, 대출 금액의 경우 23.5%).

2. 연관 규칙 마이닝 (FP-Growth)

• 지배적 예측 인자: 높은 부채 상환 비율(DTI)이 대출 거절의 주요 예측 인자이다 (신뢰도 67.2%, 향상도 2.81).
• 규칙 일관성: 상위 거절 규칙은 표준 빈닝과 공정 빈닝 체제 모두에서 동일하게 나타난다.
• 명시적 편향의 부재: 인종, 성별 또는 민족을 전건으로 하는 규칙 중 지지도 10% 임계값을 충족하는 규칙은 없었다. 저자들은 이것이 편향의 부재를 의미하는 것이 아니라, 인종적 편향이 간접적으로 상관관계가 있는 금융 특징(예: 흑인 신청자는 평균 소득이 낮아 고위험 빈에 배치됨)을 통해 작동함을 시사한다고 언급했다.

3. 클러스터링 및 불균등한 영향

• 클러스터 프로필: 부채 과다 신청자(거절율 79%)부터 부유한 신청자(거절율 11%)에 이르기까지 5개의 클러스터가 식별되었다.
• 불균등한 영향 발견: FP-Growth는 명시적인 인종 규칙을 찾지 못했지만, K-Means + DIR 감사는 45개의 클러스터-그룹 쌍 중 10개가 불균등한 영향(DIR < 0.80)을 보이는 것으로 나타났다.
• 구체적 결과:
  • 식별된 모든 쌍은 인종과 관련되어 있었다.
  • 클러스터 3(금융적으로 유사한 그룹: 평균 소득 $104K, DTI 34.5)에서 흑인 신청자의 **거절율은 44.8%**였던 반면, 백인 신청자는 **20.3%**였다 (DIR = 0.693).
  • 인종 기반 감사의 평균 DIR은 0.814였으나, 민족 및 성별 감사는 체계적인 불균등한 영향을 보이지 않았다 (평균 DIR 각각 0.932 및 1.094).

기여 및 의의

본 논문의 기여도는 다음과 같다:

1. 업스트림 편향의 검증: 표준 데이터 전처리(빈닝)가 HMDA 데이터에서 측정 가능한 인종적 편향(9.63%)을 도입함을 확인하여, 대출 맥락에서 편향되지 않은 빈닝 문제의 타당성을 입증했다.
2. 다중 그룹 공정성의 실행 가능성 제약: $\epsilon$-편향 빈닝이 이진 그룹에는 효과적이지만, 7개의 인종 그룹에 적용할 경우 실행 가능한 솔루션 세트가 급격히 줄어들고 높은 공정성의 가격을 초래함을 보여줌으로써, 데이터 이산화에서의 다중 그룹 공정성에 대한 실질적인 한계를 제시했다.
3. 보완적 감사 접근 방식: 연구는 FP-Growth와 클러스터링이 상호 보완적인 통찰을 제공함을 강조한다:
   • FP-Growth는 전체 인구에 걸친 지배적인 거절 요인(DTI)을 식별하지만, 지지도 임계값으로 인해 간접적 편향을 놓칠 수 있다.
   • 클러스터링과 결 combination된 DIR 감사는 표준 규칙 마이닝이 간과할 수 있는, 금융적으로 유사한 신청자들 사이에서도 지속되는 체계적인 불균등한 영향을 드러낸다.
4. 간접적 편향의 실증적 증거: 결과는 모기지 대출의 인종적 편향이 명시적이고 높은 지지도를 가진 규칙보다는 상관관계가 있는 금융 분포(소득/DTI)를 통해 주로 간접적으로 나타남을 시사한다.

한계점

저자들은 다음과 같은 몇 가지 한계를 인정한다:

• 신용 점수 누락: HMDA 데이터에는 주요 대출 요인인 신용 점수가 누락되어 있어, 클러스터링이 차별을 정당한 위험으로부터 완전히 분리할 수 없다.
• 지지도 임계값: FP-Growth의 10% 지지도 임계값은 소수 집단의 패턴을 포착하기에 너무 높을 수 있다. 임계값을 낮추면 허위 결과(spurious results)의 위험이 있다.
• 지리적 범위: 분석은 시카고 대도시 지역으로 국한된다.
• 알고리즘 가정: K-Means는 데이터의 비대칭성(클러스터 크기가 3,500에서 48,000까지 다양함)에 완벽하게 부합하지 않을 수 있는 유사한 크기의 구형 클러스터를 가정한다.