Beyond Aggregate Calibration: Decomposing Income-Conditional Recall Disparities in Automated Credit Default Prediction

당신이 형사가 되어 미스터리를 풀고 있다고 상상해 보세요. 하지만 지문 대신 숫자를 찾고 있습니다. 이 이야기는 컴퓨터가 방대한 과거 데이터를 학습하여 예측을 수행하도록 교육받는 머신러닝의 세계에 살고 있습니다. 이것은 마치 학생이 수천 개의 지난 시험지를 읽으며 시험 공부를 하는 것과 같습니다. 이 컴퓨터들이 치르는 특정한 유형의 시험 중 하나가 바로 **신용 점수(credit scoring)**입니다. 즉, 어떤 사람이 대출금을 갚을지, 아니면 채무 불이행(상환 실패)을 할지를 결정하는 것입니다.

하지만 여기에 까다로운 문제가 있습니다. 때때로 컴퓨터가 공부하는 데이터가 엉망일 수 있습니다. 라벨이 잘못되었거나, 컴퓨터가 혼란을 겪을 수도 있죠. 이를 해결하기 위해 과학자들은 종종 "신뢰도 점수(confidence score)"를 사용합니다. 만약 컴퓨터가 예측에 대해 매우 확신이 없다면, "이 데이터 포인트는 믿을 수 없으니 버리자"라고 말할 수 있습니다. 이것을 **데이터 클리닝(data cleaning)**이라고 부릅니다. 이 분야의 또 다른 큰 개념은 **공정성(fairness)**입니다. 우리는 컴퓨터가 돈을 얼마나 버는지와 상관없이 모든 사람을 똑같이 대하도록 만들어야 합니다. 공정성을 위한 핵심 규칙은 **기회 균등(equal opportunity)**이라 불리는데, 이는 간단히 말해: 만약 누군가가 실제로 대출금을 갚지 못했다면, 그 사람이 부유하든 가난하든 컴퓨터가 그 실패를 포착해 내는 능력이 동일해야 함을 의미합니다.

여기서 큰 질문이 생깁니다. 컴퓨터가 스스로 데이터를 "클리닝"하는 방식이 의도치 않게 불공정함을 초래할까요? 그리고 만약 우리가 공정하게 만들기 위해 컴퓨터로부터 민감한 정보(소득 등)를 숨기려 한다면, 그것이 정말 효과가 있을까요? 이 논문은 컴퓨터가 비밀리에 데이터를 왜곡하고 있는지 확인하기 위해 실제 대출 데이터를 사용하여 이 질문을 파고듭니다.

논문의 이야기: "클리닝"이 데이터를 더 더럽게 만들 때

연구자는 먼저 LendingClub이라는 회사의 130만 개 이상의 대출 데이터가 포함된 거대한 데이터셋을 살펴보는 것으로 시작했습니다. 연구자는 표준적인 "신뢰도 점수" 방법을 사용하여 데이터를 클리닝할 때 이상한 현상이 발생한다는 것을 발견했습니다. 컴퓨터는 일부 대출 신청 건이 "노이즈(noise)"가 많거나 신뢰할 수 없다고 판단하여 삭제 대상으로 표시했습니다.

여기에 반전이 있습니다. 컴퓨터는 실제로 채무 불이행을 한 고소득 차입자의 "노이즈" 섞인 라벨을 저소득 차입자의 경우보다 훨씬 더 많이 버리는 경향이 있었습니다. 이는 마치 선생님이 시험지 뭉치를 채점하면서, 부유한 학생들의 오답은 그냥 무시해도 될 "실수"로 결정하고, 가난한 학생들의 오답은 실제 증거로 취급하는 것과 같습니다. 숫자로 보면, 컴퓨터는 고소득 채무 불이행자의 2.40%를 노이즈로 간주하여 버렸지만, 저소득 채무 불이행자는 0.38%만 버렸습니다. 이는 데이터가 처리되는 방식에서 엄청난 차이를 보여줍니다.

하지만 진짜 놀라운 결과는 단순히 "클리닝"을 보는 것을 넘어 실제 예측을 살펴보았을 때 나타났습니다. 연구자는 기회 균등 규칙을 사용하여 다음과 같이 확인했습니다: "만약 누군가가 실제로 채무 불이행을 했다면, 컴퓨터는 그들을 얼마나 자주 잡아냈는가?"

결과는 충격적이었습니다. 컴퓨터는 저소득 채무 불이행자를 잡는 데는 뛰어났습니다(그들 중 72.84%를 찾아냄). 하지만 실제로 채무 불이행을 한 고소득 차입자에 대해서는 컴퓨터가 55.98%만을 잡아냈습니다. 이는 16.86 퍼센트 포인트의 격차입니다. 컴퓨터는 기본적으로 부유한 사람들이 돈을 갚지 못하는 상황에는 눈을 감고 있었던 반면, 가난한 사람들에게는 매우 예리하게 반응했습니다.

탐정 작업: 왜 이런 일이 일났을까?

연구자는 단순히 격차를 찾아내는 데 그치지 않고, 왜 이런 일이 일어났는지 알고 싶었습니다. 그들은 **순차적 특징 가리기(sequential feature blinding)**라는 영리한 기술을 사용했습니다. 스무고개 게임을 한다고 상상해 보세요. 당신은 비밀을 맞추려고 노력하고 있습니다. 먼저, 컴퓨터가 모든 것을 볼 수 있게 둡니다. 그다음, 차입자의 소득을 볼 수 없도록 눈을 가립니다. 그다음, 눈을 다시 가려서 이자율조차 볼 수 없게 만듭니다.

층층이 레이어를 벗겨내며 그들이 발견한 것은 다음과 같습니다:

1. 직접적인 소득 단서: 단순히 "연간 소득" 숫자를 컴퓨터로부터 숨겼을 때, 격차는 16.86포인트에서 7.49포인트로 줄어들었습니다. 이는 컴퓨터가 누가 위험한지를 결정하기 위해 소득 숫자를 직접적으로 사용하고 있었음을 의미합니다.
2. 상류의 함정 (이자율): 하지만 소득을 숨긴 후에도 격차는 사라지지 않았습니다. 연구자는 컴퓨터가 이자율을 비밀 코드로 사용하고 있다는 사실을 깨달았습니다. 은행은 안전하다고 생각하는 사람들에게 낮은 이자율을 제공합니다. 부유한 사람들은 보통 낮은 이자율을 받기 때문에, 컴퓨터는 "낮은 이자율 = 안전한 사람"이라고 학습했습니다. 그래서 부유한 사람이 실제로 채무 불이행을 했을 때, 이자율이 그들을 안전하다고 말해주었기 때문에 컴퓨터는 그들을 무시했습니다. 이자율까지 숨기자 격차는 약 3.55포인트까지 더 줄어들었습니다.
3. 잔류 유령: 소득과 이자율을 모두 숨긴 후에도 작지만 실재하는 격차(약 2.56~3.55포인트)가 남아 있었습니다. 컴퓨터는 여전히 소득을 추측할 방법을 찾아내고 있었습니다. 어떻게 했을까요? 바로 대출 금액과 주택 소유 여부를 통해서였습니다. 부유한 사람들은 대출 금액이 크고 주택 담보 대출을 가진 경향이 있습니다. 컴퓨터는 이러한 "대리 지표(proxies, 대체 단서)"를 사용하여 소득 숫자를 보지 못하게 되었음에도 불구하고, 누가 부자인지에 대한 그림을 재구성했습니다.

커다란 교훈

이 논문은 단순히 컴퓨터에게 "소득을 보지 마"라고 말하는 것이 공정함을 보장하지 않는다는 것을 보여줍니다. 컴퓨터는 대출 규모나 은행이 제시한 이자율 같은 다른 단서들을 통해 비밀을 알아낼 수 있는 매우 똑똑한 탐정과 같습니다.

저자는 제도적 편향(은행이 이자율을 설정하는 방식)과 행동적 대리 지표(사람들이 얼마나 많은 돈을 빌리는지)가 서로 결합하여 진실을 숨긴다는 것을 발견했습니다. 데이터를 깨끗하게 닦아내려 해도, 컴퓨터는 이러한 다른 신호들을 사용하여 불공정함을 재구성합니다.

따라서 은행이 진정으로 공정해지고 싶다면, 단순히 스프레드시트에서 "소득" 열을 삭제하는 것만으로는 부족합니다. 그들은 인간 언더라이터(심사역)가 설정하는 이자율부터 개인이 빌리는 대출 금액에 이르기까지, 전체 시스템이 어떻게 연결되어 있는지 이해해야 합니다. 전체 사슬을 고치지 않는다면, 컴퓨터는 소득 숫자를 보지 못하도록 명령받더라도 부유한 차입자와 가난한 차입자를 다르게 대우하는 방법을 계속해서 찾아낼 것입니다.