💻 computer science

Applied and Filtered: An End-to-End Algorithmic Fairness Audit of A Public Employment Agency

본 논문은 바르셀로나 악티바(Barcelona Activa)의 반자동 채용 시스템에 대한 최초의 독립적인 엔드 투 엔드(end-to-end) 공정성 감사를 제시하며, 총체적인 성별 균형은 존재하지만 자동화된 처리, 인간의 재량, 그리고 전통적인 모델 수준 평가에서는 보이지 않는 벤더의 불투명성 사이의 복잡한 상호작용으로 인해 급여 수준, 연령대 및 성별 정체체 전반에 걸쳐 상당한 격차가 지속되고 있음을 밝히고 있다.

원저자: Gemma Galdón-Clavell

게시일 2026-08-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gemma Galdón-Clavell

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 직업을 구하려 한다고 상상해 보세요. 하지만 당신의 이력서를 사람에게 전달하는 대신, 거대하고 첨단 기술이 집약된 미로 속으로 들어가는 것입니다. 이것이 바로 **알고리즘 공정성(algorithmic fairness)**의 세계입니다. 이 분야는 다음과 같은 단순하지만 까다로운 질문을 던집니다. 컴퓨터가 채용과 같은 중대한 결정을 내릴 때, 모든 사람을 똑같이 대하는가, 아니면 실수로 특정 사람들을 막다른 길로 몰아넣는가? 오랫동안 전문가들은 주로 컴퓨터의 '두뇌', 즉 코드 자체를 점검하여 편향성을 확인해 왔습니다. 하지만 이 논문은 컴퓨터의 두뇌만 점검하는 것은 자동차 엔진을 점검하면서 운전자, 도로 상황, 그리고 교통 법규는 무시하는 것과 같다고 주장합니다. 엔진이 완벽하더라도 운전자가 주의 산만하거나 지도가 잘못되었다면 자동차는 여전히 사고를 낼 수 있습니다. 이는 우리 모두에게 중요한 문제입니다. 채용 알고리즘이 우리 생계의 문지기 역할을 하고 있으며, 만약 이 시스템이 고장 난다면 아무도 알아차리지 못하는 사이에 사람들이 기회로부터 소리 없이 차단될 수 있기 때문입니다.

이 논문은 스페인 바르셀로나에서 일어난 실제 채용 미로에 관한 탐정 이야기입니다. 연구자들은 독립적인 감사관으로서 단순히 컴퓨터 코드를 들여다보는 데 그치지 않고, 5년 동안(2017년부터 2022년까지) 497,000명의 구직자들이 겪은 모든 단계를 추적하여 시스템이 어디에서 실수를 저질렀는지 확인했습니다. 그들은 인간 분석가가 "TalentClue"라는 제3자 소프트웨어를 사용하여 후보자를 찾는 반자동 시스템을 조사했습니다. 이것을 일곱 단계의 릴레이 경주라고 생각해보세요. 고용주가 일자리를 공고하면, 인간 분석가가 키워드를 선택하고, 컴퓨터가 목록을 필터링하며, 인간이 최종 후보 명단을 뽑고, 마지막으로 고용주가 누군가를 채용합니다.

이 이야기의 가장 놀라운 반전은 무엇일까요? 만약 당신이 최종 결승선만 바라보았다면, 이 경주는 공정해 보였을 것입니다. 채용된 남성과 여성의 수는 거의 동일했습니다. 마치 두 팀의 최종 점수가 같다는 것을 보고 경기가 완벽하게 균형 잡혔다고 가정하는 것과 같습니다. 하지만 감사관들이 테이프를 되감아 경주의 모든 단계를 살펴보았을 때, 전혀 다른 이야기가 드러났습니다. "공정한" 최종 점수는 사실 그 과정 중에 일어나고 있는 수많은 불공정함을 숨기고 있었습니다.

시스템이 사람들을 곤경에 빠뜨리기 시작한 지점은 다음과 같습니다:

급여의 함정: 남녀의 전체 채용 비율은 비슷했지만, 여성은 중간 수준의 급여(15,000유로에서 24,000유로 사이)를 받는 직무의 후보 명단에 오를 확률이 훨씬 낮았습니다. 실제로 이러한 특정 직무의 경우, 여성의 후보 선정율은 남성의 9.45%와 비교했을 때 7.43%에 불과했습니다. 이는 마치 시스템에 "직업을 가질 수는 있지만, 더 나은 직업은 안 될 수도 있다"라는 숨겨진 규칙이 있는 것과 같습니다.
연령의 벽: 시스템은 고령 노동자들에게 사각지대를 가진 것처럼 보였습니다. 55세 이상의 인구는 지역 노동력의 15.6%를 차지했지만, 채용 파이프라인에서는 완전히 사라져 있었습니다. 마치 미로 속에 55세 이상의 누구도 볼 수도, 넘을 수도 없는 벽이 있는 것 같았습니다.
"기타"의 문제: 성별이 남성도 여성도 아닌 비이진(non-binary) 정체성을 가진 후보자들의 경우, 확률이 믿기 힘들 정도로 낮았습니다. 이들은 남성보다 3분의 1도 안 되는 비율로 후보 명단에 올랐습니다. 다만, 연구진은 데이터 내에 이 후보자 수가 매우 적었다는 점(285명)을 언급하며, 불균형은 명확하지만 이것이 전체 인구에서 얼마나 큰 문제인지 아직 확언할 수는 없다고 밝혔습니다.
교육의 역설: 흥란하게도, 고등 교육을 받은 사람들이 고등학교 졸업 학력자들보다 후보 명단에 오를 확률이 더 낮았습니다. 여성들이 이 데이터셋에서 고등 교육 학위를 더 많이 보유하고 있었기 때문에, 이 규칙은 의도치 않게 여성들의 기회를 더욱 해쳤습니다.

또한 이 논문은 주요한 소통의 단절을 강조합니다. 채용 대행사를 운영하는 사람들(Barcelona Activa)은 자신들의 컴퓨터 소프트웨어(TalentClue)가 어떻게 후보자를 결정하는지 실제로 알지 못했습니다. 그것은 마치 요리사를 고용해 놓고 요리법이나 재료를 볼 수 없는 것과 같았습니다. 대행사는 소프트웨어 회사가 "비법 소스"를 숨기고 있었기 때문에 컴퓨터가 편향되었는지 확인할 수 없었습니다.

마지막으로, 연구진은 시스템이 고정되어 있지 않고 시간에 따라 변한다는 것을 발견했습니다. 남녀 간의 후보 선정 격차는 2017년부터 2022년까지 줄어들었지만, 이는 남녀 모두의 전체적인 후보 선정 인원이 줄어들었기 때문이었습니다. 이는 마치 주자들이 더 빨리 달려서 격차가 줄어든 것이 아니라, 모든 주자가 더 느리게 달리고 있기 때문에 격차가 좁혀진 것과 같습니다.

핵심적인 교훈은 컴퓨터 코드를 한 번 점검한다고 해서 그것을 "공정하다"고 결론 내릴 수 없다는 것입니다. 인간, 데이터, 소프트웨어, 그리고 시간이 흐르는 과정 전체를 지켜봐야 합니다. 만약 최종 결과만을 본다면, 시스템이 특정 집단을 더 좋은 기회로부터 조용히 밀어내고 있다는 사실을 놓칠 수 있습니다. 저자는 기업들이 일회성 점검을 하는 대신, 파도를 감시하는 등대처럼 채용 시스템을 끊임없이 관찰하여 매일 모든 이에게 직업으로 가는 길이 열려 있도록 해야 한다고 제안합니다.

기술 요약: 적용 및 필터링: 공공 고용 기관에 대한 엔드 투 엔드 알고리즘 공정성 감사

문제 제기

알고리즘 공정성 평가는 일반적으로 AI 시스템을 독립된 기술적 구성 요소로 취급하여, 시스템이 운영되는 조직적 맥락과 분리된 채 모델의 입력값과 출력값만을 평가한다. 이러한 "구성 요소 수준(component-level)"의 접근 방식은 자동화된 도구가 누적된 다단계 의사결정 파이프라인 내에 내재되어 있는 고위험 영역(예: 고용 분야)에서 심각한 사각지대를 만든다. 불평등은 단일한 알고리즘 오류가 아니라, 자동화된 프로세싱, 인간의 재량, 데이터 품질, 벤더의 불투명성, 그리고 다운스트림 결정 간의 상호작용으로부터 발생하기 때문이다. 더욱이, 기존의 규제 프레임워크(예: 뉴욕시 로컬 법안 144)와 학술적 관행은 배포된 시스템의 시간적 역동성이나 채용의 사회기술적 성격을 포착하지 못하는 시점 기반(point-in-time) 감사에 의존하는 경우가 많다.

본 논문은 격리된 모델 평가와 실제 배포된 채용 시스템 사이의 간극을 메우기 위해, 스페인의 공공 고용 기관인 바르셀로나 악티바(Barcelona Activa)가 운영하는 반자동 채용 파이프라인에 대해 독립적인 엔드 투 엔드(end-to-end) 공정성 감사를 수행한다.

방법론

본 연구는 약 497,000건의 후보자-공석 파이프라인 항목을 포함하는 5년간의 운영 데이터(2017년 9월 – 2022년 9월)를 적용한 사회기술적 감사 프레임워크를 활용한다. 이 감사는 단일 알고리즘 구성 요소가 아닌 전체 채용 라이프사이클을 다룬다.

시스템 아키텍처 및 범위

감사 대상 시스템은 7단계의 파이프라인으로 구성된다:

공석 접수: 고용주의 직무 요구사항 제출.
분석가 배정: 인간 분석가가 요구사항을 해석함.
키워드 선정: 분석가가 요구사항을 검색 필터와 키워드로 변환함 (이 단계에 대한 감사 추적은 존재하지 않음).
플랫폼 검색: 분석가가 제3자 플랫폼인 TalentClue를 쿼리함. 해당 플랫폼의 내부 매칭, 순위 지정 및 가중치 로직은 독점적이며 배포자와 감사가에게 불투명함.
필터링된 결과: 플랫폼은 프로필의 일부를 반환하며, 제외된 풀(pool)은 기록되지 않음.
최종 검토: 인간 분석가가 공식적인 프로토콜이나 근거 기록 없이 숏리스트(shortlist)를 작성함.
고용주 전달: 고용주가 최종 채용 결정을 내리며, 숏리스트 이후의 결과 데이터는 기관으로 반환되지 않음.

분석 접근 방식

방법론은 3단계 분석을 채택한다:

전처리 (대표성): 후보자 풀의 인구 통계적 구성을 바르셀로나의 활성 노동력(EPA 데이터 사용)과 비교하여 진입 단계에서의 구조적 배제를 식별한다.
프로세스 내부 (불균등 영향 및 계층화): 파이프라인 단계 간의 불균등 영향 비율(Disparate Impact Ratio, DIR)을 계산한다. DIR < 0.80을 부정적 영향의 기준으로 간주한다. 결정적으로, 본 분석은 집계된 지표를 넘어 계층적 조건 분석(섹터, 급여 구간, 계약 유형, 교육 수준, 연령별) 및 교차 분석(예: 연령 × 성별)을 수행한다. 통계적 유의성은 카이제곱 검정 또는 피셔의 정확 검정을 통해 테스트된다.
후처리 (시간적 일관성): 숏리스트 선정 비율을 연도별(2017~2022)로 분석하여 시간 경과에 따른 공정성 속성의 정체성(stationarity)을 평가한다.

주요 기여

본 논문은 알고리즘 감사 분야에 네 가지 주요 기여를 한다:

엔드 투 엔드 운영 감사: 종단적 운영 데이터를 사용하여 반자동 채용 시스템에 대한 최초의 독립적 공정성 감사를 제공함으로써, 평가 범위를 자동화된 구성 요소를 넘어 전체 채용 파이프라인으로 확장한다.
가려진 불평등의 증거 제시: 집계된 성별 균등이 특정 파이프라인 단계, 인구 통계적 교차점, 급여 수준 및 섹터에서의 상당하고 통계적으로 유의미한 불평등과 공존할 수 있음을 입증한다.
벤더-배포자 간 정보 비대칭성: 제3자 플랫폼의 매칭 로직 및 평가 데이터에 대한 접근성 부족이 배포 조직의 시스템 거버넌스 능력을 어떻게 제한하는지 기록하며, 이러한 불투명성을 핵심 감사 결과로 식별한다.
지속적 평가를 위한 근거 제시: 모델 재학습 없이도 공정성 결과가 시간에 따라 변화할 수 있음을 경험적으로 보여줌으로써, 시점 기반 평가의 불충분함을 주장한다.

주요 결과

1. 집계된 균등성이 구조적 불평등을 은폐함

집계된 결과는 공평해 보인다: 여성은 등록된 후보자의 51.5%, 채용된 후보자의 49.8%를 차지하며, 이 차이는 통계적으로 유의미하지 않다. 모델 출력물에 국한된 감사를 수행한다면 이 수치만으로 시스템이 공정하다고 결론 내릴 것이다. 그러나 세분화된 분석은 심각한 불평등을 드러낸다.

2. 파이프라인별 불평등

급여 수준: 여성은 중급 급여 구간(€15,000–€24,000)의 숏리스트 선정에서 DIR 0.786( $p < 0.001$ )을 기록하며 부정적 영향을 받는다. 저임금 역할에서는 균등함이 나타나지만, 경제적 이해관계가 높아질수록 격차가 벌어진다.
섹터별 격리: 여성이 매칭된 후보자 풀에 존재하더라도 남성 중심 섹터(예: 부동산, 엔지니어링)의 숏리스트에서는 과소 대표된다. 반대로 의료와 같은 섹터에서는 과대표된다.
계약 유형: 풀타임 역할의 경우 여성에게 부정적 영향이 나타나지만(DIR = 0.758, $p < 0.001$ ), 파트타임 역할에서는 불균등이 나타나지 않는다.
급여 격차: 동일한 섹터 내에서도 여성은 남성보다 평균 최저 급여가 €1,147 낮은 직무에 매칭된다 ( $p < 0.001$ ). 이 격차는 20개 섹터 중 15개에서 지속된다.

3. 교차적 및 인구 통계적 배제

연령 및 성별: 고령 여성(46–55세)은 DIR 0.77의 복합적인 불이익을 겪는다.
고령층의 구조적 부재: 55세 이상의 후보자는 바르셀로나 활성 노동력의 15.6%를 차지함에도 불구하고 파이프라인에서 전혀 나타나지 않는다.
논바이너리(Non-Binary) 후보자: 논바이너리 후보자의 숏리스트 선정율은 남성의 11.89%와 비교하여 3.51%에 불과하다 (DIR = 0.295, $p < 0.001$ ). 감사 기간 동안 고용주에게 전달된 논바이너리 후보자는 0명이었다. 참고: 이 결과는 작은 표본 크기(N=285)로 인해 지표로서 주의가 필요하다.
교육의 역설: 고등 교육 이수자는 고등학교 졸업자보다 숏리스트 선정률이 40~42% 낮다. 고등 교육 카테고리가 여성 편향적이기 때문에, 이 메커니즘은 여성에게 불균형적인 영향을 미친다.
출신 국가: 스페인 출신 후보자는 EU(DIR = 0.565) 및 비EU(DIR = 0.631) 후보자보다 훨씬 높은 비율로 숏리스트에 선정된다.

4. 시간적 역동성

숏리스트 선정 과정의 성별 격차는 2017년 6.5%포인트에서 2022년 1.3%포인트로 좁혀졌다. 그러나 이러한 수렴은 양측 모두의 전반적인 숏리스트 선정률 하락(약 18%에서 9%로)과 동시에 발생했다. 이는 변화가 실질적인 공정성 개선보다는 경쟁 심화에 의해 주도되었을 가능성을 시사한다. 이는 공정성 속성이 비정체적(non-stationary)임을 강조한다.

의의 및 주장

본 논문은 모델 수준의 평가만으로는 배포된 시스템의 공정성을 이해하기에 불충분하다고 주장한다. 핵심적인 경험적 주장은 집계된 공정성 지표와 파이프라인별 불평등 사이의 간극이 AI 보조 의사결정 시스템에서 예외가 아닌 규칙일 가능성이 높다는 것이다.

저자는 다음과 같이 주장한다:

사회기술적 맥락이 필수적이다: 공정성 결과는 자동화된 프로세싱, 인간의 재량, 데이터 관행, 그리고 조직적 절차의 상호작용에 의해 형성된다.
불투명성이 장벽이 된다: 배포자(Barcelona Activa)가 벤더(TalentClue)의 내부 로직에 접근할 수 없다는 사실은 시스템 거버넌스와 독립적인 검증을 방해한다.
지속적인 모니터링이 필요하다: 노동 시장, 분석가의 관행, 플랫폼 업데이트 등으로 인해 시스템 동작이 변화하므로, 정기적인 감사는 필요하지만 충분하지 않다. 새로운 불평등을 실시간으로 탐지하기 위한 지속적인 평가 계층이 필요하다.

본 연구는 효과적인 책무성을 위해서는 평가 범위를 모델 출력을 넘어 광범위한 사회기술적 파이프라인으로 확장해야 하며, 배포자가 제3자 시스템에 대한 필요한 정보에 접근할 수 있도록 보장하고, 지속적인 모니터링 메커니즘을 구축해야 한다고 결론짓는다. 이 작업은 EU AI 법과 같은 신흥 규제 맥맥락에서 알고리즘 공정성에 대한 사회기술적 및 엔드 투 엔드 접근 방식으로의 전환에 대한 경험적 근거를 제공한다.