Designing for Ethical AI: HCI Feature Considerations to Improve Fairness and User Experience in AutoML use for Human Resources

당신이 식당의 모든 사람을 위해 완벽한 샌드위치를 만드는 로봇 요리사를 막 만들었다고 상상해 보세요. 당신은 로봇에게 "모두가 맛있는 식사를 할 수 있게 해줘!"라고 말합니다. 하지만 여기 함정이 있습니다. 이 로봇은 50년 전, 아주 특정한 집단의 사람들만을 위해 샌드위치를 만들었던 요리사의 영상을 보고 요리를 배웠습니다. 만약 당신이 로봇에게 전체적인 그림을 보도록 가르치지 않는다면, 로봇은 그 옛날 요리사가 좋아했던 고객들과 다르게 생긴 사람들에게는 실수로 딱딱한 빵을 내놓기 시작할 수도 있습니다. 이것이 바로 채용 분야에서의 인공지능(AI) 세계입니다. 기업들은 시간을 절약하고 공정해지기를 바라며 이러한 "로봇"(AutoML 도구라고 불림)을 사용하여 수천 개의 이력서를 스캔합니다. 하지만 우리의 로봇 요리사처럼, 만약 학습한 데이터가 오래되었거나 편향되어 있다면, 로봇은 아무도 눈치채지 못하는 사이에 계속해서 불공정한 선택을 할 수도 있습니다.

이 논문이 던지는 핵심 질문은 이것입니다: 컴퓨터 전문가가 아닌 일반 사람들도 로봇이 불공정하게 행동하고 있는지 실제로 확인하고 이를 수정할 수 있도록, 로봇의 제어판을 어떻게 설계해야 하는가? 이 논문은 AutoML(이런 로봇들을 자동으로 만들어주는 '스마트한 조수'와 같은 것)을 살펴보고, 이 도구가 제공하는 버튼과 화면이 인간 사용자가 편향을 포착하기에 충분히 좋은지 확인합니다. 이 논문은 사람들이 기계와 소통하는 방식을 연구하는 **인간-컴퓨터 상호작용(HCI)**과, 어떤 집단이 그들이 누구인지와 상관없이 차별받지 않도록 보장한다는 의미의 공정성(Fairness) 개념을 사용합니다. 이 논문이 이 문제를 중요하게 다루는 이유는, 기업들이 이러한 도구를 채용에 사용했을 때 만약 도구가 몰래 편향되어 있다면, 사람들의 삶을 망칠 수 있고 기업을 큰 법적 문제에 휘말리게 할 수 있기 때문입니다.

---

로봇의 제어판: 탐정 이야기

그렇다면 저자인 순다라푸리난 나라야난(Sundaraparipurnan Narayanan)은 실제로 무엇을 했을까요? 8가지의 서로 다른 "로봇 제작 키트"(이것들은 AutoML 도구들입니다)로 가득 찬 거대한 장난감 가게를 상상해 보세요. 어떤 키트는 화려한 화면과 알록달록한 버튼(GUI 기반 도구)을 갖추고 있는 반면, 어떤 것들은 직접 만들어야 하는 코드 덩어리(코드 기반 라이브러리)일 뿐입니다. 저자는 이 8가지 키트를 대상으로 "편향 찾기" 게임을 하기로 했습니다.

먼저, 저자는 테스트 주방을 설정했습니다. 그들은 나이, 성별, 거주지 등 구직자의 상세 정보가 담긴 실제 채용 데이터를 가져와 8개의 로봇 제작기에 입력했습니다. 목표는 로봇들이 과거의 편견이 데이터에 박혀 있다는 이유만으로 여성이나 노인과 같은 특정 집단을 실수로 차별하기 시작하는지 확인하는 것이었습니다.

그다음, 저자는 탐정 모자를 쓰고 이 로봇들의 제어판을 살펴보았습니다. 저자는 다음과 같이 물었습니다: "내가 수학 천재가 아닌 평범한 인사 담당자라면, 이 로치이 특정 집단에게 불친절하게 구는지 쉽게 알 수 있을까? 만약 그렇다면 내가 그것을 고칠 수 있을까?"

탐정이 발견한 것들

조사 결과, 놀랍고도 다소 무서운 사실들이 드러났습니다.

1. "블랙박스" 문제
대부분의 로봇 제작기는 블랙박스와 같습니다. 이력서를 넣으면 "채용" 또는 "불합격" 도장이 찍혀 나옵니다. 하지만 당신이 그 상자에게 왜 그런 선택을 했는지 묻는다면, 상자는 대개 어깨만 으쓱할 뿐입니다. 논문은 많은 도구가 기본적으로 "공정하다"고 행동하지만, 실제로 증거를 보여주지는 않는다는 점을 발견했습니다. 이는 마치 선생님이 정답을 보여주지 않은 채 시험 점수만 알려주는 것과 같습니다. 만약 로봇이 편향되어 있다면, 사용자 스스로가 숨겨진 패턴을 찾아내는 전문가가 되어 있지 않는 한, 인간 사용자는 이를 알 방법이 거의 없습니다.

2. 누락된 "공정성 대시보드"
저자는 화려한 도구들(DataRobot이나 Dataiku 같은 것들)이 로봇이 불공정하게 행동하는지 보여주는 작은 대시보드를 추가하기 시작했지만, 나머지 대부분은 여전히 암흑기에 머물러 있다는 것을 발견했습니다. "이봐요! 이 로봇은 X 도시 출신 지원자의 90%를 탈락시키고 있어요!"라고 말해주는 크고 알록달록한 차트가 없습니다. 대신, 이 숫자들은 프로그래머만이 읽을 수 있는 복잡한 코드나 아주 작은 텍스트 속에 숨겨져 있습니다. 일반 비즈니스맨에게 이것은 속도계가 테이프로 가려진 자동차를 운전하는 것과 같습니다. 당신은 과속하고 있을지 모르지만, 전혀 알 수 없습니다.

3. "인간 참여(Human-in-the-Loop)"의 간극
이 논문은 "인간 참여(Human-in-the-Loop, HITL)"가 필요하다고 제안합니다. 로봇이 이렇게 말하는 상황을 상상해 보세요. "제 생각에는 이 사람이 적합해 보이지만, 데이터가 이상해서 80% 정도만 확신합니다. 다시 한번 확인하시겠습니까?" 연구 결과, 대부분의 AutoML 도구는 이를 잘 수행하지 못했습니다. 그들은 종arian히 잘못된 결정을 내릴 때 이를 덮어쓸 수 있는 도구를 주지 않고, 그냥 "실행" 버튼을 누르게 합니다. 이는 아이에게 핵 반응로의 리모컨을 주면서, 상황이 잘못될 경우 어떻게 멈춰야 하는지는 가르쳐주지 않는 것과 같습니다.

4. 트레이드오프(Trade-Off)의 미스터리
여기 이 논문이 강조하는 까다로운 부분이 있습니다. 때로는 로봇을 완벽하게 공정하게 만드는 것이 직원을 잘 뽑는 예측 정확도를 약간 떨어뜨릴 수도 있다는 것입니다. 논문은 매우 적은 수의 도구만이 이 트레이드오프를 명확하게 보여준다는 점을 발견했습니다. 그들은 "로봇을 10% 더 공정하게 만들면, 실수가 2% 더 늘어납니다"라고 말해주는 슬라이더를 가지고 있지 않습니다. 이러한 균형을 볼 수 없다면, 기업들은 제어판이 옵션을 보여주지 않기 때문에 로봇을 너무 엄격하게 만들거나(좋은 인재를 놓침), 너무 느슨하게 만들어서(잘못된 사람을 채용함) 문제가 생길 수 있습니다.

결론: 공정성은 부가 기능이 아니라 필수 기능이다

이 연구의 핵심 결론은 공정성이 자동차에 스티커를 붙이는 것처럼 마지막에 추가하는 선택 사항이 되어서는 안 된다는 것입니다. 공정성은 처음부터 로봇의 설계 단계에 포함되어야 합니다.

논문은 기업들이 이러한 AI 도구를 신뢰하게 하려면, 도구가 컴퓨터가 아닌 인간을 위해 설계되어야 한다고 주장합니다. 이는 다음을 의미합니다:

• 명확한 경고: 로봇이 편향된 결정을 내리려고 한다면, 코드 로그에 속삭이는 것이 아니라 커다란 빨간 불빛과 함께 "멈춰!"라고 소리쳐야 합니다.
• 쉬운 수정: 인간은 "나는 이 집단이 대우받는 방식이 마음에 들지 않아"라고 말할 수 있어야 하며, 로봇의 행동을 조정할 수 있는 간단한 버튼을 가져야 합니다.
• 시각적 증거: 숫자로 된 스프레드시트를 보여주는 대신, 교통 신호 체계(초록색 = 좋음, 빨간색 = 위험)처럼 누구나 이해할 수 있는 그림이나 그래프를 보여주어야 합니다.

논문은 만약 AutoML 기업들이 이러한 제어판을 고치지 않는다면, 그들은 단순히 비윤리적인 것이 아니라 사업을 못 하고 있는 것이라고 지적합니다. 기업들은 신뢰할 수 없는 도구를 사지 않을 것이며, 차별으로 소송을 당할 수도 있는 도구는 결코 사지 않을 것이기 때문입니다.

이 논문이 말하지 않는 것 (그리고 배제하는 것)

이 논문이 주장하지 않는 내용을 아는 것도 중요합니다. 이 논문은 AI가 악하다거나 사용을 중단해야 한다고 말하는 것이 아닙니다. 또한 특정 도구가 "승자"이고 다른 것들이 "패자"라고 말하는 것도 아닙니다. 대신, 가장 좋은 도구들조차도 일반 사람들이 공정성을 이해하도록 돕는 데 있어 격차가 있음을 시사합니다.

이 논문은 "자동화는 항상 공정하다"라는 생각을 명시적으로 배제합니다. 자동화가 업무를 수행한다고 해서 그것이 반드시 공정하다는 뜻은 아니며, 오히려 인간의 감독이 없다면 과거의 실수로부터 배우기 때문에 더 불공정해질 수 있음을 보여줍니다.

이 연구 결과는 기존 도구들에 대한 **시뮬레이션과 감사(audit)**를 바탕으로 한 것이지, 마법 같은 새로운 발명을 발표하는 것이 아닙니다. 저자는 특정 데이터셋에서 이 도구들이 어떻게 작동하는지 측정하고 그 인터페이스를 점검했습니다. 따라서 이 논문은 현재의 도구들이 부족하다는 점을 강력히 시사하지만, 이는 문제가 이미 해결되었다는 선언이 아니라 더 나은 도구를 만들라는 촉구입니다.

최종 판결

결국, 이 논문은 채용의 미래를 만드는 사람들에게 보내는 친절한 조언입니다. "이보세요, 여러분은 이력서를 엄청나게 빨리 읽는 놀라운 로봇들을 만들었습니다. 하지만 만약 여러분이 인간 운영자에게 로봇이 어떻게 생각하는지에 대한 투명한 창을 제공하지 않고, 로봇이 궤도를 벗어났을 때 멈출 수 있는 방법을 주지 않는다면, 문제가 생길 것입니다"라고 말하고 있습니다.

해결책은 로봇 제작을 멈추는 것이 아니라, 더 나은 제어판을 만드는 것입니다. 공정성을 눈에 보이게 하고, 이해할 수 있게 하며, 통제할 수 있게 만듦으로써, 우리는 이 강력한 도구들을 우리가 저지른 과거의 실수를 우연히 반복하는 로봇이 아니라, 더 공정한 세상을 만드는 데 도움을 주는 파트너로 바꿀 수 있습니다. 그것은 로봇 요리사가 단지 예전 영상에서 본 사람들만을 위한 샌드위치가 아니라, 모두를 위한 샌드위치를 만드는 법을 알게 하는 것과 같습니다.