Fairness-in-the-Workflow: How Machine Learning Practitioners at Big Tech Companies Approach Fairness in Recommender Systems

이 논문은 빅테크 기업에서 추천 시스템의 공정성을 실무에 적용하는 과정에서 마주치는 기술적, 조직적 어려움과 팀 간 협업의 과제를 인터뷰를 통해 분석하고, 이를 해결하기 위한 실행 가능한 제언을 제시합니다.

핵심

이 논문은 **"빅테크 기업 (구글, 아마존, 메타 등) 의 추천 시스템 개발자들이 실제로 어떻게 '공정성'을 고민하고 있는지"**를 11 명의 전문가를 인터뷰하여 조사한 연구입니다.

학계에서는 "공정한 알고리즘"을 만드는 이론이 많이 나와 있지만, 실제 회사에서 일하는 개발자들은 이 이론을 어떻게 적용해야 할지 막막해합니다. 이 논문은 그 현장의 이야기를 담고 있습니다.

이 복잡한 내용을 누구나 쉽게 이해할 수 있도록 **요리사 (개발자)**와 **레스토랑 (추천 시스템)**의 비유로 설명해 드리겠습니다.

---

🍽️ 비유: 거대한 레스토랑의 요리사들

빅테크 기업의 추천 시스템은 수백만 명의 손님이 방문하는 거대한 레스토랑입니다.

• 요리사 (개발자): 메뉴를 추천하고, 어떤 요리를 테이블에 올릴지 결정합니다.
• 손님 (사용자): 메뉴를 보고 주문합니다.
• 재료 공급업체 (콘텐츠 제작자/판매자): 요리를 만들어 공급합니다.
• 식중독 검사관 (공정성 팀/법무팀): 메뉴가 공정한지, 위생 규정을 지키는지 확인합니다.

이 논문은 이 요리사들이 **"공정한 레스토랑"**을 만들기 위해 겪는 고충과 해결책을 4 가지 핵심 포인트로 정리합니다.

---

1. "공정"이란 정확히 무엇인가? (정의의 혼란)

요리사들은 "공정하게"라는 말을 들으면 당황합니다.

• 법적 공정성: "인종 차별은 안 돼요" (법으로 정해진 것) → 이건 명확합니다.
• 실제 공정성: "누구의 요리를 더 많이 보여줘야 할까?" (법으로 정해진 게 없는 것) → 여기가 문제입니다.

예시:

• 손님 중심: 모든 손님이 자신이 좋아하는 메뉴를 정확히 맞춰서 받아야 할까?
• 공급업체 중심: 작은 식당 (신규 콘텐츠) 도 기회를 받아야 할까?
• 갈등: 작은 식당을 많이 보여주면, 손님이 "내가 원하던 메뉴가 안 나오네?"라고 실망할 수 있습니다. 반대로 인기 있는 식당만 보여주면, 작은 식당은 망하고 "부익부 빈익빈"이 됩니다.

현실: 요리사들은 학계의 복잡한 이론서보다는 **자신의 직감 (Intuition)**과 경험에 의존해 "어떤 게 공정할지"를 매번 새로 정의해야 합니다.

2. 너무 많은 사람, 너무 많은 요구 (다양한 이해관계자)

이 레스토랑은 단순히 '손님'만 있는 게 아닙니다.

• 손님 (사용자): 맛있는 걸 원함.
• 공급업체 (크리에이터): 내 요리를 많이 보여달라고 함.
• 광고주: 내 광고를 보여달라고 함.

문제: 이 모든 사람의 요구를 동시에 만족시키기는 불가능합니다.

• "A 그룹에게는 B 요리를, C 그룹에게는 D 요리를" 보여줘야 하는데, 그룹이 수천 개나 됩니다.
• 요리사들은 "누구를 먼저 챙겨야 하지?"라는 고민에 빠집니다. 학계에서는 "모두에게 똑같이"라고 하지만, 현실에서는 "누구를 희생할지" 선택해야 하는 고통스러운 결정이 필요합니다.

3. 요리가 팔린 후의 문제 (동적인 환경과 피드백 루프)

일반적인 요리 연구는 "요리 전"에 맛을 봅니다. 하지만 추천 시스템은 **요리가 팔린 후 (실제 서비스 중)**에 문제가 생깁니다.

• 피드백 루프: 손님이 "이 요리 싫어"라고 하면 (스킵), 시스템은 "아, 이 요리 안 팔리네"라고 생각해서 더 안 보여줍니다. 그러면 그 요리는 더 안 팔리고, 결국 사라집니다.
• 현실: 요리사들은 "이게 공정하지 않아"라고 생각해도, 이미 팔린 요리를 다시 바꾸기엔 너무 늦었습니다.
• 위험: 새로운 공정한 규칙을 적용했다가, 갑자기 손님이 "맛없다"며 떠날까 봐 두려워합니다. "성적 하락"이 재앙이 될 수 있기 때문입니다.

4. 팀 간의 소통 장벽 (시간 부족과 언어 차이)

요리사들이 가장 힘들어하는 것은 다른 팀과의 소통입니다.

• 법무팀 (Legal Team): "이 재료는 안 돼요 (법 위반)." → 명확합니다. "안 돼"라고 하면 바로 멈춥니다.
• 공정성 팀 (Fairness Team): "이 요리는 사회적 편견을 강화할 수 있어요." → 모호합니다. "어떻게 고쳐야 하지?"라는 질문만 돌아옵니다.
• 시간 문제: 요리사들은 "요리 (모델 개발)"하느라 바쁩니다. "공정성 검토"는 여유가 있을 때만 하거나, 아예 뒤로 미룹니다. "불이 났을 때 (중대 사고) 가 아니면 공정성 문제는 2 순위입니다."

결국: 요리사들은 공정성 팀이 "무엇이 문제인지"는 알려주지만, "어떻게 고칠지"에 대한 구체적인 레시피를 주지 않아서 혼란을 겪습니다.

---

💡 이 논문이 제안하는 해결책 (요리사들을 위한 팁)

연구자들은 이 문제를 해결하기 위해 다음과 같은 조언을 합니다.

1. 레시피 장부 (문서화) 를 잘 쓰세요:

   • "어떤 기준으로 공정을 판단했는지"를 기록해야 합니다. 요리사가 바뀌어도 그 기준이 유지되어야 합니다. 지금은 기록이 없어서 매번 처음부터 다시 고민합니다.

2. 초기에 함께 요리하세요 (조기 참여):

   • 공정성 팀은 요리가 완성된 후 (서비스 시작 후) 에 와서 "이건 문제야"라고 지적합니다.
   • 해결: 요리 시작 단계 (기획 단계) 에서 공정성 팀이 함께 참여해서 문제를 미리 잡아야 합니다.

3. 공통 언어 (Fairness Lingua Franca) 를 만드세요:

   • 심리학자, 변호사, 개발자가 서로 다른 말을 씁니다. "공정성"이라는 단어를 everyone 이 같은 뜻으로 이해할 수 있도록 표준화된 가이드가 필요합니다.

4. 시간을 투자하세요:

   • 회사는 "공정성 작업"을 위한 시간을 공식적으로 보장해야 합니다. 요리사들이 "내일 할게"라고 미루지 않도록, 공정성 작업을 업무의 일부로 인정해야 합니다.

---

🎯 한 줄 요약

"추천 시스템을 만드는 개발자들은 '공정성'이 중요하다고 생각하지만, 복잡한 현실 (누구를 우선시할지, 언제 고칠지, 어떻게 말로 전달할지) 때문에 막막해합니다. 학계의 이론을 현실에 적용하려면, 회사 차원에서 시간과 문서, 그리고 팀 간의 소통 방식을 바꿔야 합니다."

이 연구는 이론적인 '공정성'이 실제 '현장'에서 어떻게 작동하는지, 그리고 그 과정에서 어떤 어려움이 있는지 생생하게 보여줍니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 추천 시스템의 사회적 영향: 추천 시스템은 전자상거래, 소셜 미디어 등 고위험 (high-stakes) 분야에서 널리 deployed 되며, 편향된 알고리즘은 대규모 사회적, 심리적, 이데올로기적 영향을 미칠 수 있습니다 (예: 아마존의 자체 제품 선호, X 의 정치적 콘텐츠 증폭).
• 이론과 실무의 괴리: 학계에서는 편향을 측정하고 완화하는 다양한 방법론이 제안되었으나, 이를 실제 산업 환경에 적용하는 것은 매우 어렵습니다.
• 추천 시스템의 고유한 복잡성:
  • 다중 이해관계자 (Multi-stakeholder): 공급자 (판매자, 크리에이터) 와 사용자 (구매자, 콘텐츠 소비자) 간의 상충되는 이익을 동시에 고려해야 합니다.
  • 동적 환경 (Dynamic Environment): 사용자 피드백 루프 (feedback loops) 로 인해 시스템이 지속적으로 변화하며, 사전 배포 (pre-deployment) 단계에서의 테스트만으로는 실제 편향을 파악하기 어렵습니다.
  • 공정성의 정의 모호성: 법적 규정이 명확하지 않은 영역에서 어떤 공정성 지표를 사용할지, 그리고 어떤 이해관계자를 우선시할지 결정하기 어렵습니다.

2. 연구 방법론 (Methodology)

• 연구 설계: 2022 년 3 주 동안 진행된 반구조화된 심층 인터뷰 (Semi-structured interviews).
• 참여자: 7 개 빅테크 기업에서 추천 시스템을 구축 중인 머신러닝 엔지니어, 연구자, 과학자 등 **11 명 (N=11)**의 기술 실무자. (평균 경력 5.36 년, 연간 10 억 명 이상의 사용자를 서비스하는 기업 소속).
• 연구 질문 (RQ):
  1. RS 실무자의 기술 및 공정성 업무 흐름 (Workflow) 은 어떻게 구성되며, 어떻게 교차하는가?
  2. 실무자가 공정성을 기술 워크플로우에 통합할 때 직면하는 주요 도전 과제는 무엇인가?
• 분석: 인터뷰 내용을 바탕으로 워크플로우 매핑 및 귀납적 주제 분석 (Inductive thematic analysis) 을 수행하여 기술적, 조직적 도전 과제를 도출했습니다.

3. 주요 기여 (Key Contributions)

1. RS 실무자 워크플로우 매핑: 기술 팀 내부의 공정성 접근 방식과 법무 (Legal), 데이터 (Data), 공정성 (Fairness/Responsible AI) 팀과의 협업 과정을 시각화하고 단계별로 설명했습니다.
2. 도전 과제 개요: RS 워크플로우에 공정성을 통합하는 데 방해가 되는 핵심적인 기술적 및 조직적 장벽을 체계화했습니다.
3. 실행 가능한 제언: 빅테크 기업, 실무자, HCI 연구자를 대상으로 공정성 통합을 개선하기 위한 구체적인 행동 지침을 제시했습니다.

4. 연구 결과 (Results)

4.1 RS 실무자 워크플로우 (The RS Practitioner Workflow)

연구자들은 오프라인 개발 단계와 온라인 개발 단계를 거치며, 공정성 작업이 **프로토타이핑 (Prototyping), 내부 (Internal), 협업 (Collaborative)**의 3 단계로 이루어짐을 발견했습니다.

• 프로토타이핑 단계: 데이터 수집 및 처리 시 법무팀의 규제 검토를 받으며, 실무자는 직관 (Intuition) 에 기반한 공정성 가설을 세우고 맞춤형 지표를 개발합니다.
• 내부 단계: 모델 검증 시 개발된 지표를 검증하고, 예상치 못한 편향을 수동으로 탐색합니다. (사용자 행동 모델의 부재로 인한 어려움 존재)
• 협업 단계: 모델 배포 후, 공정성 팀의 피드백을 받고 실제 사용자 데이터를 기반으로 반복적인 테스트와 수정을 수행합니다.

4.2 기술적 도전 과제 (Technical Challenges)

1. 공정성 정의의 어려움: 법적 규정이 명확한 경우 (예: 고용 차별) 와 그렇지 않은 경우 (예: 콘텐츠 노출) 에 따라 공정성 정의와 적용 방법이 달라집니다. 실무자는 학술적 지표를 직접 적용하기 어려워 자체적으로 지표를 개발합니다.
2. 다중 이해관계자 및 그룹 관리:
   • 공급자와 사용자 간의 상충되는 이익을 어떻게 저울질할지 결정하기 어렵습니다.
   • 수천 개의 사용자 그룹과 교차적 (intersectional) 그룹에 대한 공정성을 동시에 보장하는 것은 기술적으로 매우 어렵고, 기존 지표들이 이를 처리하지 못합니다.
3. 동적 환경과 피드백 루프: 오프라인 테스트만으로는 실제 배포 후 발생할 수 있는 편향을 예측하기 어렵습니다. 사용자 피드백 루프로 인해 편향이 증폭될 수 있으며, 이를 사후에 발견하고 수정하는 과정이 매우 반복적이고 수동적입니다.

4.3 조직적 도전 과제 (Organizational Challenges)

1. 시간 부족: 실무자들은 공정성 작업에 할애할 시간이 부족합니다 (전체 업무의 10% 미만). 공정성 이슈는 시스템 다운 (uptime) 과 같은 즉각적인 위기보다 우선순위가 낮게 처리됩니다.
2. 공정성 공통어 (Fairness Lingua Franca) 부재:
   • 법무팀 vs 공정성 팀: 실무자들은 법무팀과는 명확한 가이드라인과 소통이 원활하지만, 공정성 팀과는 소통의 어려움이 있었습니다.
   • 용어 장벽: 심리학, 커뮤니케이션 등 다양한 배경을 가진 공정성 팀의 용어를 기술 팀이 이해하기 어렵고, 구체적인 실행 가능한 피드백을 받지 못하는 경우가 많습니다.
   • 참여 시점: 공정성 팀이 모델 배포 (온라인) 단계에 늦게 참여하여, 기술적 맥락을 놓치거나 구식 설계에 기반한 피드백을 제공하는 문제가 발생합니다.

5. 의의 및 제언 (Significance & Recommendations)

이 연구는 학계와 산업계 간의 간극을 해소하고, 실제 추천 시스템의 공정성을 높이기 위해 다음과 같은 방향을 제시합니다.

• 제도적 지식 구축 (Documentation):
  • 기업과 실무자는 공정성 지표와 이전 프로젝트의 경험을 체계적으로 문서화하여 조직 내 지식으로 축적해야 합니다.
  • HCI 연구자는 확장 가능하고 적응적인 문서화 프레임워크 (Datasheets, Model Cards 등) 를 개발해야 합니다.
• 다중 이해관계자 공정성 투자:
  • 기업은 다중 목표 최적화 (Multi-objective optimization) 및 대그룹/교차적 그룹을 위한 기술적 연구에 투자해야 합니다.
  • HCI 연구자는 가치 민감 설계 (Value-Sensitive Design, VSD) 를 통해 이해관계자 간 트레이드오프를 위한 의사결정 가이드라인을 개발해야 합니다.
• 워크플로우 초기 통합:
  • 공정성 팀이 프로토타이핑 단계부터 프로젝트에 참여하여 기술적 맥락을 공유하고, 사전에 편향을 예방해야 합니다.
  • HCI 연구자는 윤리적 민감성 (Ethical Sensitivity) 을 자극하는 도구와 워크플로우 통합 방법을 연구해야 합니다.
• 공정성 공통어 개발:
  • 기술 팀과 공정성 팀 간의 정기적인 미팅과 용어 공유를 통해 소통 장벽을 낮춰야 합니다.
  • 기업은 실무자가 학술 연구를 검토할 시간을 보장하고, HCI 연구자는 두 팀 간의 '번역자 (Bridging)' 역할을 지원하는 전략을 연구해야 합니다.

결론적으로, 이 논문은 추천 시스템의 공정성이 단순히 기술적 지표의 문제가 아니라, 조직적 구조, 이해관계자 간의 역학, 그리고 동적인 사용자 환경과 밀접하게 연관된 복합적 문제임을 보여줍니다. 이를 해결하기 위해서는 기술적 혁신뿐만 아니라 조직 문화의 변화와 학제간 (HCI, ML, 정책 등) 협력이 필수적입니다.