The role of team diversity in AI systems development

이 논문은 브라질과 포르투갈의 대규모 소프트웨어 기업에서 AI 개발 팀의 다양성이 편향 식별, 공감적 접근, 체계적 차별 해소 등 여섯 가지 핵심 역할을 수행하여 AI 시스템의 공정성을 높이는 데 결정적임을 25 건의 인터뷰를 통해 규명했습니다.

핵심

🍳 비유: "다양한 요리사들이 모여 만든 메뉴"

상상해 보세요. 전 세계에 유명한 레스토랑이 하나 있습니다. 이 레스토랑은 AI(인공지능) 라는 요리를 만들어 고객들에게 제공합니다. 그런데 문제는, 이 요리를 만드는 요리사 팀이 모두 같은 배경, 같은 취향, 같은 경험을 가진 사람들로만 구성되어 있다는 점입니다.

이 팀이 만든 요리는 어떨까요?

• 편향된 메뉴: "저는 매운 걸 못 먹어요"라고 말한 손님이 있는데, 요리사들이 모두 매운 걸 좋아해서 모든 요리에 고추를 잔뜩 넣었습니다.
• 무시된 손님: "저는 채식을 해요"라고 한 손님이 있는데, 요리사들이 모두 고기만 좋아해서 채식 메뉴를 아예 만들지 않았습니다.
• 결과: 이 레스토랑은 특정 손님들만 만족시키고, 다른 손님들은 배가 고프거나 화가 나게 됩니다. 이것이 바로 **AI 의 편향 (Bias)**입니다.

이 논문은 이 문제를 해결하기 위해 요리사 팀을 어떻게 구성해야 하는지 연구했습니다.

---

🔍 연구의 핵심 발견: "다양한 팀이 가진 6 가지 슈퍼 파워"

연구진은 브라질과 포르투갈에 있는 큰 소프트웨어 회사의 AI 팀 4 개를 인터뷰했습니다. 그리고 다양한 배경을 가진 팀원들이 AI 개발에 어떤 도움을 주는지 6 가지로 정리했습니다.

1. 👀 "눈이 다른 팀원들이 실수를 미리 찾아냅니다" (편향 식별)

만약 팀원들이 모두 같은 눈으로만 세상을 본다면, 보이지 않는 실수를 놓칩니다. 하지만 팀에 청각 장애인, 다양한 인종, 성소수자 등이 있다면 어떨까요?

• 비유: 청각 장애인이 있는 팀은 "이 요리에 소리가 나야 하나?"라는 질문을 던집니다. AI 개발에서도 "이 시스템이 장애인에게 불편하지 않을까?"라고 먼저 발견하게 되어, 출시 전부터 문제를 고칠 수 있습니다.

2. ❤️ "상대방의 아픔을 이해하는 '공감' 능력" (공감)

기술만 잘하는 요리사는 "이 요리는 맛있으니까 OK"라고 생각할 수 있습니다. 하지만 다양한 경험을 가진 팀원들은 **"이 요리를 먹으면 어떤 사람이 상처받을지"**를 상상합니다.

• 비유: "이 요리를 먹으면 과거에 트라우마가 있는 분이 슬퍼할 수도 있겠네"라고 생각하게 되어, 더 배려심 깊은 요리를 만듭니다.

3. 🚫 "보이지 않는 차별을 막아줍니다" (시스템적 차별 대응)

우리는 의도치 않게 사회의 편견을 따라갈 때가 많습니다. 하지만 팀에 소수자가 있다면, "잠깐, 이 방식은 특정 인종을 차별하는 건 아닌지?"라고 질문합니다.

• 비유: "이 메뉴판에 특정 인종만 나오는 사진이 왜 있죠?"라고 지적하며, 시스템이 역사적인 차별을 반복하지 않도록 막아줍니다.

4. 🤝 "모두의 목소리를 듣는 결정" (포용적 의사결정)

결정을 내릴 때, 한 두 사람의 의견만 반영되면 불공정해집니다. 다양한 팀은 **"누구의 필요를 충족시키는가?"**를 끊임없이 논의합니다.

• 비유: "이 요리는 어린이도 먹을 수 있게 매운맛을 조절해야겠다"라고 함께 결정하여, 더 많은 사람이 즐길 수 있는 요리를 만듭니다.

5. 🧩 "복잡한 문제를 해결하는 다양한 지혜" (복잡한 편향 해결)

AI 의 편향 문제는 기술적 문제만은 아닙니다. 사회적, 문화적 문제가 섞여 있습니다. 다양한 전문성을 가진 팀원들이 모이면, 이 복잡한 퍼즐을 더 잘 맞출 수 있습니다.

• 비유: 요리사, 영양사, 심리학자가 함께 모여 "이 요리는 건강에도 좋고, 마음에도 편안해야 해"라고 해결책을 찾습니다.

6. 🛡️ "팀 전체가 편견을 막는 방패가 됩니다" (편향에 대한 안전장치)

편향은 한 사람만 체크한다고 해결되지 않습니다. 팀 전체가 서로 다른 관점을 가지고 있으면, 누군가 실수를 하면 다른 사람이 잡아줍니다.

• 비유: 요리사 한 명이 실수로 소금통을 엎었을 때, 옆에 있는 다른 팀원이 "잠깐, 이거 너무 짜지 않나?"라고 바로 잡아주는 것입니다.

---

💡 결론: 왜 이 연구가 중요한가요?

이 논문은 **"AI 를 더 똑똑하게 만드는 것은 코드나 데이터만 있는 게 아니다. 사람을 다양하게 모으는 것"**이라고 말합니다.

• 기술적인 해결책만으로는 부족합니다: 데이터만 고쳐서는 편견을 완전히 없앨 수 없습니다.
• 다양성이 곧 안전장치입니다: 다양한 사람들이 모인 팀은 실수를 미리 발견하고, 더 공정하고 따뜻한 AI 를 만들 수 있습니다.

한 줄 요약:

"AI 를 만드는 요리사 팀에 다양한 사람들이 모여야, 전 세계 모든 고객이 만족하는 공정한 요리를 만들 수 있다."

이 연구는 앞으로 AI 개발팀을 구성할 때, 단순히 실력만 보는 것이 아니라 다양한 배경과 경험을 가진 사람들을 초대하는 것이 얼마나 중요한지 알려줍니다.

기술 요약

논문 요약: AI 시스템 개발에서의 팀 다양성의 역할

1. 연구 배경 및 문제 제기 (Problem)

• AI 의 편향과 불공정성: 인공지능 (AI) 기술의 광범위한 통합은 데이터와 설계 선택의 결함으로 인해 사회적 불평등을 재생산하고 편향 (Bias) 을 심화시킬 수 있다는 우려를 증폭시켰습니다. 기존 연구는 주로 데이터셋 개선, 모델 최적화 등 기술적 해결책에 집중해 왔습니다.
• 사회적 역동성의 간과: AI 시스템의 결과물을 형성하는 개발 팀의 사회적 역동성 (Social Dynamics), 특히 팀 구성의 다양성이 편향 식별 및 완화에 미치는 영향은 충분히 연구되지 않았습니다.
• 연구 질문: "AI 시스템 개발에서 편향을 식별하고 완화하는 데 팀 다양성이 어떤 역할을 하는가?"

2. 연구 방법론 (Methodology)

• 연구 접근법: **현상학적 귀납적 연구 방법인 근거 이론 (Grounded Theory, GT)**을 사용했습니다. 사전에 정의된 이론적 틀에 의존하기보다, 참여자들의 경험에서 핵심 개념이 자연스럽게 도출되도록 했습니다.
• 연구 대상 및 맥락: 브라질과 포르투갈에 본사를 둔 대규모 소프트웨어 회사의 4 개 AI 프로젝트 (신호 언어 번역, 디지털 트윈/예측 모델, 교육용 LLM, 얼굴 인식 시스템) 에 참여하는 전문가들을 대상으로 했습니다.
• 데이터 수집:
  • 참여자: 25 명의 소프트웨어 전문가 (데이터 과학자, 디자이너, 테스터, 관리자 등).
  • 샘플링: 편의 샘플링, 눈덩이 샘플링, 이론적 샘플링을 병행하여 다양한 역할과 배경 (성별, 인종, 장애, LGBTQIA+, 신경다양성 등) 을 가진 참여자를 확보했습니다.
  • 방식: 3 회에 걸친 반구조화 인터뷰 (총 25 회, 4 시간 49 분 분량) 와 3 개의 개방형 설문지를 수행했습니다.
• 분석 과정:
  • 줄 단위 코딩 (Line-by-line coding), 집중 코딩 (Focused coding), 이론적 코딩 (Theoretical coding) 을 통해 데이터를 분석했습니다.
  • 이론적 포화 (Theoretical Saturation): 새로운 개념이나 주제가 더 이상 도출되지 않을 때까지 (3 회차 인터뷰) 데이터를 수집했습니다.
  • 검증: 구성원 확인 (Member checking) 과 동료 검토 (Peer debriefing) 를 통해 결과의 타당성을 검증했습니다.

3. 주요 기여 (Key Contributions)

본 논문은 소프트웨어 공학 분야에서 AI 개발의 사회적 측면을 심층적으로 다루며 다음과 같은 4 가지 주요 기여를 제공합니다:

1. 팀 다양성의 영향력 규명: AI 개발에서 팀 다양성이 편향 인식과 완화를 지원하는 6 가지 구체적인 역할을 식별했습니다.
2. 사회적 함의 이해 증진: 다양한 팀이 AI 시스템의 광범위한 영향을 고려하여 불공정한 결과의 위험을 줄이는 데 어떻게 기여하는지 설명했습니다.
3. 알고리즘 편향에 대한 방어: 팀 다양성이 가정 (Assumptions) 을 질문하고 데이터/모델의 숨겨진 문제를 드러냄으로써 알고리즘 편향을 완화하는 방패 역할을 할 수 있음을 입증했습니다.
4. 기술적 목표와 사회적 목표의 연결: 다양성을 통해 AI 개발을 공정성, 형평성, 포용성이라는 사회적 목표와 정렬시키는 방법을 제시했습니다.

4. 연구 결과 (Results)

분석을 통해 AI 개발에서 팀 다양성이 수행하는 6 가지 핵심 역할이 도출되었습니다:

1. 편향 식정을 위한 관점의 다양화 (Diversifying Perspectives for Bias Identification):
   • 다양한 배경을 가진 팀원들은 인종, 성별, 사회적 편향을 포함한 다양한 형태의 편향을 더 일찍 식별합니다.
   • "기본값 (Default)"으로 간주되는 행동이나 시나리오를 재검토하게 하여 기술적 견고성을 높입니다.
2. AI 개발에 공감 (Empathy) 도입 (Bringing Empathy to AI Development):
   • 다양한 삶의 경험 (Lived Experience) 을 가진 팀원들과의 협업은 소외된 집단의 어려움에 대한 공감 능력을 키웁니다.
   • 이는 기술적 효율성 중심의 개발을 넘어 사용자 실제 경험과 잠재적 피해를 고려하게 만듭니다.
3. 체계적 차별 대응 (Addressing Systemic Discrimination):
   • 다양한 인종, 성별, 사회경제적 배경의 구성원이 포함되면 구조적 불평등과 모델 학습에 내재된 미묘한 차별을 조기에 인식하고 해결할 수 있습니다.
   • 특정 집단의 부재가 개발 초기 단계에서 차별적 행동을 정상화하는 것을 방지합니다.
4. 포용적이고 공정한 의사결정 촉진 (Promoting Inclusive and Fair Decision-Making):
   • 다양성은 요구사항 정의, 데이터 전략, 평가 기준 설정 등 개발 전 과정에 걸쳐 포용적인 의사결정을 가능하게 합니다.
   • 소외된 집단의 피드백을 반영하여 시스템 행동을 더 견고하게 만듭니다.
5. 복잡한 편향 해결을 위한 다양한 전문성 활용 (Leveraging Diverse Expertise to Tackle Complex Bias):
   • 편향은 종종 기술적, 사회적 요인이 중첩된 복잡한 문제입니다. 다양한 전문 지식과 경험을 가진 팀은 단순한 데이터 확장 대신 맥락에 맞는 강력한 솔루션을 설계할 수 있습니다.
6. 편향에 대한 다양성의 방패 역할 (Using Diversity as a Safeguard Against Bias):
   • 다양성은 특정 역할이나 일회성 점검에 의존하지 않고, 팀 전체에 편향 식별과 해결의 책임을 분산시키는 구조적 방패 역할을 합니다.
   • 지속적인 윤리적 성찰을 유도하여 편향이 시스템 로직에 고정되는 것을 막습니다.

5. 의의 및 시사점 (Significance)

• 연구적 의의: 기존의 기술 중심 접근법 (데이터, 모델) 을 넘어, AI 편향 문제를 해결하기 위해 사회적 역동성과 팀 구성이 필수적임을 강조합니다. 이는 소프트웨어 공학 연구에 새로운 사회 - 기술적 (Socio-technical) 관점을 제공합니다.
• 실무적 시사점:
  • 기업은 기술적 역할뿐만 아니라 인구통계학적, 경험적 다양성을 갖춘 팀을 구성해야 합니다.
  • 공감과 경험 공유를 위한 구조화된 공간 (예: 반성적 디자인 세션) 을 마련해야 합니다.
  • 포용적 의사결정 프로세스와 다각적 테스트 관행을 도입해야 합니다.
• 사회적 영향: AI 가 의료, 교육, 공공 서비스 등 중요한 분야에서 활용됨에 따라, 다양한 팀을 통한 포용적 설계는 사회적 차별을 재생산하는 위험을 줄이고 AI 에 대한 대중의 신뢰를 높이는 데 기여합니다.

결론적으로, 이 연구는 AI 시스템의 공정성을 확보하는 데 기술적 알고리즘 개선만으로는 부족하며, 개발 팀의 다양성이 편향을 식별하고 완화하는 핵심 동력임을 실증적으로 입증했습니다.