🤖 AI

Empowering Affected Individuals to Shape AI Fairness Assessments: Processes, Criteria, and Tools

이 논문은 신용 평가 시나리오를 바탕으로 한 사용자 연구를 통해, AI 시스템의 영향을 받는 개인들이 자신만의 공정성 기준을 어떻게 정의하고 구체화하는지 분석함으로써 더욱 포용적이고 가치 중심적인 AI 공정성 평가 프로세스와 도구 설계를 위한 실증적 근거를 제시합니다.

원저자: Lin Luo, Satwik Ghanta, Yuri Nakao, Mathieu Chollet, Simone Stumpf

게시일 2026-02-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lin Luo, Satwik Ghanta, Yuri Nakao, Mathieu Chollet, Simone Stumpf

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

👨‍🍳 상황 설정: "AI라는 이름의 요리사"

상상해 보세요. 여러분은 식당의 손님입니다. 이 식당에는 **'AI 요리사'**가 있는데, 손님이 주문을 하면 재료를 보고 음식을 만들어 줍니다. 그런데 이 요리사가 가끔 어떤 손님에게는 맛있는 음식을 주고, 어떤 손님에게는 맛없는 음식을 주는 것 같아요.

지금까지는 이 요리사가 공정한지 판단할 때, **'요리 전문가(AI 전문가)'**나 **'식당 감독관(정부 규제 기관)'**들만 참여했습니다. 그들은 "소금의 양이 일정해야 해", "고기 무게가 같아야 해" 같은 아주 딱딱하고 기술적인 규칙(기존의 AI 공정성 지표)만 가지고 검사했죠.

하지만 정작 음식을 먹고 기분이 나빠지는 건 **'손님(영향을 받는 개인)'**들입니다. 손님들은 "나는 고기 종류가 아니라, 요리사가 나를 대하는 태도가 공정했으면 좋겠어!"라고 말하고 싶지만, 요리 전문가들처럼 전문 용어를 쓰기는 어렵습니다.

🔍 이 논문이 한 일: "손님들에게 직접 레시피를 써보게 하기"

연구팀은 이 문제를 해결하기 위해, 평범한 사람들 18명을 모셔놓고 **"여러분이 생각하는 '공정한 요리'의 기준을 직접 만들어보세요"**라고 제안했습니다. 그리고 이를 돕기 위한 **'마법의 레시피 작성 도구(인터랙티브 프로토타입)'**를 만들어 주었죠.

사람들이 어떤 과정을 거쳐 자신만의 기준을 만드는지 관찰했더니, 크게 두 단계로 나뉘었습니다.

1단계: "무엇이 문제인지 찾아내기" (생각의 단계)

사람들은 먼저 요리사가 어떤 재료(데이터)를 쓰는지 살펴봅니다. 그러고 나서 이런 생각을 합니다.

"역사적 편견이 있지 않을까?": "예전부터 특정 지역 사람들은 요리를 못 한다는 편견이 있었는데, 요리사가 그걸 재료로 쓰고 있지는 않을까?"
"이 재료는 빼버려!": "성별이나 나이 같은 건 음식 맛이랑 상관없잖아? 그런 건 아예 재료로 쓰지 마!"

2단계: "나만의 규칙 만들기" (실행의 단계)

단순히 "공정하게 해줘!"라고 말하는 게 아니라, 아주 구체적인 규칙을 만들었습니다.

기존 규칙 섞기: "A 규칙(고기 양 맞추기)도 지키고, 동시에 B 규칙(간 맞추기)도 지켜야 해!"
새로운 규칙 발명: "나는 결과만 보지 않을 거야. 요리사가 재료를 손질할 때 '나이'라는 재료를 얼마나 중요하게 생각하는지 그 '과정'을 감시할 거야!" (이것을 논문에서는 **'절차적 공정성'**이라고 부릅니다.)

💡 연구의 핵심 결과 (우리가 배운 것)

사람들은 생각보다 훨씬 꼼꼼합니다: 전문가들은 보통 '결과(음식이 맛있는가?)'만 보라고 하지만, 일반 사람들은 **'과정(요리사가 어떤 재료를 어떻게 다루는가?)'**이 공정해야 한다고 강력하게 주장했습니다.
법적 기준 그 이상을 원합니다: 전문가들은 '성별'이나 '인종' 같은 법적 기준만 따지지만, 사람들은 '직업'이나 '거주지'처럼 실제 삶에서 차별을 느낄 수 있는 더 세밀한 기준들을 스스로 만들어냈습니다.
도구가 필요합니다: 사람들이 자신의 생각을 숫자로 바꾸는 건 꽤 어려운 일입니다. 그래서 이들의 생각을 쉽게 '공정성 점수'로 바꿔줄 수 있는 똑똑한 도구가 필요하다는 것을 증명했습니다.

🌟 결론: "모두를 위한 AI"

결국 이 논문은 **"AI의 공정성을 결정할 때, 기술자들만의 리그가 되어서는 안 된다"**고 말합니다.

마치 식당의 메뉴를 정할 때 요리사뿐만 아니라 손님들의 의견을 반영해야 진짜 맛있는 식당이 되는 것처럼, AI를 사용하는 우리 모두가 AI의 공정성 기준을 만드는 데 참여할 수 있는 길을 열어야 한다는 것입니다.

[기술 요약] AI 공정성 평가를 위한 이해관계자 참여: 프로세스, 기준 및 도구

1. 문제 정의 (Problem Statement)

현재 AI 시스템(예: 신용 등급 결정)의 공정성 평가는 주로 AI 전문가나 규제 기관에 의해 수행됩니다. 이들은 법적으로 보호되는 속성(성별, 인종 등)과 사전에 정의된 수학적 지표(Demographic Parity 등)만을 사용하여 공정성을 판단합니다.

기존 방식의 한계:

가치 반영의 부족: 실제 AI 결정의 영향을 받는 개인(Decision Subjects)이 가진 다양하고 미묘한 공정성 개념을 포착하지 못함.
지표의 경직성: 전문가 중심의 지표는 이해관계자의 실제 요구사항과 괴리가 있을 수 있음.
지식 격차: 이해관계자를 참여시키려는 시도는 있었으나, 이들이 어떻게 자신만의 공정성 기준을 형성하고 이를 어떻게 정량화된 지표로 변환하는지에 대한 실증적 연구가 부족함.

2. 연구 방법론 (Methodology)

본 연구는 이해관계자가 공정성 기준을 생성하는 과정과 그 결과물을 파악하기 위해 **질적 사용자 연구(Qualitative User Study)**를 수행했습니다.

시나리오: 일반인에게 친숙하고 공정성 논의가 활발한 '신용 등급(Credit Rating)' 시나리오 채택.
참가자: AI 전문 지식이 없는 일반인 18명.
도구 (Prototype): 참가자들이 자신의 공정성 개념을 정량화할 수 있도록 설계된 인터랙티브 프로토타입 개발.
- 모듈 1: 기존 결과 공정성 지표(Outcome Fairness Metrics) 사용.
- 모듈 2: 여러 지표를 논리 연산자(AND, OR 등)로 결합.
- 모듈 3: 새로운 결과 공정성 지표(수학적 확률 공식) 생성.
- 모듈 4: 절차적 공정성(Procedural Fairness) 지표(특성 중요도, 제외 등) 생성.
절차: (1) 공정성 개념 구술 $\rightarrow$ (2) 기존 지표 학습 $\rightarrow$ (3) 프로토타입을 통한 기준 정량화 및 실시간 평가.

3. 주요 연구 결과 (Key Results)

RQ1: 이해관계자는 어떻게 공정성 기준을 만드는가? (Process)

참가자들은 두 단계의 과정을 거쳤습니다.

1단계: 특징(Feature)을 통한 공정성 개념의 구체화 (Grounding)
- AI 모델이 사용하는 특징들을 탐색하고, 사회적/역사적 편향(Historical Bias)이나 자신의 경험을 투영하여 잠재적 편향을 식별함.
- 특정 특징을 아예 제외하거나, 특징의 영향력(Importance)을 낮추어야 한다는 의견을 제시함.
- 특징 값을 그룹화(Binning)하여 보호받아야 할 집단을 재정의함.
2단계: 개념을 운영 가능한 기준으로 변환 (Translating)
- 구술된 개념을 측정 가능한 지표, 임계값(Threshold), 우선순위(Priority)로 변환함.

RQ2: 어떤 종류의 공정성 기준이 생성되었는가? (Criteria)

총 47개의 기준이 생성되었으며, 단일 지표 사용보다 다중 기준 사용이 두드러졌습니다.

결과 공정성 (Outcome Fairness):
- 기존 지표 활용, 여러 지표의 결합(예: 개인적 공정성 + 집단적 공정성), 또는 새로운 확률 기반 공식 생성.
절차적 공정성 (Procedural Fairness):
- 참가자들은 결과뿐만 아니라 **'의사결정 과정'**의 공정성을 매우 중요하게 여김.
- 특정 특징의 사용 금지, 특징 간 중요도 순위 지정 등을 통해 절차적 규칙을 정의함.

4. 핵심 기여 및 의의 (Key Contributions & Significance)

기술적/학술적 기여

프로세스 규명: 이해관계자가 막연한 가치관을 어떻게 구체적인 수학적/운영적 기준으로 발전시키는지에 대한 단계적 경로를 최초로 실증함.
기준의 다양성 입증: 이해관계자는 법적 보호 속성을 넘어 맥락에 맞는 특징(예: 직업, 통신 정보 등)을 보호 대상으로 삼으며, 결과와 절차적 공정성을 통합적으로 고려함을 밝힘.
디자인 가이드라인 제공:
- 프로세스 측면: 중립적이면서도 성찰을 유도하는 정보 제공의 필요성.
- 도구 측면: 모델 투명성(XAI) 제공, 보호 집단의 자유로운 정의 지원, 절차적 공정성 조절 기능(특징 중요도 수정 등)의 필요성 제시.

사회적 의의

본 연구는 AI 공정성 평가를 전문가의 전유물에서 이해관계자 중심의 민주적 과정으로 전환할 수 있는 토대를 마련했습니다. 이는 향후 더 포용적이고 책임감 있는 AI 시스템을 설계하고, 사회적 수용성을 높이는 데 중요한 역할을 할 것입니다.