Measuring Perceptions of Fairness in AI Systems: The Effects of Infra-marginality

이 논문은 의료 의사결정 시나리오를 대상으로 한 사용자 연구를 통해, 데이터 분포의 불균형 (infra-marginality) 이 공정성 인식에 미치는 영향을 분석하고, 사람들이 단순한 통계적 평등보다는 결과의 원인과 맥락에 기반한 공정성을 판단함을 보여주었습니다.

핵심

🏥 비유: 두 개의 다른 병실과 AI 의사

이 연구는 가상의 병원 상황을 가정합니다.
AI 가 환자의 암을 진단하는 의사가 되어주는데, 이 병실에는 A 군과 B 군이라는 두 가지 다른 환자 집단이 있습니다.

1. 문제의 핵심: "인프라-마진 (Infra-marginality)"이란 무엇인가요?

이건 조금 어려운 용어지만, 쉽게 말해 **"처음부터 조건이 달랐던 것"**을 의미합니다.

• A 군은 암 환자가 많고 (진단하기 쉬운 경우), 데이터도 풍부합니다.
• B 군은 암 환자가 드물고 (진단하기 어려운 경우), 데이터도 적습니다.

이때 AI 가 두 집단 모두를 똑같이 잘 진단하려면 어떻게 해야 할까요?

• 기존의 생각: "공정하다" = "두 집단 모두에게 정확도가 100% 로 똑같아야 한다."
• 이 논문의 발견: "아니야, 원래 조건이 다르면 결과도 다를 수밖에 없어. 그 차이를 인정하는 게 오히려 공평할 수 있어."

2. 실험 내용: 사람들은 무엇을 원할까?

연구팀은 85 명에게 세 가지 AI 의사를 소개하고 "누가 더 공정해?"라고 물었습니다.

• 옵션 A (완벽한 평등): 두 집단 모두 정확도를 높은 쪽 (A 군) 에 맞춰서 100% 로 만듭니다. (단, B 군은 원래 조건이 안 좋아서 이렇게 하려면 무리수일 수 있음)
• 옵션 B (절충안): 두 집단 모두 정확도를 평균 (예: 85%) 으로 맞춥니다.
• 옵션 C (현실 인정): A 군은 원래 잘 하던 대로 (90%), B 군은 원래 하던 대로 (70%) 진단합니다. 차이를 그대로 둡니다.

3. 놀라운 결과: 사람들은 상황에 따라 달라집니다!

상황 1: "어떤 집단이 더 잘하는지 모르겠다"거나 "두 집단이 똑같다"고 알려줄 때

• 사람들은 **옵션 A(완벽한 평등)**를 가장 공정하다고 생각했습니다.
• *"차이가 없으면 무조건 똑같이 해야지!"*라는 생각이 들기 때문입니다.

상황 2: "A 군은 원래 90%, B 군은 70% 로 잘한다"는 사실을 알고 있을 때

• 사람들은 **옵션 C(차이를 인정)**를 가장 공정하다고 생각했습니다!
• 이유: "아, 원래 B 군은 암 환자가 드물고 데이터도 부족해서 진단하기 어려운구나. 그럼 70% 로 나오는 게 당연한 결과야. 억지로 90% 로 맞추려고 하면 오히려 B 군 환자에게 해를 끼칠 수도 있겠지."

상황 3: 데이터 양의 차이

• 만약 B 군의 데이터가 A 군보다 20 배나 적다면, 사람들은 "아, 데이터가 부족해서 실수가 많을 수밖에 없구나"라고 이해하고 그 차이를 용납했습니다.
• 하지만 데이터 양은 비슷하면서 결과가 다르면, 사람들은 "아, 이건 AI 가 편향된 거구나"라고 생각하며 불공정하다고 느꼈습니다.

---

💡 이 연구가 우리에게 주는 교훈

이 논문의 결론은 매우 중요합니다.

1. 공정함은 '숫자'만으로 판단할 수 없습니다.
   단순히 "두 그룹의 점수가 똑같아야 한다"는 식의 기계적인 평등 (통계적 평등) 은 오히려 불공정하게 느껴질 수 있습니다. 사람들은 **왜 차이가 발생했는지 (원인)**를 이해하려고 합니다.

2. 원인이 '불공정'한지 '현실적인지'가 중요합니다.

   • 불공정한 차이: 인종 차별, 데이터 수집의 편향 등으로 인해 생긴 차이는 고쳐야 합니다.
   • 현실적인 차이: 암의 유병률, 질병의 난이도 등 본질적인 조건 차이로 생긴 차이는 인정하고 존중해야 합니다.

3. AI 를 설계할 때 '맥락'을 고려해야 합니다.
   개발자들이 "무조건 두 그룹의 정확도를 똑같이 맞추자!"라고만 생각하면, 오히려 소수 집단이나 조건이 어려운 집단을 더 불리하게 만들 수 있습니다. (예: 진단이 어려운 환자에게 무리하게 높은 정확도를 요구하다가 오진율이 높아지는 경우)

🎯 한 줄 요약

"진짜 공정한 AI 는 두 그룹의 점수를 무조건 똑같이 맞추는 것이 아니라, 각 그룹이 처한 현실적인 조건을 이해하고 그 차이를 존중해 줄 때 만들어집니다."

이 연구는 기술자들과 정책 입안자들에게, AI 를 만들 때 단순히 수학적 공식을 적용하는 것을 넘어, 사람들이 그 결과를 어떻게 받아들이고 이해하는지에 대해 깊이 생각해보라고 조언합니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 알고리즘 공정성 (Algorithmic Fairness) 연구와 정의는 주로 인구통계학적 그룹 간의 통계적 평등 (예: 인구통계학적 평등, 기회 균등) 을 달성하는 데 초점을 맞추고 있습니다. 그러나 실제 데이터 분포는 그룹 간에 근본적인 차이 (Base Rate Differences) 를 가지며, 이로 인해 'Infra-marginality (임계점 이하)' 문제가 발생합니다.

• Infra-marginality 문제: 그룹 간 데이터 분포의 차이 (예: 범죄 재범률, 질병 유병률 등) 로 인해 단일 모델을 적용하더라도 그룹별 성능 지표 (정확도, 오검출률 등) 에 차이가 발생할 수 있습니다.
• 핵심 쟁점: 이러한 성능 차이가 편향된 데이터 수집이나 알고리즘적 차별 때문인지, 아니면 합법적인 데이터 분포 차이 (Base Rate) 때문인지 구분하기 어렵습니다.
• 연구 동기: 기존의 공정성 정의는 이러한 분포적 맥락을 무시하고 무조건적인 통계적 평등을 추구할 때, 오히려 불공정한 결과를 초래하거나 인간의 공정성 직관과 괴리될 수 있습니다. 따라서 인간의 공정성 인식이 이러한 분포적 차이를 어떻게 해석하는지 이해할 필요가 있습니다.

2. 연구 방법론 (Methodology)

저자들은 85 명의 참가자를 대상으로 한 온라인 사용자 연구 (User Study) 를 수행하여 Infra-marginality 가 공정성 인식에 미치는 영향을 분석했습니다.

• 시나리오: 가상의 의료 AI(암 예측 시스템) 를 사용하여 두 인종 그룹 (Race A, Race B) 간의 의사결정 상황을 설정했습니다.
• 독립 변수 (Treatment):
  1. 그룹별 모델 성능 (Group-specific Performance): 각 인종 그룹에 대해 별도로 훈련된 모델의 정확도 차이 (동일, Race A 우세, Race B 우세 등 7 가지 경우).
  2. 데이터 가용성 (Data Availability): 각 그룹별 훈련 데이터의 양 (비고, 동일, Race A 가 3 배 많음, Race A 가 20 배 많음 등 4 가지 경우).
• 종속 변수: 참가자가 제시된 3 가지 모델 옵션에 대해 7 점 리커트 척도로 평가한 공정성 점수.
  • 옵션 1 (최고 성능 평등): 두 그룹 모두 더 높은 성능을 가진 그룹의 정확도로 평등화.
  • 옵션 2 (평균 성능 평등): 두 그룹의 평균 정확도로 평등화.
  • 옵션 3 (원래 성능 보존): 각 그룹의 원래 관측된 성능 (그룹별 모델 성능) 을 그대로 유지.
• 데이터 처리: 380 명의 초기 참가자 중 주의 집중 검사 (Repeated scenarios) 와 응답 시간을 통과한 85 명을 최종 분석 대상으로 선정했습니다.

3. 주요 결과 (Key Results)

A. 그룹별 성능 정보의 영향

• 성능 차이가 없거나 정보가 없을 때: 참가자들은 **옵션 1(최고 성능 평등)**이나 **옵션 2(평균 평등)**를 선호했습니다. 즉, 통계적 평등을 공정하다고 판단했습니다.
• 성능 차이가 명확할 때: 그룹별 모델 성능에 차이가 존재하는 경우, 참가자들은 **옵션 3(원래 성능 보존)**을 가장 공정하다고 평가했습니다. 이는 데이터 분포의 차이로 인한 성능 격차가 '합법적'이라고 인식될 때, 이를 강제로 평등화하는 것을 불공정하게 여긴다는 것을 의미합니다.

B. 데이터 가용성의 영향

• 참가자들은 데이터 양의 불균형을 공정성 판단에 통합했습니다.
• 특정 그룹의 성능이 낮을 때, 그 이유가 편향된 데이터 수집 때문인지 과제 난이도 (Base Rate 차이) 때문인지에 따라 판단이 달라졌습니다.
• 특히, 데이터 양이 적음에도 불구하고 성능이 높거나, 데이터 양이 많음에도 성능이 낮은 경우 등 데이터와 성능의 관계가 논리적으로 설명될 때, 참가자들은 성능 격차를 더 용인했습니다.

C. 기준점 의존성 (Anchoring Effect)

• 참가자들의 공정성 판단은 절대적인 결과 (Outcome) 에만 기반하지 않았습니다. 대신, **기존의 그룹별 성능 (Baseline)**을 기준으로 삼아 (Anchoring) 변화를 평가했습니다.
• 즉, "원래의 격차를 유지하는 것"이 "강제적인 평등"보다 더 공정하게 인식되는 경우가 많았습니다.

4. 주요 기여 (Key Contributions)

1. 인간 공정성 인식과 통계적 정의의 괴리 규명: 널리 사용되는 '평등화 된 오류율 (Equalized Error Rates)'과 같은 그룹 공정성 정의가, 실제 인간의 공정성 직관과 충돌할 수 있음을 실증적으로 증명했습니다. 특히 Infra-marginality 상황에서는 무조건적인 평등이 오히려 불공정하게 인식될 수 있습니다.
2. 분포적 맥락 (Distributional Context) 의 중요성 강조: 공정성 판단은 단순히 결과의 평등 여부가 아니라, **격차의 원인 (Base Rate 차이 vs 편향)**에 대한 신념에 의해 크게 영향을 받음을 보였습니다.
3. 시스템 설계에 대한 시사점: 알고리즘 공정성 메트릭을 설계할 때, 기술적 평등만 추구하는 것이 아니라 데이터의 분포적 특성과 인간의 합리적 추론을 반영해야 함을 주장합니다.

5. 의의 및 시사점 (Significance)

• 실제 적용 가능성: 형사 사법, 의료, 금융 등 실제 고위험 영역에서 알고리즘을 배포할 때, 단순히 통계적 평등 지표를 충족시키는 것만으로는 사회적 신뢰를 얻기 어렵습니다. 사용자가 격차의 원인을 합리적으로 받아들일 수 있는 맥락이 제공되어야 합니다.
• 공정성 정의의 재고: 기존의 '평등 (Parity)' 중심 접근법에서 벗어나, 분포적 불일치를 고려한 유연한 공정성 프레임워크가 필요함을 시사합니다.
• 정책 및 커뮤니케이션: 알고리즘의 결정이 왜 특정 그룹에 다른 성능을 보이는지 (예: 데이터 양의 차이, 과제의 본질적 난이도) 에 대한 투명한 설명이 공정성 수용에 필수적입니다.

결론적으로, 이 논문은 AI 시스템의 공정성을 평가할 때 단순한 통계적 평등이 아니라, 데이터의 분포적 특성과 그로 인한 성능 격차의 '합법성'에 대한 인간의 인식을 고려해야 함을 강력하게 주장합니다.