💻 computer science

Whose fairness? Structural concentration in AI bias research

이 논문은 AI 편향성 연구가 미국 중심의 특정 기관과 저자들에게 구조적으로 집중되어 있음을 밝히며, 이로 인해 도출된 공정성 정의와 완화 방법론이 다양한 전 세계 인구와 맥락에 대한 일반화 가능성이 결여될 수 있다는 우려를 제기한다.

원저자: Abhash Shrestha, Subigya Gautam, Anu Sapkota, Sanju Tiwari, Tek Raj Chhetri

게시일 2026-07-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Abhash Shrestha, Subigya Gautam, Anu Sapkota, Sanju Tiwari, Tek Raj Chhetri

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능(AI)의 세계를 의료, 법률, 일상생활의 문제들을 해결하기 위해 끊임없이 새로운 레시피를 발명하는 거대하고 북적이는 주방이라고 상상해 보십시오. 하지만 요리를 시작하기 전에, 그들은 무엇이 '공정함'이라는 맛인지에 대해 합의해야 합니다. 이 논문은 실제로 그 주방에 누가 서 있는지, 누가 레시피를 쓰는 권한을 가졌는지, 그리고 그 레시피가 모두에게 효과가 있는지를 들여다보는 무대 뒤의 이야기입니다.

이 논문의 내용을 이해하기 쉽게 나누어 설명하면 다음과 같습니다.

1. 문제 제기: 주방에는 누가 있는가?

저자들은 알고 싶었습니다: 우리가 말하는 공정성이란 누구의 공정성인가?
수년간 연구자들은 AI 편향성(컴퓨터가 불공정한 결정을 내리는 현상)을 해결하기 위해 노력해 왔습니다. 그들은 이를 측정하기 위한 도구와 규칙들을 만들어 왔습니다. 하지만 그들은 단 한 번도 이런 질문을 던지지 않았습니다: 누가 이 규칙들을 만들고 있는가?

이 논문은 전체 "AI 공정성" 연구 커뮤니티에 대한 인원 파악 역할을 합니다. 저자들은 2015년부터 2025년 사이에 발표된 692편의 연구 논문을 살펴보았습니다. 그들은 이 논문들을 하나의 지도로 취급하여, 연구자들이 어디에 살고 있는지, 어떤 학교나 기업에 속해 있는지, 그리고 누구와 소통하는지를 확인했습니다.

2. 주요 발견: 아주 작은 집단이 주도권을 쥐고 있다

연구 결과, "AI 공정성" 주방은 특정 지역에 매우 집중되어 있음이 드러났습니다.

미국이 헤드 셰프입니다: 미국은 이 분야를 지배하고 있습니다. 그들은 '공정성'에 대한 규칙을 정립하는 논문의 거의 절반을 썼습니다. 연구팀을 이끄는 사람들(제1 저자)을 살펴보면, 미국이 거의 50%를 차지합니다.
"글로벌 사우스(Global South)"는 부재중입니다: 남아시아, 아프리카, 라틴 아메리카 국가들은 이 자리에 거의 참여하지 못하고 있습니다. 엄청난 기술 인력을 보유한 인도조차도 이 특정 대화에서는 놀라울 정도로 조용합니다.
"이너 서클(Inner Circle)": 연구자들은 주로 미국의, 영국의, 캐나다의, 독일의와 같은 소수의 서구권 클럽 안에서 서로 소통합니다. 이는 마치 모두가 서로를 알고 있지만, 나머지 세상 사람들은 초대받지 못한 저녁 파티와 같습니다.

3. "기초(Foundation)" 계층: 가장 중요한 방이 가장 폐쇄적이다

연구자들은 논문을 다섯 가지 다른 "방" 또는 주제로 나누었습니다:

일반 공정성 및 편향 완화 (규칙집)
의료 AI
대규모 언어 모델 (LLM)
추천 시스템 (넷플릭스나 유튜브의 추천 기능 등)
그래프 기반 공정성

여기서 결정적인 반전이 있습니다: 가장 중요한 방은 바로 "일반 공정성" 방입니다. 이곳에서 정의, 벤치마크, 그리고 기본적인 규칙들이 발명됩니다. 그리고 이 규칙들은 의료나 LLM과 같은 나머지 네 개의 방으로 복제되어 사용됩니다.

위험 요소: "일반 공정성" 방은 모든 방 중에서 가장 집중도가 높습니다. 미국이 다른 어느 곳보다 이 방을 주도하고 있습니다.
비유: 설계도(블루프린트)를 만드는 사람들이 특정 동네에 모여 사는 회사를 상상해 보십시오. 그들은 자신들의 동네에 적합한 문과 창문을 기준으로 설계도를 만듭니다. 그러고 나서 그 설계도를 정글, 사막, 북극에 집을 짓는 데 보냅니다. 원래 설계자들이 그 장소들을 방문해 본 적이 없기 때문에, 그 문은 맞지 않거나 창문은 비를 너무 많이 들여보낼 수도 있습니다.

4. "인기 투표" (인용)

저자들은 또한 과학자들로부터 얼마나 많은 "하이파이브(인용)"를 받는지 살펴보았습니다.

몇몇 논문은 수천 번의 인용을 받는 반면, 대부분은 아주 적은 인용을 받습니다.
흥미롭게도, 단순히 특정 국가(중국이나 인도 등)가 더 많은 논문을 쓴다고 해서 그 논문들이 가장 많은 "하이파이브"를 받는 것은 아닙니다.
그러나 실제로 가장 많은 관심을 받는 논문들은 여전히 미국과 영국 출신이며, 주로 "일반 공정성" 규칙에 관한 것들입니다.

5. 이것이 왜 중요한가

논문은 "규칙 제정자"들이 주로 미국과 서유럽 출신이기 때문에, 그들이 만든 규칙이 모두에게 작동하지 않을 수 있다고 주장합니다.

문화적 사각지대: 뉴욕에서 공정해 보이는 것이 카트만두나 나이로비에서는 불공정해 보일 수 있습니다. 예를 들어, 어떤 문화에서는 눈을 맞추지 않는 것이 존중의 표시이지만, 서구에서는 자신감이 부족한 것으로 간-될 수 있습니다. 만약 AI가 서구의 규칙으로만 학습된다면, 다른 문화권의 사람들을 잘못 판단할 수 있습니다.
리스크: 우리는 전 세계를 위한 AI 시스템을 구축하고 있지만, "안전 매뉴얼"은 아주 작고 대표성이 부족한 집단에 의해 작성되고 있습니다. 이는 우리가 만든 솔루션이 정작 도움이 가장 필요한 사람들에게는 작동하지 않을 수 있음을 의미합니다.

6. 도움을 주기 위해 그들이 한 일

저자들은 문제를 지적하는 데 그치지 않고, 누구나 이 분야가 성장하는 모습을 관찰할 수 있는 **라이브 지도(인터랙티브 아틀라스)**를 구축했습니다. 이를 통해 커뮤니티는 주방이 더 다양해지고 있는지, 아니면 여전히 똑같이 작은 집단이 운영하고 있는지를 실시간으로 확인할 수 있습니다.

요약

이 논문은 AI 산업에 붙여진 경고 라벨입니다. 그것은 다음과 같이 말합니다: "우리는 모두를 위한 공정한 AI를 만들려고 노력하고 있지만, '공정함'이라는 개념을 설계하는 사람들은 대부분 세계의 한 부분에 치우쳐 있습니다. 다양한 문화와 국가의 목소리를 이 테이블로 초대하지 않는 한, 우리의 공정성에 대한 정의는 불완전할 것이며, '이너 서클' 밖에 있는 사람들에게 잠재적으로 해로울 수 있습니다."

기술 요약: "누구의 공정성인가? AI 편향 연구의 구조적 집중화"

문제 제기
인공지능(AI) 분야는 중대한 영향을 미치는 영역(의료, 법률, 공공 서비스)에서 편향을 측정하고 완화하기 위한 광범위한 방법론을 발전시켜 왔으나, 이러한 공정성 정의, 벤치마크 및 편향 완화 프레임워크를 생산하는 연구 커뮤니티에 대한 경험적 특성화는 이루어진 적이 없다. 저자들은 이 연구 커뮤니티의 구조적 구성에 대한 이해에 결정적인 격차가 존재한다고 본다. 만약 연구 지형이 지리적 및 제도적으로 집중되어 있다면, 그 결과로 도출된 "보편적" 공정성 표준은 다양한 인구 집단과 사회문화적 환경에 적용되지 못하는 국지적 가정을 인코딩할 위험이 있다. 이는 특정 맥락에서 검증된 완화 전략이 전 세계적으로 부적절하게 적용되어, 소외된 지역에 잠재적인 해를 끼칠 수 있는 위험을 제기한다.

연구 방법론
본 연구는 11년(2015~2025년) 동안의 692개 출판물 코퍼스를 대상으로 문헌학적 및 의미론적 분석을 결합한 혼합 방법론을 채택하였다(영향력을 고려하여 2012년의 기념비적인 논문 한 편을 포함함).

코퍼스 구축: 주요 데이터베이스(IEEE Xplore, ACM Digital Library, Scopus, ScienceDirect, Engineering Village) 및 ACM FAccT 프로시딩스에서 논문을 체계적으로 검색하였다. 검색에는 "Bias", "Decision-making", "AI"를 중심으로 한 키워드 문자열이 사용되었다. 코퍼스는 인용 스노볼링(citation snowballing)과 수동 관련성 스크리닝을 통해 보완되었다.
주제별 분류: 논문들을 다음 다섯 가지 주제 영역으로 수동 할당하였다:
- 일반 공정성 및 편향 완화 (46.1%)
- 대규모 언어 모델(LLMs) 및 자연어 처리(NLP) (21.8%)
- 의료 및 임상 AI (16.6%)
- 추천 시스템 (10.0%)
- 그래프 기반 공정성 및 편향 완화 (5.5%)
정량적 분석:
- 지리적/제도적 지표: 저자 수(전체 저자 및 제1저자)와 기관 소속을 계산하였다. 국가 및 기관에 대한 집중도를 측정하기 위해 지니 계수(Gini coefficient)를 산출하였다 (0 = 완전한 평등, 1 = 최대 집중).
- 협업 네트워크: 2,502명의 저자를 대상으로 공동 저자 네트워크를 재구성하여 지역적 협업 패턴을 분석하였다.
- 인용 역학: 글로벌 인용 횟수(OpenAlex 기준)와 내부 코퍼스 인용을 분석하였다. 왜곡된 인용 분포를 고려하여 비모수 통계 검정(Kruskal-Wallis, Dunn's post-hoc, Spearman rank correlation)을 사용하였다.
의미론적 클러스터링:
- 초록을 Sentence-BERT를 사용하여 인코딩하였다 (MPNet, MiniLM, SPECTURE 모델 평가). MPNet은 가장 높은 실루엣 점수(0.2564)를 기준으로 선택되었다.
- 차원 축소는 UMAP(Uniform Manifold Approximation and Projection)을 통해 수행되었다.
- 2D UMAP 투영 위에서 HDBSCAN(Hierarchical Density-Based Spatial Clustering of Applications with Noise)을 사용하여 클러스터링을 실행하였다 (설정: min_cluster_size=20, min_samples=10). 이를 통해 네 개의 의미론적으로 일관된 클러스터가 생성되었다.
- 자동화된 클러스터와 수동 도메인 레이블 간의 정렬은 Adjusted Rand Index(ARI)와 Normalized Mutual Information(NMI)를 사용하여 검증되었다.

주요 결과

구조적 집중화: 해당 분야는 고도로 집중되어 있다. 미국이 생산을 주도하며, 제1저자 논문의 48.7%를 기여하였고 모든 도메인에서 선두를 달리고 있다. 52개국에 대한 제1저자 논문의 지니 계수는 0.7842로, 극심한 불평등을 나타낸다.
도메인별 리더십:
- 일반 공정성 및 편향 완화: 이 기초적인 도메인은 가장 집중도가 높으며, 미국이 제1저자 출판물의 58.3%를 차지한다. 이는 이 도메인이 다른 응용 분야에서 채택되는 정의와 벤치마크를 제공한다는 점에서 매우 중요하다.
- 의료 및 임상 AI: 이 도메인은 미국과 더불어 캐나다, 영국, 독일, 중국의 상당한 기여가 있어 가장 국제적으로 균형 잡힌 도메인이다.
- LLMs & NLP: 중국이 이곳에서 두 번째로 큰 기여자(제1저자 17.2%)이며, 이는 기초적인 공정성 이론보다는 기술적이고 생성적인 AI에 초점을 맞추고 있음을 반영한다.
- 그래프 기반 공정성: 두 기관(버지니아 대학교와 옥스퍼드 대학교)에 고도로 집중되어 있으며, 이들이 제1저자 출력량의 75%를 차지한다.
협업 네트워크: 협업은 주로 서구권 내부(미국, 영국, 캐나다, 독일)에서 이루어진다. 글로벌 사우스(남아시아, 아프리카, 라틴 아메리카 포함)는 공동 저자 네트워크에서 거의 나타나지 않는다. 인도 역시 대규모 기술 인력을 보유하고 있음에도 불구하고 협업 구조에서는 과소 대표되어 있다.
인용 역학: 인용 영향력은 크게 왜곡되어 있다 (중앙값 = 9; 평균 = 93.5). 국가의 출판량과 중앙값 인용 영향력 사이에는 유의미한 상관관계가 없다 ( $\rho = 0.073$ ). 미국이 양적 측면에서 앞서지만, 캐나다와 영국 같은 국가들은 논문당 더 높은 중앙값 인용수를 보여준다.
의미론적 구조: HD-BSCAN을 통한 의미론적 클러스터링은 수동 도메인과 대체로 일치하는 네 개의 클러스터를 생성했다. "일반 공정성"은 네 개 클러스터 모두에서 나타나며, 이는 이 주제의 교차적 성격을 확인시켜 준다. "그래프 기반 공정성"은 여러 클러스터에 흩어져 있으며, 별도의 응용 도메인이라기보다 하나의 방법론적 렌즈로서 기능한다.

핵심 기여

경험적 특성화: 본 논문은 AI 편향 연구 커뮤니티에 대한 최초의 포괄적인 구조적 분석을 제공하여, "누가 AI 편향 연구를 형성하는가"라는 질문을 가정에서 측정의 영역으로 옮겨 놓았다.
인식론적 위험 식별: 기초적인 층위(일반 공정성)가 지리적으로 매우 집중되어 있음을 입증하였다. 이는 공정성의 정의와 편향 완화 프레임워크가 특정 소수의 서구 중심적 기관에 의해 불균형하게 형성되고 있음을 시사한다.
인터랙티브 아틀라스: 연구의 구조적 진화, 지리적 참여도, 인용 패턴을 지속적으로 모니터링할 수 있도록 동적이고 인터랙티브한 아틀라스(https://biasatlas.cair-nepal.org)를 공개하였다.
방법론적 프레임워크: 문헌학적 분석과 의미론적 클러스터링(UMAP + HDBSCAN)을 결합하여 연구 지형을 매핑하는 재현 가능한 파이프라인을 구축하였다.

의의 및 주장
본 논문은 AI 편향 연구의 구조적 집중화가 단순한 대표성의 문제를 넘어 인식론적 문제라고 주장한다. 기초적인 정의와 벤치마크가 좁은 범위의 서구적 맥락 내에서 생산되기 때문에, 이러한 "보편적" 표준이 국지적인 문화적, 제도적 가정을 인코딩할 위험이 있기 때문이다.

저자들은 다음과 같이 주장한다:

집중된 환경에서 개발되고 검증된 완화 방법은 모든 인구 집단, 특히 글로벌 사우스의 인구에게 일반화되지 않을 수 있다.
"일반 공정성" 도메인에서의 미국 기관의 지배력은 이 분야의 방법론적 토대가 제한된 집단의 우선순위에 의해 형성됨을 의미하며, 이는 잠재적으로 소외된 사회문화적 환경과 관련된 해악을 간과할 수 있다.
출판량과 인용 영향력의 디커플링(decoupling)은 영향력이 단순히 출력량의 함수가 아니라, 고용량 생산자(예: 미국)가 의제 설정과 제도적 중심성을 통해 영향력을 행사함을 시사한다.

결론적으로, AI 편향 문제를 해결하기 위해서는 기술적 방법론뿐만 아니라 이를 생산하는 커뮤니티를 넓혀야 한다고 주장한다. 저자들은 현재 연구 담론에서 약하게 표현되고 있는 지역에서의 강력한 외부 검증과 협업 역량 강화를 촉구한다. 또한, 본 연구의 코퍼스가 영어로 작성되고 북반구 중심의 데이터베이스에서 추출되었음을 인정하며, 이것이 다른 언어나 지역적 매체에 발표된 연구를 과소 대표할 수 있다는 한계를 명시하면서도, 이것이 불균형의 방향을 뒤집기보다는 현재의 불균형 규모를 반영하는 것이라고 설명한다.