기술 요약: 인공지능 연구 내 편향성의 모호한 영역 탐색

1. 문제 정의

편향된 AI의 사회적, 윤리적 결과에 대한 인식이 높아지고 있음에도 불구하고, AI 연구 커뮤니티 자체가 "편향(bias)"이라는 개념을 어떻게 해석하고, 정의하며, 실행하는지에 대한 명확한 이해는 부족한 실정이다. 알고리즘 편향에 관한 기존 문헌 검토들은 범위가 제한적이거나(예: 60개 미만의 논문 분석), 특정 도메인(예: 성별 편향 또는 챗봇)에 집중되어 있거나, 방대한 AI 연구 전반에 걸친 복잡하고 상이한 편향의 의미를 포괄적으로 매핑할 수 없는 수동적 합성 방식에 의존하고 있다. 결과적으로, 편향이 주로 통계적 오류로 간주되는지, 조정 가능한 파라미터인지, 아니면 차별과 윤리적 위해를 포함하는 사회기술적(sociotechnical) 문제인지에 대한 일관된 이해가 부재하다. 본 연구는 기술적, 사회적, 윤리적 이해관계자 사이의 개념적 격차를 해소하기 위해 AI 연구 커뮤니티가 보유한 편향에 대한 관점을 체계적으로 파헤치고자 한다.

2. 방법론

저자들은 학술 문헌의 대규모 코퍼스를 분석하기 위해 **토픽 모델링(Topic Modeling)**을 활용한 **컴퓨터 기반 문헌 검토(Computational Literature Review, CLR)**를 수행하였다.

• 데이터 수집: 주요 데이터베이스(ACM, IEEE, Springer, Web of Science, EBSCO) 및 최상위 컴퓨터 과학 컨퍼ferences(AAAI, ACL, CVPR, ICML, NeurIPS 등)에서 16,464편의 논문을 수집하였다.
• 필터링 및 적격성: 중복을 제거하고 2000년 이후 발표된 영어 논문으로 범위를 제한한 후, 핵심 AI 개념, 역방향 인용 분석, 순방향 인용 분석을 포함하는 3단계 키워드 확장 전략을 사용하여 편향과 직접적으로 관련된 논문을 식별하였다. 이를 통해 최종적으로 6,520편의 논문(학술지 논문 53.2%, 컨퍼런스 프로시딩 46.8%) 데이터셋을 확보하였다.
• 토픽 모델링: 저자들은 이 6,520편의 논문 초록에 **잠재 디리클레 할당(Latent Dirichlet Allocation, LDA)**을 적용하였다.
  • 모델 선택: LDA는 새로운 신경망 기반 접근법(예: BERTopic)보다 안정성이 높고 자원 요구량이 적으며, 본 데이터셋에서 더 우수한 성능을 보였기에 선택되었다(LDA는 토픽 일관성(Topic Coherence) 0.36과 토픽 다양성(Topic Diversity) 0.95를 달성한 반면, BERTopic은 각각 0.02와 0.72를 기록함).
  • 파라미터 튜닝: 모델은 39개의 토픽, 4,000회의 반복(iteration), $\beta=0.01$, $\alpha=0.13$으로 실행되었다.
  • 안정성 점검: 토픽의 안정성을 보장하기 위해 모델을 세 번 실행하였으며, 코사인 유사도를 사용하여 24개의 안정적인 토픽을 식별한 후, 인간의 코딩을 통해 18개의 일관되고 관련 있는 토픽으로 정제하였다.
• 인간 코딩 및 분석: 두 명의 저자가 18개 토픽의 유의미성과 관련성을 독립적으로 코딩하여 레이블 및 정의에 대한 합의에 도달하였다. 이후 토픽들을 네 가지 주요 테마로 그룹화하고 기존의 편향 유형론(예: Suresh & Guttag, 2021; Mehrabi et al., 2022)과 대조하여 분석하였다.

3. 주요 결과

분석 결과, AI 연구 커뮤니티 내에서의 편향 정의는 분산되어 있고 복잡하며, 종종 서로 상충하는 개념을 나타내는 것으로 드러났다. 식별된 18개 토픽은 네 가지 주요 테마로 분류되었다.

A. 알고리즘 편향 (기술적 개념)

• 토픽: 분류 알고리즘, 신경망 파라미터, 예측 모델링, 강화 학습, 비지도 클러스터링.
• 개념: 편향은 주로 기술적 비효율성 또는 조정 가능한 통계적 파라미터로 간주된다.
  • 신경망 파라미터 및 *체계적 선호(Systematic Preference)*에서 편향은 제거해야 할 결함이 아니라, 모델 성능을 개선하기 위해 최적화할 수 있는 파라미터(예: 유전 알고리즘을 통한 최적화)로 간주된다.
  • 분류 알고리즘에서 편향은 불균형한 데이터셋에서 발생하는 과제로 프레임화되며, 오버샘플링이나 합성 데이터 생성과 같은 기술적 방법을 통해 해결된다.

B. 응용 분야별 편향 (기술적/맥락적 개념)

• 토픽: 사이버 보안 응용, AI 의료 응용, 정보 검색, 이미지 분할, 자연어 처리(NLP), 컴퓨터 비전.
• 개 개념: 편향은 특정 도메인의 요구 사항 관점에서 이해된다.
  • 사이버 보안 및 정보 검색에서 편향은 때때로 탐지 정확도나 검색 효율성을 높이기 위한 기능으로서 설계되기도 한다(예: 인간의 시선을 모사하는 컴퓨터 비전의 "중심 편향").
  • 의료 응용에서 편향은 임상적 타당성을 위협하는 부정적인 체계적 편차로 엄격하게 간주되며, 배포 전 반드시 완화되어야 한다.
  • NLP에서 편향은 훈련 데이터에 반영된 사회적 불평등(표상 편향)의 반영으로 인식된다.

C. 데이터 편향 (사회기술적 개념)

• 토픽: 도메인 적응, 편향 이동(Bias Shift), 체계적 선호, 훈련 데이터의 분포.
• 개념: 편향은 훈련 데이터의 품질, 분포 및 대표성에 뿌리를 두고 있다.
  • 레이블 노이즈, 왜곡된 클래스 분포, 도메인 변화와 같은 이슈들이 AI 파이프라인을 통해 전파되는 근본적인 결함으로 식별된다.
  • 이 테마는 기술적인 데이터 문제와 데이터 품질이 모델의 일반화 능력에 미치는 광범위한 영향 사이를 연결한다.

D. 사회적 및 윤리적 편향 (사회기술적 개념)

• 토픽: 사용자 행동 분석, AI 편향/공정성 및 차별, AI 윤리적 이슈.
• 개념: 편향은 사회적 집단에 영향을 미치는 차별 및 불공정한 결과로 정의된다.
  • 이 테마는 민감한 속성(인종, 성별), 제도적 책임, 그리고 AI 시스템의 실질적인 사회적 위해에 초점을 맞춘다.
  • 이는 편향을 단순한 통계적 오류가 아닌, 감독, 투명성, 감사가 필요한 사회적 및 윤리적 문제로 명시적으로 프레임화한다.

교차적 개념:
연구는 두 가지 주요하며 종종 충돌하는 편향의 개념을 식별하였다:

1. 기술적: 통계적 편차 또는 최소화하거나 조정해야 할 성능 파라미터로서의 편향.
2. 사회기술적: 알고리즘 설계의 사회적 결과로서, 차별, 권력 역학 및 윤리적 함의를 포함하는 편향.

4. 주요 기여

• 규모와 범위: 본 연구는 6,520편의 논문을 분석함으로써, 이전의 리뷰들이 60편 미만을 분석했던 것과 비교하여 컴퓨터 기반 방법론을 사용하여 AI 편향 문헌을 포괄적으로 조사한 첫 번째 연구이다.
• 편향의 분류 체계: 본 연구는 18개의 구체적인 연구 토픽을 매핑하여, AI 커뮤니티가 편향에 대해 통일된 견해를 가지고 있지 않음을 밝혀냈다.
• 이견의 식별: 본 연구는 일부 하위 커뮤니티는 편향을 성능을 높이기 위한 "조정 가능한 파라미터"(예: 최적화 및 컴퓨터 비전)로 보는 반면, 다른 이들은 이를 반드시 제거해야 할 윤리적 결함으로 보는 중요한 긴장 관계를 강조한다.
• 격차 분석: 본 연구는 기존의 편향 유형론(예: 역사적, 표상, 측정 편향)이 현재 연구에서 나타나는 편향의 전체 스펙트럼, 특히 "설계 기능으로서의 편향"이나 도메인 특화된 발현을 포착하기에는 불충분함을 입증한다.

5. 의의 및 주장

저자들은 AI 연구 커뮤니티가 일관된 이해를 구축하기 위해 편향이라는 개념에 더욱 효과적으로 참여해야 한다고 주장한다. 본 논문의 의의는 편향이 단순히 기술적인 문제만이 아니라는 점을 입증하는 데 있다.

• 담론의 재구성: 본 논문은 기술적 완화가 필요하지만 그것만으로는 불충분하다고 주장한다. 편향된 AI 시스템을 형성하는 맥락적, 사회적, 윤리적 요인을 다루기 위해서는 사회기술적 관점이 필요하다.
• 대화의 촉구: 연구 결과는 편향을 통계적 파라미터로 보는 연구자와 사회적 위해의 원천으로 보는 연구자 사이의 간극을 메우기 위한 커뮤니티 간의 대화가 필요함을 시사한다.
• 윤리적 주체성: 본 연구는 AI 연구 커뮤니티를 고위험 환경에서 AI 시스템이 개발되고 구현되는 방식에 직접적인 영향을 미치는 "윤리적 주체"로 위치시킨다.
• 제한점 인정: 저자들은 초록에 의존했다는 점(전문을 사용하지 않음)과 영어권 출판물에 국한되었다는 점이 특정 맥락(특히 임상 맥락)에서의 미세한 차이를 제한할 수 있으며, 토픽 모델링이 완벽하게 편향 개념을 중심에 두기보다는 코퍼스의 논리를 반영한다는 점을 인정한다.

결론적으로, 본 논문은 편향을 단순한 통계적 정의로 축소하는 것은 이 문제가 가진 복잡하고 역동적이며 도메인 특화된 성격을 간과하는 것이라고 단언한다. 효과적인 완화를 위해서는 기술적 솔루션과 더 넓은 사회기술적 관점을 통합하는 다학제적 접근이 필요하다.