How do datasets, developers, and models affect biases in a low-resourced language?: The Case of the Bengali Language

기술적 요약: 저자원 언어에서 데이터셋, 개발자 및 모델이 편향에 미치는 영향

문제 제기
사회기술적 시스템, 특히 자연어 처리 (NLP) 분야에서는 특정 사회 집단을 소외시키는 정체성 기반 편향이 빈번하게 나타납니다. 알고리즘 감사가 이러한 편향을 탐지하는 표준 방법으로 자리 잡았음에도 불구하고, 기존 연구는 주로 서구 맥락과 고자원 언어에 집중되어 있습니다. 이로 인해 2 억 6 천만 명 이상이 사용하는 벵골어와 같은 저자원 언어는 충분히 연구되지 않은 상태입니다. 벵골어 공동체는 성별, 종교 (힌두교 대 이슬람교), 국적 (방글라데시 대 인도) 정체성을 형성하는 복잡한 역사적 및 식민지적 힘에 직면해 있습니다. 이러한 정체성은 방갈 (Bangal) 대 고티 (Ghoti) 와 같은 방언적 변이나 어휘 선택과 같은 언어적 규범을 통해 명시적 및 암시적으로 표현되는 경우가 많습니다.

해결된 핵심 문제는 "AI 기능의 오류"로, 벤치마크 성능을 기반으로 시스템이 올바르게 작동한다고 가정함으로써 여러 기술 구성 요소의 상호작용에서 편향이 어떻게 발생하는지를 가리는 현상입니다. 구체적으로, 사전 훈련된 모델, 파인튜닝 데이터셋, 데이터셋 개발자의 인구통계학적 배경이 벵골어 하위 감성 분석 (BSA) 모델의 편향을 어떻게 collectively 형성하는지에 대한 이해가 부족합니다.

방법론
저자들은 38 개의 파인튜닝된 감성 분석 모델을 포함한 포괄적인 알고리즘 감사를 수행했습니다. 방법론은 네 가지 주요 단계로 진행되었습니다:

1. 데이터셋 식별 및 개발자 설문조사: 연구자들은 Google Dataset Search 를 통해 19 개의 벵골어 감성 분석 (BSA) 데이터셋을 식별했습니다. 연구자들은 온라인 설문을 통해 이러한 데이터셋 개발자들에게 인구통계학적 정보 (성별, 종교, 국적) 를 수집하기 위해 연락했으며, 12 개 데이터셋으로부터 응답을 받았습니다. 익명성을 보호하기 위해 데이터셋은 D1–D19 로 식별을 제거했습니다.
2. 모델 선택 및 파인튜닝: 두 가지 사전 훈련된 언어 모델이 선택되었습니다: mBERT(104 개 언어로 훈련된 다국어 모델) 와 BanglaBERT(벵골어 말뭉치로 특별히 사전 훈련된 모델). 19 개의 BSA 데이터셋 각각이 두 모델 모두를 파인튜닝하는 데 사용되어 38 개의 고유한 파인튜닝된 모델이 생성되었습니다.
3. 편향 평가: 저자들은 **벵골어 정체성 편향 평가 데이터셋 (BIBED)**을 활용했습니다. 이 데이터셋은 의미적으로 동일하지만 성별, 종교, 국적과 같은 정체성 마커가 명시적 (직접 언급) 또는 암시적 (언어적 규범, 방언, 친족 호칭) 으로 다른 문장 쌍을 포함합니다.
4. 통계적 분석: 감사는 편향을 평가하기 위해 통계적 비교를 사용했습니다:
   • 명목 분류: 정체성 범주와 감성 분류 (긍정/부정/중립) 간의 관계를 평가하기 위해 $\chi^2$ 검정을 사용했습니다.
   • 감성 점수: 서로 다른 정체성 그룹에 할당된 평균 감성 점수 (0 에서 1) 를 비교하기 위해 쌍체 t-검정 또는 윌콕슨 부호 순위 검정을 사용했습니다.
   • 정량화: 인구통계학적 균형을 측정하기 위해 **긍정 분류율 (PCR)**을 계산하고, 정체성 쌍 간의 평균 감성 점수 차이를 정량화하기 위해 **쌍별 비교 지표 (PCM)**를 계산했습니다.

주요 기여

• 저자원 NLP 에 대한 실증적 감사: 이 연구는 배포된 도구를 넘어 전체 파이프라인 (데이터셋, 개발자, 모델) 전반에 걸쳐 편향의 기원을 추적하는 벵골어 감성 분석에 대한 최초의 체계적인 감사 중 하나를 제공합니다.
• 상호작용 분석: 편향이 모델이나 데이터셋에만 존재한다는 관념에 도전하여, 사전 훈련된 아키텍처와 파인튜닝 데이터 간의 상호작용에서 편향이 어떻게 발생하는지 보여줍니다.
• 개발자 인구통계학 대 모델 편향: 기술적 감사에서 종종 간과되는 데이터셋 개발자 인구통계학과 모델 편향 간의 상관관계를 조사합니다.
• 방법론적 비교: 저자원 맥락에서 미묘한 편향을 탐지하는 데 있어 다양한 통계 검정과 지표 (명목 대 연속 점수) 의 효과를 비교합니다.

결과
이 연구는 편향의 분포와 원인에 관한 몇 가지 중요한 발견을 도출했습니다:

• 편향의 만연성: 38 개 파인튜닝된 모델의 대다수가 유의미한 편향을 나타냈습니다.
  • 성별: 모델의 61% 가 남성 정체성에 더 높은 감성 점수를 할당했으며, 24% 는 여성 정체성을 선호했습니다.
  • 종교: 모델의 61% 가 이슬람교 정체성 (또는 관련 언어적 스타일) 을 선호한 반면, 24% 는 힌두교 정체성을 선호했습니다.
  • 국적: 모델의 50% 가 방글라데시 정체성을 선호한 반면, 26% 는 인도 정체성을 선호했습니다.
• 개발자 인구통계학: 대부분의 데이터셋 개발자가 남성, 이슬람교도, 방글라데시인으로 자신을 규명했음에도 불구하고, 통계적 검정 (p-값 > 0.05) 은 개발자의 인구통계학적 배경과 결과 모델의 편향 방향 사이에 유의미한 관계가 없음을 드러냈습니다.
• 모델 - 데이터셋 상호작용:
  • 언어별 우위: 다국어 mBERT에 비해 BanglaBERT는 일반적으로 편향이 적은 파인튜닝된 모델을 생성했으며, 이는 언어별 사전 훈련이 완화 효과를 제공함을 시사합니다.
  • 데이터셋 불안정성: 편향이 전혀 없는 데이터셋은 없었습니다. 한 정체성 차원에서는 잘 수행된 데이터셋이 종종 다른 차원에서는 상당한 편향을 나타냈습니다.
  • 맥락적 변화: 동일한 데이터셋은 사용된 기본 모델에 따라 반대 방향으로 편향을 유발할 수 있었습니다 (예: D1 은 mBERT 와 함께 여성 편향을 유발했으나 BanglaBERT 와 함께 남성 편향을 유발함).
• 지표 민감도: 이 연구는 명목 감성 범주를 분석하는 것 (성별의 경우 24%) 보다 연속 감성 점수를 분석하는 것이 (성별의 경우 85%) 훨씬 더 많은 편향된 모델을 식별한다는 사실을 발견하여, 엄격한 감사를 위해 수치적 지표를 사용하는 것의 중요성을 강조했습니다.

의의 및 주장
이 논문은 NLP 시스템에서 공정성을 달성하는 것이 복잡하며 특정 모델이나 데이터셋을 선택하는 것만으로는 해결될 수 없다고 주장합니다. 대신 편향은 사전 훈련된 모델의 재사용과 데이터셋의 재조합을 포함한 사회기술적 인프라의 산물입니다.

저자들은 인식적 불의라는 렌즈를 통해 그들의 발견을 구성하며, 언어 기술이 소외된 집단의 증언에 낮은 감성 점수를 할당하거나 그들의 언어적 규범을 오해함으로써 체계적으로 이를 불신하게 만든다고 주장합니다. 그들은 다국어 모델 (mBERT) 이 일반화를 제공하지만, 종종 서로 다른 방언과 스타일을 혼동함으로써 저자원 언어에 대한 불이익을 악화시킨다고 주장합니다.

이 연구는 데이터셋 생성에서 다양한 목소리의 과소대표를 인정하고, 데이터 부족으로 인해 실행 불가능할 수 있는 순방향 정렬 훈련에만 의존하기보다는 시스템이 정렬 위험을 악화시키지 않도록 평가하고 관리하는 "역방향 정렬"을 요구함으로써 NLP 의 탈식민화를 옹호합니다. 마지막으로, 저자들은 투명성을 촉진하고 가치 불일치를 해결하며 더 포용적인 AI 규정을 장려하기 위해 저자원 맥락에서의 알고리즘 감사의 필요성을 강조합니다.