Investigating Bias in Bulgarian in the Context of Large Language Models

기술 요약: 대규모 언어 모델의 맥락에서 불가리아어 편향성 조사

문제 정의
대규모 언어 모델(LLM)은 훈련 데이터에 존재하는 사회적 편향을 반영하고 증폭하는 경우가 빈번하다. 영어와 같은 고자원 언어에 대해서는 상당한 연구가 이루어진 반면, 저자원 언어, 특히 불가리아어에 대한 편향 탐지 방법론, 데이터셋 및 어휘 자원의 결여는 심각한 격차를 보인다. 본 논문은 인간과 LLM 모두에 적용 가능한 통일된 편향 정의의 부재, 불가리아어 특화 편향 사전의 부족, 그리고 LLers이 문화적으로 특수한 맥락에서 인간의 편향 인식과 신뢰할 수 있게 정렬될 수 있는지에 대한 불확실성을 다룬다. 본 연구는 세 가지 핵심 질문을 제기한다: 운영 가능한 편향 정의가 인간과 LLM 모두에게 일관성을 보장할 수 있는가? 인간 주석가들은 편향 인식에 대해 동의하는가? LLM은 인간의 판단과 정렬되는가, 만약 그렇지 않다면 어떻게, 그리고 왜 괴리가 발생하는가?

방법론
본 연구는 어휘 자원 구축, 데이터셋 생성, 수동 주석 생성 및 LLM 평가를 결কে합한 다단계 접근 방식을 채택한다.

1. 어휘 자원 구축: "불가리아어 편향 사전"을 불가리아어 WordNet과 SentiWordNet을 사용하여 수동으로 편집 및 확장하였다. 이 사전은 5가지 편향 유형(성별, 종교, 인종/민족, 외모, 장애)과 일반 카테고리를 포함하여 3,786개의 항목을 담고 있다. 항목에는 편향 신호 단어와 편향 표지 단어가 포함되며, 품사, 편향 극성, 레지스터(예: 경멸적, 구어체) 및 평가 강도와 같은 속성이 주석 처리되어 있다.
2. 데이터셋 생성: 2025년 12월 기준의 불가리아어 위키피디아(문서 및 토론 페이지)에서 3,177개의 문장을 추출하였다. 문장은 전처리(토큰화, 표제어 추출)되었으며, 어휘 기반 알고리즘을 사용하여 초기에 점수가 매겨졌다. 이 알고리즘은 편향 신호 단어와 편향 표지 단어의 평가 강도, 극성 및 10-토큰 윈도우 내 근접성을 바탕으로 문장 수준의 점수를 계산한다.
3. 수동 주석: 두 명의 원어민 불가리아어 화자가 각 5가지 편향 유형과 "기타" 카테고리에 대해 0(편향 없음)에서 5(강한 편향)까지의 서수 척도로 문장의 편향 존재 여부와 강도를 수동으로 주석 처리하였다. 주석가 간 일치도(IAA)는 가중 Cohen's $\kappa$, Krippendorff's $\alpha$, 그리고 클래스 내 상관계수(ICC)를 사용하여 측정되었다.
4. LLM 평가: 세 가지 LLM을 인간의 주석과 비교하여 평가하였다:
   • Gemma 4: 불가리아어가 사전 학습 코퍼스에 포함된 다국어 지시 미세 조정 모델.
   • BgGPT-Gemma-3: Gemma 3를 기반으로 한 불가리아어 적응 모델(12B 파라미터)로, 영어와 불가리아어 프롬프트 모두로 테스트됨.
   • Qwen 3: 슬라브어 계열 언어 범위를 갖추었으나 명시적인 불가리아어 미세 조정은 없는 다국어 모델(8B 파라미터).
     모델들은 편향을 탐지하고 강도 점수를 할당하는 과업을 수행하였다. 인간과 LLM 간의 일치도는 인간 간의 일치도와 동일한 메트릭을 사용하여 평가되었다.

주요 기여

• 불가리아어 편향 주석 데이터셋: 5가지 특정 편향 유형을 다루는 3,177개 문장의 수동 주석 데이터셋을 구축하여, 저자원 언어의 편향 탐지를 위한 벤치마크 역할을 수행한다.
• 불가리아어 편향 사전: 불가리아어 특유의 편향 신호와 평가 표지자를 식별하도록 설계된 3,786개 항목의 구조화된 어휘 자원이다.
• 편향의 운영 정의: 체계적인 비중립적 태도를 고려하여 인간과 기계 평가 모두에 적용 가능한 문장 수준의 편향에 대한 작동 정의를 제공한다.
• 인간-LLM 정렬에 대한 실증적 분석: 저자원 및 문화적 특수 환경에서 현재의 LLM이 인간의 판단과 얼마나 잘 정렬되는지에 대한 포괄적인 평가를 통해, 탐지와 강도 점수 모두에서 나타나는 상당한 괴리를 밝혀냈다.

결과

• 인간-인간 일치도: 주석가들은 편향의 이진 분류(편향 있음 vs 없음)에 대해 높은 일치도를 보였으며, 불일치율은 4.9%에 불과했고 가중 $\kappa$는 0.863이었다. 그러나 강도 점수(0–5 척도)에 대한 일치도는 특히 비제로(non-zero) 사례에서 더 낮았으며, 여기서 Krippendorff's $\alpha$는 평균 -0.160을 기록하여 특정 강도 점수에 대해 우연보다 높은 불일치를 나타냈다.
• 인간-LLM 정렬: 모든 LLM은 인간의 판단과 상당한 괴리를 보였다.
  • 불일치율: 인간의 경우 4.9%였던 것에 비해, LLM은 이진 과업에서 24%에서 34%의 불일치율을 보였다.
  • 일치 메트릭: 인간과 LLM 사이의 가중 $\kappa$ 값은 0.108(Qwen 3)에서 0.255(Gemma 4) 사이로, '약한'에서 '보통' 수준의 범위를 나타냈다.
  • 강도 점수: LLM은 인간보다 체계적으로 낮은 강도 점수를 부여했다. 비제로 일치 메트릭($\alpha_{nz}$)은 모든 모델에서 일률적으로 음수를 기록하였는데, 이는 LLM이 편향을 감지했을 때 인간과 다른 문장을 지목하거나 다른 심각도 수준을 할당했음을 의미한다.
• 모델별 결과:
  • 프롬프트 언어: BgGPT-Gemma-3에 불가리아어 프롬프트를 사용하는 것이 영어 프롬프트를 사용할 때보다 인간의 판단과의 정렬을 개선하였다(편향 중복도를 12.8%에서 21.6%로 증가시키고 불일치율을 감소시킴).
  • 편향 유형별 변동성: LLM은 (명시적인 어휘 표지 덕분에) "외모" 및 "장애" 카테고리에서는 상대적으로 더 나은 성능을 보였으나, 문화적 및 맥락적 단서에 의존하는 "성별" 및 "종교" 카데고리에서는 저조한 성능을 보였다.
  • 모델 클러스터링: Gemma 계열 모델(Gemma 4 및 BgGPT 변형)은 사전 학습 계보로부터 공유된 편향을 시사하며 함께 클러스터링되었고, Qwen 3는 가장 낮은 일치도를 보이는 별도의 클러스터를 형성했다.

의의 및 주장
본 논문은 현재의 LLM이 특히 저자원 언어 및 문화적으로 특수한 맥락에서 편향 탐지를 위한 인간 주석가의 독립적인 대체재로서 신뢰할 수 없다고 주장한다. 연구 결과는 다음을 강조한다:

1. 편향 인식은 문화적으로 위치한다: LLM은 실용적 및 문화적 역량(예: 성 역할, 종교 관습)이 필요한 편향에는 어려움을 겪는 반면, 어휘적으로 명시적인 편향에는 더 잘 대응한다.
2. 프롬프트 언어가 중요하다: 대상 언어 프롬프팅은 LLM의 인간 문화적 기대치와의 정렬을 유의미하게 향상시키며, 이는 프롬프트 언어가 단순한 구현 세부 사항이 아니라 중요한 실험 변수임을 시사한다.
3. 근거 있는 자원의 필요성: 본 연구는 저자원 언어를 위한 문화적으로 근거 있는 어휘 자원 및 주석 방법론의 필요성을 강조하며, 다국어 모델로부터의 전이 학습이 특정 편향 패턴을 포착하기에는 불충분함을 보여준다.
4. 방법론적 주의: 높은 상호 LLM 일치도는 모델이 인간의 사회적 판단에 수렴하기보다는 훈련 데이터로부터 공유된 체계적 편향을 가지고 있을 수 있으므로, 이를 주석 품질의 대리 지표로 해석해서는 안 된다.

저자는 LLM이 이진 편향 탐지는 부분적으로 복제할 수 있지만, 강도 점수 및 카테고리 민감도 측면에서는 크게 괴리된다고 결론짓는다. 향ual 연구는 저자원 환경에서의 공정성과 성능을 개선하기 위해 대상 언어 편향 코퍼스를 활용한 미세 조정, 프롬프트에 문화적 맥락 통합, 다양한 도메인으로의 데이터셋 확장에 집중해야 한다.