기술 요약: IndoBias

문제 정의

대규모 언어 모델(LLM)은 사전 학습 코퍼스에서 사회적 고정관념을 흡수하고 재생산하며, 이는 종종 소외된 집단에게 해를 끼칩니다. 영어에 대해서는 상당한 노력이 투입되어 왔으나(예: CrowS-Pairs, StereoSet), 이러한 자원들은 비영어권 맥락의 독특한 사회문화적 및 언어적 복잡성을 포착하지 못합니다. 특히 인도네시아는 1,300개 이상의 민족 그룹과 700개의 토착 언어를 보유한 국가로서, 편향이 결코 균일하게 나타나지 않는다는 점에서 중요한 격차를 보입니다. 기존의 평가 프레임워크는 널리 알려진 전형적인 문구(tropes)에 의존하는 경우가 많으며, 이는 작은 규모이거나 가시성이 낮은 공동체(예: 코로와이 사람들)를 편향 평가에서 구조적으로 배제하여 '가시성 편향(invisibility bias)'을 영속화합니다. 나아가, 사전 학습 데이터 소스(예: 필터링되지 않은 웹 크롤링 vs. 사람이 검수한 기사)와 로컬 언어의 포함 여부가 LLM에서 문화적 편향의 출현에 어떤 영향을 미치는지도 여전히 불분명합니다.

방법론

이러한 격차를 해결하기 위해, 저자들은 인도네시아어와 세 가지 지역 언어인 자바어, 순다어, 마카사르어를 평가하기 위한 최초의 문화적 근거를 둔 이중 트랙 벤치마크인 IndoBias를 소개합니다. 이 벤치마크는 두 가지 상호 보완적인 평가 트랙으로 구성됩니다.

1. IndoBias-Pairs (심도 지향형)

이 트랙은 고정관념의 강도를 측정하기 위해 대조적 접근 방식을 사용합니다.

• 구성: 정체성 및 인구 통계, 경제적 지위, 문화 및 지리, 사회 및 가족 역할, 이데올로기 및 종교의 5개 편향 도메인을 다루는 544개의 수동 큐레이션 문장 쌍이 생성되었습니다. 이들은 다시 18개의 하위 도메인으로 나뉩니다.
• 다국어 확장: 원어민에 의해 인도네시아어가 자바어, 순다어, 마카사르어로 번역되었으며, 총 4,352개의 인스턴스(전형적 진술 2,176개와 반(反)고정관념적 진술 2,176개)가 생성되었습니다.
• 평가 지표: "Protrope Win Rate"는 모델이 반(反)고정관념적 대응 문구보다 고정관념적 문구에 더 낮은 퍼플렉서티(높은 가능성)를 할당하는 비율을 측정합니다. 점수가 50%이면 편향이 없음을 의미하며, 점수가 높을수록 강력한 고정관념적 편향을 나타냅니다.

2. IndoBias-QA (광범도 지향형)

이 트랙은 널리 알려진 고정관념이 없는 엔티티를 포함하여 방대한 범위의 엔티티에 대한 표현적 공정성을 평가하기 위해 생성 기반 접근 방식을 사용합니다.

• 프레임워크: 네 가지 피벗(인구 통계, 인구 통계 그룹, 고정관념 쌍, 태스크 ID)을 결합한 LLM 스테레오타입 인덱스(LSI) 프레임워크를 기반으로 구축되었습니다.
• 범위: 6개 카테고리(민족(81), 정부 기관(60), 이름(78), 정당(20), 종교(29), 대학교(68))에 걸친 336개의 인도네시아 인구 통계 그룹을 평가합니다.
• 태스크 복잡도: 안전 필터를 우회하고 실질적인 응답을 유도하기 위해, 단순 선택형 질문부터 코드 변수 할당 및 이야기 쓰기에 이르기까지 점진적으로 복잡해지는 7가지 태스크 형식을 채택했습니다.
• 고정관념 축: 평가에는 긍정적 및 부정적 고정관념 쌍을 정의하기 위해 사회 과학 프레임워크인 사회 진보 지수(SPI), O*NET(기술 기반 특성), 세계 거버넌스 지표(WGI)가 통합되었습니다.
• 평가 지표: "Stereotype Polarity (SP)"는 유효한 출력 중 긍정적 고정관념 레이블로 매핑된 비율을 측정합니다.

3. 사전 학습 시뮬레이션

편향의 출현을 이해하기 위해, 저자들은 무작위 가중치로 초기화된 IndoBERT를 사용하여 통제된 사전 학습 시뮬레이션을 수행했습니다.

• 설정: 자바어와 순다어 데이터의 다양한 혼합을 포함하는 인도네시아 Common Crawl (CC-100), 위키피디아, Liputan 6(뉴스)의 6가지 서로 다른 데이터 구성을 사용하여 500,000 스텝 동안 모델을 학습시켰습니다.
• 분석: 편향의 진화를 추적하기 위해 25,000 스텝마다 체크포인트를 인도Bias-Pairs로 평가했습니다.

주요 결과

IndoBias-Pairs에 대한 모델 성능

• 디코더 vs. 인코더: 디코더 모델(생성형 LLM)은 인코더 전용 모델보다 훨씬 더 강력한 전형적 편향을 보였습니다. 많은 디코코더 모델이 인도네시아어에서 70% 이상의 protrope win rate를 달 기록한 반면, 인코더는 67%를 넘는 경우가 드물었으며 종종 50% 근처에 머물렀습니다.
• 언어 효과: 인도네시아어로 프롬프팅하는 것은 일반적으로 높은 편향 점수를 나타냈습니다. 그러나 "이데올로기 및 종교" 도메인에서는 로컬 언어(특히 마카사르어)가 인도네시아어보다 더 높은 편향을 보이기도 했습니다.
• 미세 조정 영향: 로컬 언어 데이터(예: Komodo-7B, SeaLLM-v3, Sailor2-8B)로 모델을 미세 조정하면 전형적 편향이 일관되게 증가했습니다. 저자들은 로컬 언어의 유창성이 향려될수록 실제 세계의 학습 코퍼스에서 발견되는 연관성이 증폭된다고 가설을 세웠습니다.

IndoBias-QA 성능

• 모델 차이: 더 최신의, 더 유능한 모델들(예: Qwen3.5, GPT-5 mini)은 이전 모델들에 비해 인구 통계 그룹 간의 스테레오타입 폴라리티 표준 편차(SPσ)가 더 높았습니다. 이는 새로운 모델들이 반드시 더 균일하게 편향된 것은 아니지만, 그 편향이 더 가변적이고 맥락 의존적임을 시사합니다.
• 비균일적 편향: 편향은 인구 통계 그룹에 따라 크게 달랐습니다. 예를 들어, 모델들은 소외된 민족 그룹(예: 코로와이)을 주요 그룹(예: 자바인)보다 물질적으로 더 열악한 상태로 평가했습니다. 마찬가지로, 정부 기관과 정치 후보자들은 "부패 통제" 및 "기회"와 같은 지표에서 상이한 점수를 받았으며, 이는 채용이나 선거 분석과 같은 다운스트림 애플리케이션에서의 공정성에 위험을 초래할 수 있습니다.

사전 학습 결과

• 데이터 소스: 필터링되지 않은 웹 코퍼스(CC-100)는 위키피디아나 뉴스 기사(Liputan 6)와 같은 인간 검수 소스에 비해 사전 학습 과정에서 훨씬 더 많은 편향을 도입했습니다.
• 다국어 혼합: 사전 학습 믹스에 로컬 언어(자바어, 순다어)를 도입하는 것은 특정 혼합 데이터 시나리오에서의 인도네시아어 평가를 제외하고는 일반적으로 평가된 언어 전반에 걸쳐 편향을 증가시켰습니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. IndoBias 벤치마크: 네 가지 언어를 다루고 대조 및 생성 기반 평가 트랙을 활용하는, 인도네시아 맥락을 위한 최초의 문화적 근거를 둔 편향 벤치마크입니다.
2. 포괄적 평가: 인코더 및 디코더 모델(일반, 동남아시아 및 인도네시아 특화 모델)에 대한 광범한 벤치마킹과 336개 인구 통계 그룹에 대한 스테레오타입 폴라리티 분석을 통해 비균일한 편향 패턴을 밝혀냈습니다.
3. 사전 학습 통찰: 필터링되지 않은 웹 데이터가 큐레이션된 소스보다 더 많은 편향을 도입하며, 로컬 언어를 사전 학습에 포함하는 것이 의도치 않게 문화적 고정관념을 증폭시킬 수 있음을 보여주는 통제된 시뮬레이션입니다.

저자들은 문화적 맥락에서의 편향 연구가 필수적이라고 결론짓습니다. 그들은 표준 평가 프레임워크가 인도네시아와 같은 다국어 사회의 복잡한 언어적, 인구 통계적 편견의 망을 포착하는 데 실패한다는 점을 강조합니다. IndoBias는 이러한 특정 문화적 및 언어적 복잡성을 부각함으로써 더 공정한 언어 기술 개발을 지원하는 것을 목표로 합니다.

한계점

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 포괄성 부족: 336개 그룹을 다루고 있음에도 불구하고, 이는 인도네시아의 1,300개 이상의 민족 그룹과 700개 이상의 언어 중 극히 일부만을 나타냅니다.
• 구조적 배제: 대조적 접근 방식(IndoBias-Pairs)은 널리 알려진 고정관념이 없는 그룹을 본질적으로 배제하며, 이는 가장 취약한 공동체의 가시성을 잠재적으로 지속시킬 수 있습니다.
• 언어 범위: 자원 가용성으로 인해 연구 범위가 인도네시아어, 자바어, 순다어, 마카사르어로 제한되었습니다.
• 시뮬레이션 제약: 사전 학습 시뮬레이션은 현대의 대규모 사전 학습과 비교했을 때 감소된 배치 크기와 제한된 스텝 수(500,000)를 사용하였으며, 이는 연구 결과의 일반화에 영향을 미칠 수 있습니다.