기술 요약: HEIMAT – 언어 모델의 편향 제거에 대한 휴리스틱 관점

문제 정의

사전 학습된 언어 모델(PLM)과 거대 언어 모델(LLM)을 포함한 언어 모델(LM)은 현실 세계의 불평등을 반영하는 온라인 커뮤니티로부터 추출된 학습 데이터의 특성으로 인해 필연적으로 사회적 편향을 습득하게 된다. 이러한 편향은 특정 인구 통계적 특성(예: 성별, 인종)을 특정 직업이나 서사와 연관시키는 방식으로 다운스트림 태스크에서 나타나며, 이는 잠재적으로 해로운 고정관념을 강화하고 사회적 해를 끼칠 수 있다.

기존의 편향 제거 방법들은 다음과 같은 중대한 한계에 직면해 있다:

• 높은 비용: 카운터팩추얼 데이터 증강(counterfactual data augmentation) 또는 표현 투영(representation projection)에 의존하는 전략은 계산 비용이 많이 들고 확장하기 어렵다.
• 수동 주석에 대한 의존성: 많은 접근 방식이 수동으로 큐레이션된 데이터셋이나 고정된 선호도 데이터셋을 필요로 하며, 이는 제작 비용이 많이 들고 다양한 언어, 문화 및 편향 범주에 걸쳐 일반화하기 어렵다.
• 일반화 능력 부족: 현재의 방법들은 문화적 보편성을 가정하거나 주로 영어에 집중되어 있어, 교차 문화적 편향의 미묘한 차이를 다루는 데 실패한다. 또한 서로 다른 모델의 독특한 편향 경향을 고려하지 않는 "일률적인(one-size-fits-all)" 접근 방식을 취하는 경우가 많다.

본 연구가 다루는 핵심 과제는 다음과 같다: 고정된 선호도 데이터셋이나 외부 코퍼스에 의존하지 않고 어떻게 다양한 언어와 문화 전반에 걸쳐 언어 모델의 편향을 제거할 것인가?

방법론: HEIMAT 프레임워크

저자들은 HEIMAT(HEurIstic-style autoMATic debiasing)을 제안한다. 이 프레임워크는 외부 코퍼스나 수동 사전(lexicon) 없이 독립적으로 작동하도록 설계되었다. 이는 **편향 노출(Bias Disclosure)**과 **편향 제거 미세 조정(Debiasing Fine-tuning)**의 두 가지 주요 단계로 구성된다.

1. 편향 노출 (Bias Disclosure)

이 단계는 모델의 내재적 편향을 명시적으로 드러내고 최소한의 대조적 문맥 프롬프트 세트를 구축하는 것을 목표로 한다.

• 휴리스틱 프롬프트: 프레임워크는 휴리스틱 프롬프트를 생성하기 위해 여섯 개의 사전 정의된 템플릿을 활용한다. 이 프롬프트들은 세 가지 구성 요소를 결합한다:
  • 대상 단어 ($W_t$): 사회적 엔티티 (예: "젊은 여성").
  • 특징 단어 ($W_f$): 문맥적 속성 (예: "병원에 나타난다").
  • 편향 유형 단어 ($W_b$): 관심 있는 범주 (예: "직업").
  • 예시: "이 젊은 여성은 종종 병원에 나타나며, 그녀의 직업은 [MASK]이다."
• 연관 프롬프트 및 치환 리스트: 인구 통계적 범위를 확장하기 위해, 모델은 초기 예측을 바탕으로 관련 인구 통계 용어를 생성하도록 유도된다. 이를 통해 관련 용어 그룹(예: "아시아인", "히스패닉", "라티노")을 포함하는 **치환 리스트 ($S_L$)**가 생성된다.
• 문맥 프롬프트 세트 (CPS): 치환 리스트를 사용하여, 인구 통계적 속성은 변화시키되 의미적 문맥은 동일하게 유지하는 문맥 프롬프트 세트를 구축한다. 자기회귀(autoregressive) 모델의 경우, 모델이 다음 토큰을 예측하기 전에 인구 통계적 속성에 조건화되도록 문장 구조를 재배열한다.

2. 편향 제거 미세 조정 (Debiasing Fine-tuning)

모델은 구축된 문맥 프롬프트 세트(CPS)에 대한 예측의 불일치를 최소화하도록 미세 조정된다.

• 목표: 목표는 문맥적 의미론스를 변경하지 않으면서, 인구 통계적 속성만 다른 프롬프트들에 대해 모델이 일관된 예측 분포를 생성하도록 보장하는 것이다.
• 손실 함수: 프레임워크는 CPS 내의 서로 다른 프롬프트에 의해 유도된 예측 분포 간의 젠슨-샤논 발산(Jensen-Shannon Divergence, JSD) 손실($L_{JSD}$)을 최소화한다.
  $$L_{JSD} = \frac{1}{n} \sum_{i=1}^{n} D_{KL} \left( p_i \middle\| \frac{1}{n} \sum_{j=1}^{n} p_j \right)$$
  여기서 $p_i$는 $i$번째 문맥 프롬프트에 대한 예측 분포이며, $D_{KL}$은 쿨백-라이블러 발산(Kullback-Leibler Divergence)이다.

언어 및 문화에 대한 적응

HEIMAT은 유연성을 갖도록 설계되었다. 새로운 언어나 문화에 적응하기 위해, 정적인 번역에 의존하는 대신 문화적으로 관련 있는 특징 단어를 사용하여 LLM(예: DeepSeek)을 통해 휴리스틱 템플릿을 재생성한다. 이는 측정되는 편향이 대상 문화에 특화되도록 보장한다. 마찬가지로, 템플릿의 편향 유형 단어를 교체하는 것만으로도 편향 범주(예: 성별에서 인종으로)를 전환할 수 있다.

주요 기여

1. HEIMAT 프레임워크: 외부 코퍼스나 고정된 선호도 데이터셋 없이 작동하는 휴리스틱 스타일의 자동 편향 제거 프레임워크를 도입하였다.
2. 자동 적응성: 자동으로 구축된 휴리스틱 및 연관 프롬프트를 사용하여, 단순한 프롬프트 수정만으로 다양한 언어, 문화 및 편향 범주에 쉽게 적응할 수 있다.
3. 경험적 검증: 광범에한 실험을 통해 HEIMAT이 모델의 자연어 이해(NLU) 능력을 보존하면서 편향을 효과적으로 완화함을 입증하였다.

실험 결과

저자들은 다섯 가지 PLM(BERT, ALBERT, TinyBERT, LLaMA-2, GPT-2)과 두 가지 프랑스어 PLM(CamemBERT, FrALBERT)을 대상으로 여러 벤치마크에서 HEIMAT을 평가하였다.

• 편향 완화:
  • CrowS-Pairs 및 StereoSet에서 HEIMAT은 이상적인 값인 50(편향이 없음을 나타냄)에 가장 근접한 점수를 지속적으로 달성하며, CDA, INLP 및 다양한 프롬프트 기반 방법들과 같은 베이스라인을 능가했다.
  • BERT의 경우, HEIMAT은 CrowS-Pairs에서 성별 편향을 58.01에서 50.00으로, 인종 편향을 47.48로 감소시켰다.
  • LLaMA-2와 GPT-2에서도 유사한 개선이 관찰되었으며, 테스트된 방법들 중 가장 낮은 편향 점수를 기록했다.
• 범주 간 일반화: 성별 및 인종에 대한 편향 제거는 사회경제적 지위, 국적, 종교 및 외모와 같이 학습되지 않은 미지의 범주에서도 일관된 점수 개선으로 이어졌으며, 이는 모델 내 서로 다른 편향 유형 간의 본질적인 상관관계를 시사한다.
• 다국어 성능: HEIMAT은 정적인 리스트 기반 방법들이 어려움을 겪는 문법적 성(grammatical gender)의 복잡성(예: 명사 성 일치)에 적응하여 프랑스어 모델(CamemBERT 및 FrALBERT)의 편향을 성공적으로 줄였다.
• NLU 보존:
  • GLUE 벤치마크(영어)에서 HEIMAT은 원래 모델과 대등한 NLU 성능을 유지했다 (예: BERT 평균 점수 79.09 vs 원본 79.24).
  • FLUE 벤크마크(프랑스어)에서 성능은 거의 변하지 않거나 약간 향상되었다 (CamemBERT 평균 89.18 vs 89.05).
• 정성적 분석: 사례 연구 결과, 편향이 제거된 모델은 직업에 대한 성별 대명사 예측(예: "간호사" vs "의사")을 더 균형 있게 생성하였고, 특정 인종 그룹에 대한 폭력적 서사의 체계적 귀속을 줄였다.

의의 및 주장

본 논문은 HEIMAT이 기존의 편향 제거 전략에 대한 유연하고, 확장 가능하며, 비용 효율적인 대안을 제공한다고 주장한다. 값비싼 수동 주석 데이터셋에 대한 의조를 피함으로써, 다양한 언어와 문화 전반에 걸쳐 사회적 편향을 완화할 수 있게 한다. 저자들은 자사의 접근 방식이 서로 다른 편향 유형 간의 본질적인 연결을 밝혀내어, 한 영역에서의 완화가 다른 영역으로 일반화될 수 있음을 강조한다.

본 연구는 효과적인 편향 제거를 위해 전체 재학습이나 외부 코퍼스가 필요하지 않으며, 대신 JSD 기반의 정규화를 사용하는 휴리스틱 기반 접근 방식이 모델의 핵심 언어 이해 능력을 보존하면서 예측을 더 공정하게 정렬할 수 있다고 결론짓는다.

인정된 한계점:
저자들은 모든 고정관념적 연관이 본질적으로 해로운 것은 아니라는 점(예: 특정 장소와 종교의 연관성)을 언급하며, 해로운 편향과 무해한 상식적 패턴을 구분하는 것은 향리 연구의 과제로 남아있다고 밝혔다.